최근 APT 공격의 발생, IT 환경의 변화 등으로 인해 보안 분야에 있어 모니터링 해야 되는 Data의 양이 폭발적으로 증가하고 있다. 특히, 다른 Device에서 발생하는 Data의 상관분석, 보안 분야에서 반드시 필요한 Streaming 처리, 새로운 위협을 대응하기 위한 Intelligence한 분석 등이 보안 분야에서 반드시 필요하게 되었다. 

분석해야 되는 Data의 양적 증가뿐만 아니라 분석의 질이 매우 중요하게 되었으며, 보안 분야의 변화에 따라 Big Data 기술이 필요한 상황이다. 

Big Data의 특징인 4V(Variety/Volume/Velocity/Value)와 보안에서 필요한 요건들이 매우 잘 일치 하는데, 보안 Data의 다양성, 보안 Data의 폭발적 증가, 분석의 신속성, 탐지패턴/통계학습이 Big Data와 일치한다고 볼 수 있다.

[그림 1- Big Data 4V]

작년 SK C&C Big Data 플랫폼팀과 협력하여 보안 분야의 4V를 검증하기 위해 Pilot을 진행 했다. 크게 실시간 탐지/알려지지 않은 해킹탐지/최대검색속도 측정 3가지 측면에서 검증했다. 보안에서 반드시 필요한 실시간 처리 기술을 위해 Twitter Storm[각주:1]을 사용하고, Storm에 상관분석 패턴 3천개를 로딩하여 3TB Data(150억건)를 얼마나 실시간으로 신속하게 처리하는지 Test한 결과 단 2 30초 만에 초기 원했던 결과를 얻을 수 있게 되었다.

결과 내용을 살펴보면 상용 솔루션의 결과 수치 보다 빠른 처리 속도가 나타남을 확인할 수 있었다. 이상상황 발생 시 보안 쪽에서 빈번하게 사용되는 검색기능에 대해 3TB Data를 기준으로 복합 조건을 주어 검색 한 결과 4-5초 만에 원하는 Data를 검색 할 수 있었다.

해당 부분은 Batch Job성으로 Hadoop[각주:2]의 하이레벨 언어인 HIVE를 사용. 수초 만에 해당 Data를 얻게 되었고, 알려지지 않은 해킹을 탐지하기 위해 Connection 이상 탐지 통계 기법을 적용하여 기존 시스템에서는 탐지가 되지 않던 공격을 8건 정도 추가로 탐지됨을 확인하였다. 통계 기법을 적용하기 위해 Mahout라는 통계 S/W를 사용하여 좀 더 정밀한 Modeling을 통해 이상결제/이상행위 탐지에 분석 Module 형태로 개발 가능성을 입증했다. 

[그림 2- Pilot 시스템]

이번 Pilot TEST 결과를 보면 보안 분야에 Big Data 기술이 반드시 필요하다는 생각이다. 이런 Big Data Platform에 기반하여 보안 관제 분석 Know How가 적용된다면 충분히 Global에서도 경쟁력이 있는 통합보안로그솔루션을 개발 할 수 있다는 근거를 확보했다. 보안 분야는 향후 사용자, 애플리케이션 및 인프라에 의해 생성되는 기업 IT보안 및 위험상황에 영향을 미치는 데이터를 실시간으로 수집, 정규화, 분석하는 솔루션이 반드시 필요하게 될 것이다.

❈ 용어 설명

* Twitter Storm :
트위터에서 사용하는 실시간 분석 분산 시스템이다. 오픈 소스 분야에서 사용하고 있는 Hadoop과 유사하. Hadoop 빅데이터 분석에 있어 주요하지만, 배치 처리에 초점이 맞추어져 있습니다. 대개 Hadoop 방식을 이용해 빅데이터를 적절하게 처리할 있지만 Twitter Storm과 같이 실시간 데이터 분석 정보가 필요한 경우도 있다.

* Hadoop : 

아파치 하둡(Apache Hadoop, High-Availability Distributed Object-Oriented Platform) 대량의 자료를 처리할 있는 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 자유 자바 소프트웨어 프레임워크이다.) 하둡의 특징은 대량의 자료를 분산환경에서 병렬로 처리할 있는 시스템이라고 있다. [ 참고 자료 : 위키백과]

* HIVE : 
데이터 웨어하우스 사용을 위한 SQL제공(Pig Hive 배치를 위한 )

 글 : SK인포섹 침해사고대응 관제 기술팀 이재우 팀장 (문의 : ljwandy@skinfosec.co.kr )





 

  1. 트위터에서 사용하는 실시간 분석 분산 시스템 [본문으로]
  2. 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 자유 자바 소프트웨어 프레임워크 [본문으로]
저작자 표시 비영리 변경 금지
신고

  1. BlogIcon 리눅스 클러 2014.04.15 06:05 신고

    리눅스 클러스터

티스토리 툴바