[지금 빅데이터로 갑니다] Big Data기반 IT인프라 운영관리

IT인프라 운영에는 고객요청/변경관리, 서버, WAS, DBMS등의 성능관리, 장애관리, 배치관리, 자동화 시스템 등 각 기능별 많은 IT운영관리시스템이 이용되고 개별 관리 담당자가 존재합니다.

관리 담당자를 별도로 배치하는 이유는 기존 트랜잭션 데이터 규모가 급증하고 새로운 유형의 데이터가 폭발하면서 관리 범위가 늘어나고 깊은 업무 전문성이 요구되기 때문입니다. 그러나, 이러한 형태는 각 관리시스템 현황 공유 등의 업무 Communication, 업무별 상관 관계분석을 통한 조직 Synergy 창출에 미흡할 수 있습니다. 

이를 위한, 서버 및 IT운영관리시스템 등 다양한 소스에서 생성되는 방대한 분량의 데이터의 효율적인 축적과 실시간 처리, 통합 상관관계분석을 Big Data기술을 이용하여 처리하는 방안을 살펴보도록 하겠습니다.

Big Data기반 IT인프라 운영관리 논리구성

Big Data의 사전적 의미는 기존 데이터베이스 관리도구로 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미합니다. IT운영에서는 자산, 변경관리, 장애이력등의 비교적 소규모 정형데이터 포함

서버 및 Application 로그등의 대규모 비정형 데이터가 실시간 발생합니다만, Big Data 기술을 이용하면 발생되는 모든 운영데이터를 효율적으로 통합 수집, 관리할 수 있습니다. 

운영데이터는 Splunk, Flume, FTP, DB호출등의 툴(ETL)로 실시간 또는 Batch 형태로 통합 수집/저장 됩니다. 데이터 통합은 단순한 데이터의 이동이 아닌 데이터의 표준화와 오류데이터 검증 및 수정작업, 즉 데이터 Cleansing작업을 거쳐야 합니다. 전송된 소스데이터와 타겟 테이브간 매핑, 데이터 모델링등 모든  메타데이터는 통합관리 되어야 합니다. 

즉각적인 인지가 필요한 장애 징후, 성능정보 등은 실시간 수집 및 분석을 수행하고, 사후 관리가 필요한 배치수행 정보, 변경/장애이력 등은 Batch형태로 관리될 수 있습니다.

Big Data기반 IT인프라 운영 활용방안

Big Data로 통합 저장된 운영데이터는 성능 추세분석, 변경-장애 상관관계 분석, 성능데이터 상관관계 분석, 장애 조치이력 분석, Biz 영향도 분석등 다양한 용도로 활용 될 수 있습니다. 서버, DB 로그, 성능 등 단일 관리시스템보다 다차원 상관관계 분석 및 관리, 장애 유발 요인에 대한 복합적인 분석을 통한 사전 장애예방이 가능합니다. 또한, 조치이력, Biz 영향도 Knowldege DB 화를 통한 신속한 장애조치 및 운영역량 내재화를 기대할 수 있습니다.

⊙ 사전 준비사항

Big Data기반 통합 IT인프라 운영관리하기 위해서는 아래와 같은 사전 준비가 필요합니다.

<!--[if !supportLists]-->1)     <!--[endif]-->소스데이터 관리체계 정비

Biz Cycle별 추이분석, 서비스별 상관관계 분석을 위해서는 다양한 장비 보관 데이터가 필요합니다.

분석 목적에 따라 소스시스템 및 데이터를 정의하고 보관주기 확대방안을 수립하여야 합니다.

또한, 데이터간 관계 정보 사전정의 및 변경유형을 체계화하여야 합니다.

<!--[if !supportLists]-->2)     <!--[endif]-->프로세스 관리 강화

변경/장애이력등은 운영자가 직접 입력하는 항목입니다. 항목 누락시 변경에 의한 장애발생 및 성능 추이등 상관관계 분석이 어려우므로 수입력 최소화, 입력 의무화 등 프로세스를 개선하여 누락없이 해당 시스템 입력되도록 하여야 합니다.

현재의 IT인프라 운영환경은 Big Data의 세가지 V, 즉 규모(Volume), 다양성(Variety), 속도(Velocity)의 문제에 잘 부합된다고 할 수 있습니다. 트랜잭션의 다양화 및 복잡화, 서비스 통합요구등으로 인한 대규모 운영

데이터 발생, 개별 소스에서 쏟아지는 온갖 유형의 데이터, 장애 등 운영상황 및 Biz 영향도 파악 및 보고를 실시간으로 처리하여야 하는 상황입니다. 이에 대한 해답은 운영 중 발생하는 정형/비정형등 다양한 유형의 대규모 데이터를 통합하여 소스별 상관관계 분석 및  실시간 처리가 가능한 Big Data아키텍처에서 시작합니다.

♣ 글 : 인프라서비스 1팀 송 근 부장