최신 빅데이터 동향과 SK(주)C&C 빅데이터 솔루션 'QUTA'

올해 세계 빅데이터 분석 시장의 규모가 1500억 달러를 넘어설 것이라는 전망과 함께 한때 600여명에 달했던 미국의 대표적인 투자은행(IB) 골드만삭스의 주식 매매트레이더들이 컴퓨터 자동거래 소프트웨어의 도입으로 이제 두명 밖에 남지 않았다는 충격적인 사실이 보도되었습니다. 지원 부서 역할에 머물던 IT직원들이 빅데이터 기반의 분석 프로그램의 출현으로 어느덧 금융 산업 전반에 걸쳐 핵심 인력으로 인정받고 있다는 사실은 요즘 4차 산업혁명이라는 거대한 흐름에 여러 산업 지형이 흔들리고 있다는 증거로 그저 바라보고 있어야만 할까요?

빅데이터는 다양한 조직에서 모든 형식과 크기의 데이터를 저장, 처리하고 유용한 가치를 발견하게 됨에 따라 4차 산업혁명의 중심에 있다고 봐도 과언이 아닐 정도로 관심을 받고 있습니다. 오는 2020년까지는 연평균(CAGR) 11.9%씩 성장하며 시장규모가 2100억달러(약 238조7490억원)에 이를 전망과 함께 ‘17년 빅데이터 및 솔루션에 대한 투자비중이 높을 것으로 예상되는 산업은 뱅킹, 조립제조, 공정제조, 연방·중앙정부, 전문 서비스 분야라는 보고서가 발표되기도 했습니다. <출처 IDC보고서 2017.4>

‘17년에는 사물인터넷(IoT)과 클라우드 환경으로부터 생성되는 대량의 구조화된 데이터와 반대로 구조화 되지 않은 데이터를 지원하는 시스템이 계속 증가할 예정이라고 합니다. 지역적으로는 ‘17년 미국이 788억달러 규모의 투자로 빅데이터 및 분석 솔루션의 가장 큰 시장이 될 전망이며, 두번째로 341억달러의 투자가 예상되는 서유럽, 136억달러를 투자할 것으로 예상되는 아시아 태평양(일본 제외)지역 순으로 시장이 형성 될 전망입니다. 그 어느 때 보다 4차 산업혁명 시대를 맞이하여 데이터의 중요성이 더욱 커지고 있으며 이에 최신 동향들에 대해 몇 가지 공유하고자 합니다.

 

다양성이 빅데이터를 주도

초기 빅데이터의 핵심은 많은 양, 빠른 속도, 고다양성 정보자산 이렇게 3가지로 정의했습니다. 하지만 최근 동향들을 보면 빅데이터에 투자하는 가장 큰 이유로 빅데이터의 다양성을 지목하고 있습니다.

다가오는 IoT시대에는 엄청난 양의 구조화된 데이터와 구조화되지 않은 데이터가 여러 산업 전반에 걸쳐 쏟아져 나올 전망이며, 이러한 데이터가 클라우드 서비스에 제공되는 비중이 빠르게 증가할 예정입니다. 이런 동향은 기업들이 다양한 종류의 빅데이터 분석에 집중하면 할수록 더욱 강화 될 전망이며, 데이터가 방대해 지고 대화형 애플리케이션 또는 실시간 스트림 처리를 위해 페타바이트(PB)수준의 데이터를 처리하는 모델 및 애플리케이션의 개발이 증가할 것으로 전문가들은 내다보고 있습니다.  

 

셀프 서비스 분석의 확대

엄청난 양의 데이터를 접하는 기업들은 처리할 것이 너무 많아 오랜 기간 활용하지도 못하고 데이터를 낭비했습니다. Hadoop을 사용하여 많은 데이터들을 처리하고는 있지만 대부분의 데이터들이 찾기 쉬운 방식으로 정리되어 있지 않아 어려움이 있습니다. 비즈니스 사용자가 Hadoop데이터에 보다 쉽게 접근 할 수 있도록 하는 일은 현재 가장 중요한 과제 중 하나입니다. 하지만 대부분의 사용자들은 분석을 위해 데이터 준비부터 그에 따르는 소요 시간과 시스템의 복잡성을 더 줄이고 싶어하며 따라서 민첩한 셀프 서비스 데이터 준비 도구에 필요성을 요구하고 있습니다. 따라서 비즈니스 사용자에게는 대량의 데이터를 더욱 빠르고 쉽게 탐색하여 그 가치를 빠르게 찾아내는 스냅샷 형태의 분석 시스템이 경쟁력이 있을 것으로 전망됩니다.

Hadoop 그 이상의 빅데이터

‘16년 Hadoop기반에서의 분석 요구를 충족 시키는 여러 기술의 출현이 목격 되었지만 복잡하고 이질적인 환경을 가진 기업에서는 더 이상 단 하나의 데이터 원본(Hadoop)을 위한 격리된 BI솔루션을 도입하고 싶어하지 않습니다. ‘17년을 포함하여 앞으로는 고객이 모든 정형 및 비정형 형태의 빅데이터의 분석을 요구할 것으로 보여지면서 데이터 및 원본에 종속되지 않는 플랫폼이 번성하고 Hadoop전용 플랫폼과 다양한 레퍼런스 사례 확보에 실패한 플랫폼은 점차 자리를 잃어갈 것으로 예상되고 있습니다. Platfora 빅데이터 분석 플랫폼의 퇴장은 이러한 흐름을 예고하는 중요한 지표가 되고 있습니다.  

여기서 잠깐, Hadoop(하둡)이란?

저가 서버와 하드디스크를 이용하여 빅데이터(big data)를 상대적으로 쉽게 활용, 처리할 수 있는 분산파일 시스템. 2004년 미국 프로그래머 더그 컷팅이 방대한 데이터를 처리하기 위하여 구글의 맵리듀스(MapReduce) 등을 활용해 개발하였다. 아들이 노란 코끼리 장난감을 ‘하둡’이라고 부르는 것을 보고 명칭을 붙였다고 한다. 비싼 외부 저장장치나 데이터 웨어하우스(data warehouse)를 사용하는 것보다 오픈 소스인 하둡을 사용하는 것이 비용 절감 등에서 유리하며 설치 및 사용도 쉬운 편이라 기업에서 많이 사용하고 있다. [네이버 지식백과] 하둡 (시사상식사전, 박문각)

안정적인 서비스를 위한 경쟁

빅데이터가 비록 뛰어난 가치를 제공한다 할지라도 데이터 수집 단계부터, 데이터 정재 및 분석까지 안정적인 서비스가 뒷받침 되지 않는다면 무용지물일 수 밖에 없습니다. 거리로 인한 속도 지연의 문제로 해외보다 국내의 데이터 센터 확보가 더 절실해짐에 따라 많은 기업들은 국내에 데이터 센터를 건립하여 안정적인 서비스가 제공될 수 있도록 박차를 가하고 있습니다.

SK(주)C&C는 지난해 IBM社와 협력해 판교에 클라우드 데이터센터를 오픈 했습니다. 이는 IBM이 SK(주) C&C 판교캠퍼스의 데이터센터 일부를 임대해 아태지역 9번째 ‘클라우드 데이터센터’로 삼는 형태로, 전 세계 47개 IBM 클라우드 데이터센터로 이뤄진 글로벌 네트워크와 연결되고 있습니다. 이는 SK㈜C&C가 ‘통합 클라우드 아키텍처’를 통해 기존의 클라우드 인프라 서비스를 넘어 국내외 사업장의 모든 IT시스템과 인프라의 통합 클라우드화를 지원하는 계획에 따라 이루어 졌습니다. <관련링크: http://skccblog.tistory.com/2970 > 

SK(주) C&C와 한국IBM이가 판교에 위치한 클라우드 데이터센터를 본격 가동했다. (왼쪽부터) 한국IBM 제프리 로다 사장, IBM 로버트 르블랑 클라우드 수석 부사장, 前 SK(주) C&C 이호수 IT서비스사업장, 이기열 디지털 금융 사업부문장 등 양사 관계자들이 데이터센터 가동 기념식에 참석해 기념촬영을 하는 모습

SK㈜ C&C 빅데이터 솔루션 ‘QUTA’

대부분의 기업이 직면하고 있는 문제가 이와 같이 비용과 효율성 측면에서 ‘빅데이터 시스템을 어떻게 구축할 것인가’라는 방법에 대한 것입니다. SK㈜ C&C는 이러한 문제에 대해 자사가 개발한 솔루션으로 명쾌한 해법을 제시했습니다. ‘15년 오픈소스 기반의 빅데이터 솔루션 QUTA(큐타)를 개발한 SK㈜C&C는 저렴한 비용으로 빅데이터 서비스를 개발할 수 있도록 지원하고 있으며, 통신·제조·금융 등 전 산업 영역에서 빠르고 쉽게 서비스를 개발하여 운영할 수 있는 점이 특징 입니다. QUTA는 특히 대량의 자료 즉 대용량 데이터의 실시간 수집·처리·분석을 가능하게 해 ▲실시간 통화패턴 분석을 통한 어르신 대상의 휴대전화 명의 도용 차단 ▲고객의 이상 금융 거래 실시간 분석∙탐지로 보이스 피싱 등의 금융 사기 피해 예방 ▲실시간 비정상 설비 사전 예측을 통한 예지(豫知)정비 등 다양한 분야에서 활용될 수 있다는 장점이 있습니다. 오픈 소스 시스템에 익숙하지 않은 개발자라 하더라도 해당 솔루션을 이용하면 간단한 마우스 조작 만으로도 실시간 빅데이터 서비스를 실행할 수 있고, 고급 데이터 분석과 통계도 가능하다는 것입니다.

이처럼 4차 산업혁명 시대에 데이터의 홍수가 예상됨에 따라 기업들은 방대한 데이터를 분석해야만 경쟁력을 강화 할 수 있습니다. 실제로 미국 오하이주에 위치한 어느 글로벌 건설회사의 경우 데이터 분석을 통해 각국 현지 시장의 가격을 조정하고 있으며, 뉴욕주 버팔로 시의 공무원들은 주민들의 전화로 발생하는 비정형 데이터의 분석결과에 따라 다양한 주민층의 즉각적인 서비스 요구를 파악하면서 그 대응력을 강화해 나아가고 있습니다. 벌써부터 고객 행동 분석의 대상이 매우 뚜렷하게 지정되어 빅데이터 분석은 기업이 나아가야 할 방향이나 주요 성과 지표의 향상을 위해 꼭 필요한 수단으로 자리 매김하고 있습니다. 마지막으로 각 기업들간의 만질 수 없는 여러 형태의 데이터를 쟁취하려는 보이지 않는 전쟁은 계속해서 심화 될 것으로 전망합니다.