Product Overview

NEXCORE Big Data는 기업의 새로운 비즈니스 창출 및 경쟁력 확보 지원을 목적으로 Hadoop 2.0, Spark, R 등 최신 Big Data 핵심 기술을 적용하고 실제 사업 수행을 통해 축적된 기술을 집약하여 개발한 솔루션 입니다.

Hadoop & Big Data Manager’, ‘Big Data Analytics’, ‘Big Data Streaming’, ‘Big Data Workflow’ 4개의 솔루션으로 구성되어 있으며, 대용량 Data 수집, 저장, 처리 및 분석, 운영 등의 Big Data관련 핵심 기능을 제공합니다.

 



   Hadoop & Big Data Manager

Hadoop 기반 대용량 Data를 수집/저장/처리 하는 솔루션으로 Big Data Platform 기술의 Global top player Hortonworks 기술을 바탕으로 자원 모니터링원격제어설치/배포 등의 강력한 Hadoop 시스템 운영 관리 기능을 추가하여Hadoop 개발환경에 익숙하지 않은 IT운영자에게 통합 모니터링 환경을 제공합니다.

1. Hortonworks Data Platform을 표준으로 적용하여 기술 및 운영 안정성을 보장

2. Hadoop 운영에 익숙하지 않은 IT담당자에게 시스템에 대한 통합적 운영 환경 제공

   - Hadoop Cluster에 대한 직관적 모니터링 환경(Dashboard) 제공

   - 다양한 운영 편의 Report  Alert 기능

   - 솔루션에 대한 설치/배포 업무를 쉽게 처리

   - Hadoop Meta(HDFS, Hive) 관리 기능


 



   Big Data Analytics

Data Scientist를 위한 통계 분석 솔루션으로 오픈 소스 R을 기반으로 머신러닝 등 고급 분석 알고리즘까지 적용 가능한 분석도구 입니다.

기존 오픈소스의 한계인 스크립트 방식의 분석에서 사용자 편의성이 대폭 강화된 메뉴 클릭 방식을 통한 분석 환경을 제공하여 사용자가 쉽게 통계 분석을 할 수 있습니다.

1. 기업의 Data Scientist에게 필수적으로 필요한 분석용 Software

2. 고비용의 기존 상용솔루션(ex: SAS, SPSS)을 대체할 수 있는 제품

3. 초급 사용자부터 고급 분석가까지 모두 활용 가능한 분석 환경 제공

   - 초급사용자를 위한 메뉴 선택 방식

   - 고급사용자를 위한 Script 방식(R Library 활용)

4. 서버기반 분석 환경으로 기존 R Studio Local PC 제약 사항(메모리데이터 수집 어려움 등극복

5. R Hadoop으로 HDFS Data Access 가능

   - RHdfs를 통해 Hadoop 분산 파일 시스템에 직접 Read/Write

   - RHive를 통해 HQL로 데이터 조회 및 로드


 


   Big Data Streaming

대량의 실시간 데이터를 빠르게 수집/처리하고실시간으로 데이터를 분석할 수 있는 솔루션으로 실시간 데이터 분산 처리 핵심 기술인 오픈 소스 Spark을 적용하였으며Rule기반 실시간 이벤트 탐지실시간 데이터 흐름 제어실시간 데이터 조회 및 시각화 기능을 제공 합니다.

1. 고성능 Real-Time 데이터 처리 및 분석

   - DB에 저장되기 전 메모리상의 Stream 데이터의 처리 및 분석(Spark 기반)

2. Workflow 기반의 사용자 직관적인 데이터 흐름제어

3. 분석 및 모니터링 결과에 대해 Table, Chart 형태의 시각화 제공

4. SQL 기반의 분석 결과에 대한 Dashboard 개인화 기능 제공

5. 금융 실시간 이상 거래 탐지제조 공정 실시간 모니터링 등 다양한 실시간 데이터 처리 및 분석 기반 업무에 적용 가능

 




   Big Data Workflow

Hadoop 대용량 데이터 분산 처리를 위해 직관적인 Workflow방식으로 작업 흐름을 설계하고스케줄링을 할 수 있는 솔루션 입니다. Hadoop 스케쥴링 표준 기술인 Oozie를 적용하였으며대시보드를 통해 전체 Job 실행을 효과적으로 제어 및 모니터링이 가능합니다.

1. Hadoop 기반의 대용량 데이터 분산 처리 환경에서의 배치 작업 업무에 익숙하지 않은 개발자 및 운영자를 위한 솔루션

2. 별도의 코딩 없이 마우스 조작(Drag & Drop) 만으로 Batch job 손쉽게 설계 가능

   - 데이터 처리를 위한 기본 기능을 Component 방식으로 제공

   - 데이터 입/출력정제/filtering, 데이터 결합정렬, grouping 

3. 설계된 Batch Job에 대한 통합적인 실행/제어 기능을 제공

   - 솔루션 도입 이전에 개발된 Oozie Workflow에 대한 자동 Migration 기능

   - Job 수행 이력에 대한 Easy Summary 기능



NEXCORE Big Data Solution 관련 문의
SK주식회사 C&C ICT성장담당
박성진 부장  |  전철희 부장
☎ 02-6400-0114





저작자 표시 비영리 변경 금지
신고

  1. 2016.08.03 10:11 신고

    오 좋네요! 질문이 있어 댓글 남깁니다. 빅데이터 분석하는 서비스에서 4가지라고 하셨는데 1234라고 숫자를 붙인건 1-2-3-4로 진행된다는 건가요?

티스토리 툴바