사이트맵  |  Contact Us
 
홈 > SAS Stories > SAS 참여마당
SAS Forum Korea 2015 후기 : "빅데이터 분석에 날개를 달다" - 단국대 임관훈 2015.06.07
임관훈 3093 0
http://www.mysas.co.kr/sas_club/n_sample.asp?b_no=6419&gotopage=1&con=subject&keyword=&cmd=content&bd_no=43&gubun=

 

 

SAS FORUM KOREA 2015 참석 후기 – SAS Student Ambassador 임관훈

[빅데이터 분석에 날개를 달다]  - SAS data management

 

 

SAS Student Ambassador 자격으로 SAS FORUM KOREA 2015에 참여하였습니다!

 

오전 세션이 끝나고, 점심시간을 거쳐 오후 세션이 시작되었습니다.

5개의 파트에서 각각 5개의 세션이 있었는데요. (오후에만 총 24개의 세션이 진행되었습니다.)

 

저는 '빅데이터 분석 플랫폼' 파트에서 오후 2번째 세션에 참석하였습니다.

 

 

 

위의 그림처럼 5개의 파트로 운영이 되었어요. 다 듣고 싶을 정도로 좋은 세션들로 구성 되었죠?

 

 

'빅데이터 분석 플랫폼' 파트에서 오후 2번째 세션의 발표 제목은 
<빅데이터 분석에 날개를 달다.> 입니다.

SAS Korea의 김근태 이사님이 내용을 발표해주셨습니다.

 

 

각 파트 별로 많은 좌석이 제공되었음에도 늦게 들어오면 뒤쪽에서 들어야 할 정도로 사람이 많았습니다.

이번에 제가 참석했던 '빅데이터 분석 플랫폼' 파트(그랜드 볼룸1)이 특히나 많은 참여자의 관심을 받았던 것 같습니다. 세션이 끝나거나 시작할 때 줄을 서서 나가고 들어올 정도였습니다.

 

그럼 본격적으로 김근태 이사님이 진행해주신 세션 내용을 한번 이야기해보도록 하겠습니다 !

이번 세션의 핵심은 기존의 데이터 준비 시간을 획기적으로 줄이고, 줄인 시간을 이용하여 과제 해결에 힘을 더 쏟자는 것이었습니다. 바로 SAS 툴들을 이용하여 말이죠!



 

 

비즈니스 과제를 성공적인 의사 결정 단계까지 이어가기 위해서는 과제 해결을 위한 데이터 준비와 과제 해결의 프로세스가 필요하겠죠.

 실제 이러한 업무를 진행하는 과정에서는 데이터 준비 단계에만 전체 프로세스 시간의

80퍼센트를 사용한다고 합니다.

 

 

 

 

데이터 관리와 과제 해결(분석) 단계를 빙산으로 비유하여 설명해주셔서 더 직관적으로 이해할 수 있었는데요

위의 빙산 그림과 같이,

눈에 보이는 결과를 내려면 과제 해결(분석)에 더 많은 시간을 사용해야 하지만, 실제로는 빙산의 하부와 같이 보이지 않는 부분을 위해 대부분의 시간을 보내고 있는 상황이죠.

 

 

 

 

데이터 준비 과정에 시간이 많이 걸리는 이유를 다음과 같이 정리해서 말씀해주셨습니다.

 

 

1.      매우 큰 데이터 (다양하게 흩어져 있기도 한…)

2.      낮은 데이터 품질

3.      일관성 없는 데이터 (시스템 간 불일치)

 

 

 

그리고 이러한 문제를 해결한다면 데이터 준비 과정에서 시간을 혁신적으로 줄일 수 있고, 그에 따라서 과제 해결에 사용할 수 있는 시간은 많아짐으로써 눈에 보이는 빙산을 위하여 더 많은 시간을 투자할 수 있죠.

바로 이러한 혁신을 가능케 해주는 것이 SAS DATA MANAGEMENT 입니다.

 

그림과 같이 다양한, 대용량의 데이터 소스들을 효과적으로 관리하여 고객에게 보내줍니다.

 

 

 

 

 

SAS DATA MANAGEMENT가 이러한 혁신을 가능케 해주는 핵심기술 4가지를 상세히 소개해주었는데요.

첫번째DATA Integration & Data Quality(데이터 통합 및 품질관리)입니다.

 

미국에서 실시한 조사에 따르면 빅데이터를 현업에서 다룰 때 가장 어려운 점 1위가 데이터 품질, 2위가 소스데이터 통합 이라고 합니다.

 

기업에서 표준화 된 형식의 데이터를 가지고 있는 것이 아니라 다양한 형태의 데이터를 보유하고 있기에 이를 통합하여 DW로 구축하는 것은 어렵습니다. 또한, 데이터의 신뢰도를 높이기 위하여 데이터 품질을 향상 시키는 작업은 굉장히 어렵기 때문에 위의 조사 결과처럼 나오지 않았나 생각됩니다.

 

SAS는 워크로드 분산, IN-MEMORY 등 다양한 프로세싱, 그리고 모든 프로세싱 플랫폼에서의 공통 기술활용으로 DATA Integration & Data Quality을 원활히 해결할 수 있습니다.




두번째 Data Federation & Virtualization(다양한 이기종 분산 데이터 활용의 최적화)입니다.

먼저 Data Federation이 무엇인지 간략하게 소개해주셨습니다.

 

Data Federation이란 다양한 시스템이 가진 소스 데이터를 물리적인 이동 없이 데이터를 매끄럽고 안전하게 접근하는 개념이라고 설명해주셨습니다.

 

기존 방식의 경우 각 데이터 소스를 통합하는 과정에서 어려움을 겪었고, 많은 시간이 소비 되었지만 data federation을 통하여 각 데이터 소스의 독립성과 데이터 소스 간의 일관성을 유지하면서 하나의 데이터 소스인 것처럼 바라 볼 수 있게 되는거죠

전통적인 DBMS와 인메모리(하둡 등)을 가상의 뷰를 통해 하나의 서비스로 고객이 받을 수 있게 합니다. 

 

 

 

 

세번째 Event Stream Processing(실시간 의사결정을 위한 데이터 스트리밍)입니다.

REAL TIME 데이터를 처리하는 기술에 대한 설명을 해주시고, SAS Event Stream Processing 데모 영상을 보여주셨습니다.

 

이때까지 빅데이터가 많이 언급되고 있지만 VALUE를 찾는데 어려움을 겪었습니다. 그리고 device transaction에서 나오는 데이터를 실시간으로 분석하자는 쪽으로 trend가 이동하고 있다고 합니다.  


제조에서의 실시간 품질관리, 금융에서 사기 방지, 실시간 마케팅, 기업 의사결정 등 많은 분야에서 활용되고 있고, 다양

한시도가 이루어 지고 있습니다.

이를 가능케 하기 위해 SAS Event stream processing가 출시 되었습니다.


 

 

 

그림과 같이, 실시간으로 다양한 형태의 소스데이터를 SAS ESP 엔진이 처리하고 고객들에게 서비스를 제공하여 줍니다. 초당 수백만 이벤트도 1/1000초 이하의 엄청난 속도로 처리하게 하는 성능을 가졌다고 합니다.


 

간단한 데이터를 처리하는 시연영상에 이어서 고객들이 요구하는 실시간 처리 결과 예시를 말해주셨습니다.

5분마다 TOP3 값을 알려달라

사용자가 주문을 취소하기 전에 특정한 행동을 하면 알라 달라

장비1에서 A이벤트, 장비2에서 B이벤트, 장비3에서 C이벤트가 발생하는 상황을 검출하라

 

등이 있었습니다



네번째 Self-Service Hadoop Handling(하둡 비전문가를 위한 셀프 서비스 데이터 핸들링)입니다.

Hadoop은 빅데이터를 처리하기 위한 필수 기술입니다. 그리고 Hadoop을 다룰 수 있는 전문가가 많이 부족하다고 하죠.

 

이에 SAS는 새로운 솔루션을 서비스하였습니다. SAS DATA Loader of Hadoop인데요.

 

시연 영상을 보니 굉장히 편리해 보이고, 쉽게 느껴졌습니다. 하둡 전문가가 아니라도 누구나 쉽게 사용할 수 있을 것 같았습니다

 

 

 

 

SAS Data Loader for Hadoop의 위 4가지 특징을 설명해주신 뒤 프로세스 순서를 상세히 설명해주셨습니다

 

 

 

 

이 화면은 SAS Data Loader for Hadoop 화면입니다.

시연을 할 때도 보여주셨지만 클릭만으로 다양한 작업을 비전문가가 구현 가능하게 되어 있습니다.

 

이번 세션을 전체적으로 정리하면, SAS는 고객들의 데이터 준비 과정에서의 시간을 혁신적으로 줄여주는 서비스를 제공하고 있으며, 이를 통하여 고객들은 문제 해결(분석)에 더 많은 투자를 할 수 있습니다.

 

SAS에서 대용량의, 그리고 다양한 형태의 데이터를 처리하기 위한 기술에 정말 많은 노력과 투자를 하고 있다는 것을 느낄 수 있었습니다.

특히, 사용자 관점에서 다루기 편리하게 만든 SAS Data Loader for Hadoop는 굉장히 인상 깊었습니다.

 



감사합니다. 











 

 
 
휴대폰 번호
휴대폰 인증번호
 
 SAS Forum Korea 2015 후기 : "정부3.0 데이터 공유 플랫폼" - 단국대 임관훈
 SAS 포럼 코리아 2015 후기_1