빅데이터분석기사 준비 D+2

세상을 읽는 새로운 언어, 빅데이터-조성준

머리에 잘 입력이 안되어서 정리를 하고자 한다.

 

Task: 인사이트를 도출하기 위해 데이터에 수행하는 작업

묘사 > 진단 > 예측 > 처방

 

1단계: 묘사 2단계 진단

-시각화: 스팟파이어(spotfire), 태블로(TABleau) 예) 에어컨 실내기의 24시간 동안의 작동

-연관분석: 어 프라이오리(A Priori) 예) 오븐과 연관검색어 '실패', '엄마', '간식' 등

-클러스터링: K-평균 군집화(K-Means-Clustering), 계층적 군집화(Hierarchial Clustering), SOM 신경망(Self Organizing Map Neural Network) 예) 신용카드사의 우수고객 30명 성향별로 나누기

 

3단계: 예측

-예측, 분류 둘 다: 의사결정나무(Decision Tree), 다층 퍼셉트론 신경망(Multilayer Perceptron Neural Network) 예) 컨퍼런스콜 내용으로 해당 회사 주식 가격의 미래 방향 예측하기

-예측만: 회귀분석(Regression), 지지벡터 회귀분석(Support Vector Regression) 예) 알파고

-분류만: 로지스틱 회귀분석(Logistic Regression), 지지벡터 머신(Support Vector Machine) 예) 이미지 검색기능, CEO 정서 파악하기

-이상탐지: 가우시안 혼합모형(Gaussian Mixture Model), 오토인코더 신경망(Auto-encoder Neural Network) 예) 기계 장비의 이상 상황 발견하기, CCTV 이상 상황 발견하기

 

4단계: 처방

-최적화: 선형 및 정수 최적화(Linear and Integer Optimization), 진화 알고리즘(Evolutionary Algorithm)