빅데이터분석기사 준비 D+4 (매개변수 최적화)

실제로 D+4는 아니지만.. 그냥 연속성을 위해 이렇게 적는걸로

어제는 시민도서관에서 R을 이용한 데이터분석 책을 사서 R과 Rstudio를 설치하고 한번 다뤄봤다.

책에서 시키는대로 해봤는데, 아직 배우는 중이긴 하다. 음 김득신의 마음가짐을 가지도록.

 

집에 와서 빅데이터분석기사 공부를 조금(아주조금) 했다.

<매개변수 최적화>

매개변수	초매개변수(하이퍼파라미터)
- 데이터로부터 학습에 의해 결정 - 예) 인공신경망의 가중치(weight), 편향(bias) - 최적화방법: GD, SGD, 모멘텀, Adagrad, RMSProp, Adam	- 분석가가 임의로 설정 - 예) 학습률, 은닉층 수 - 최적화 방법: 랜덤서치, 그리드서치, 베이지안최적화

그중 매개변수의 최적화 방법은 다음과 같다.                             

1) GD - 2) SGD - 3) Momentum(SGD+속도) 

                          - 4) AdaGrad(학습률) - 5) RMSProp 

                                                                                    - 6) Adam(가장 발전)

---

2) SGD 확률적 경사하강법

- 데이터를 전체 학습하지 않고 무작위로 선택한 1개의 데이터샘플을 학습

- 손실함수(모델 예측값과 실제값의 차이)의 기울기에 따라 조금씩 최저점으로 이동

- 지그재그로 크게 변하며, 최적점 근처에서 느림

3) Momentum 모멘텀

- SGD에 가속도 부여해 누적된 기울기 값에 의해 빠르게 최적점으로 이동

- 관성 개념 도입하여 진동, 폭을 줄이는 효과

- SGD보다 지그재그 덜함, 공이 구르듯 이동

4) AdaGrad

- 매개변수 값을 업데이트하면서 각 변수마다 학습률을 다르게 적용함

- 진행할수록 학습률이 적어지며, 처음에 학습률이 크고 최적점에 가가워지면 학습률 감소

- 지그재그 움직임이 크게 줄어들어 효율적

6) Adam

- 모멘텀+RMSProp, 가장 발전됨