hyperparameter
-
Hyperparameter 튜닝은 어떻게 하는걸까?머신러닝 및 딥러닝 2021. 1. 17. 10:56
딥러닝에는 여러가지 하이퍼 파라미터가 존재한다. 예를들어 대표적으로 몇개만 써보면 1. 층 별로 hidden unit의 갯수 2. 학습률 3. Adam optimizer로 예시를 들면 베타값 2(0.9 와 0.999)개와 입실론값(10^-8) 4. layer의 수 5. 학습률을 쓰지 않는다면 learning rate decay 6. mini-batch 의 크기 7.모멘텀 값(0.9 가 가장 좋은 초기값으로 알려져 있다.) 빨간색이 가장 중요한 하이퍼파라미터이고 그다음 차례대로 중요한 것이 주황색 초록색이라고 생각하면 될 것 이다.(당연히 이렇게가 항상 중요한 순서다 라는 것은 아니다! 일반적으로 그렇다고 생각하면 될 것이다.) 과거의 머신러닝에서는 위의 그림과 같이 하이퍼파라미터가 2개만 있다고 가정했을..