경사하강법^{gradient descent} 최적화 알고리즘의 한 종류인 모멘텀^momentum과 네스테로프 모멘텀^{nesterov momentum} 방식은 여러 신경망 모델에서 널리 사용되고 있습니다. 비교적 이 두가지 알고리즘은 직관적이고 쉽게 이해할 수 있습니다. 이 글에서는 두 알고리즘이 실제 구현에서는 어떻게 적용되는지 살펴 보겠습니다.

모멘텀 알고리즘은 누적된 과거 그래디언트가 지향하고 있는 어떤 방향을 현재 그래디언트에 보정하려는 방식입니다. 일종의 관성 또는 가속도처럼 생각하면 편리합니다. 머신 러닝의 다른 알고리즘들이 그렇듯이 모멘텀 공식도 쓰는 이마다 표기법이 모두 다릅니다. 여기에서는 일리아 서스키버^{Ilya Sutskever}의 페이퍼¹에 있는 표기를 따르겠습니다. 모멘텀 알고리즘의 공식은 아래와 같습니다.

은 학습속도이고 는 모멘트 효과에 대한 가중치입니다. 는 0 으로 초기화되어 있고 반복이 될 때마다 현재의 그래디언트  가 다음번 모멘트 에 누적됩니다. 그리고 다음번 반복에서 가 현재의 모멘트  로 사용됩니다. 경사하강법에서 모멘트 항이 추가된 것입니다.

계속 읽기 →