출처: 레이어 노말라이제이션 페이퍼

토론토 대학의 제프리 힌튼 교수 팀에서 공개한 페이퍼 ‘Layer Normalization‘이 금주에 나온 가장 핫(hot)한 페이퍼 중 하나가 아닐까 합니다. 배치 노말라이제이션을 변형하여 입력 데이터의 평균과 분산을 이용해 레이어 노말라이제이션을 적용했다고 합니다. 이 페이퍼는 몬트리올 대학교의 애런 코빌(Aaron Courville)팀에서 지난 3월 발표한 ‘Recurrent Batch Normalization‘을 개선한 것으로 볼 수 있습니다. 당연히 결과가 좋으니 관심이 높은 거겠죠?

씨아노와 토치로 된 코드는 여기에서 확인할 수 있습니다. 관심을 반영하듯 불과 하루만에 케라스(Keras)로 작성된 GRU 리커런트 뉴럴 네트워크용 코드가 나왔습니다. 물론 이런 빠른 속도에 불평이 없는 것은 아닙니다. 🙂

* 페이퍼 마지막 Supplementary Material의 22번 공식 아래에 가 0으로(vector of zeros) 초기화된다고 쓰여진 것은 오타로 1로 초기화 되어야 한다고 합니다.

(업데이트) 주말에 누군가가 텐서플로우로 구현하지 않을까 생각했는데 역시나 지구 한편에서 누군가가 작업을 하고 있었습니다. 이전에 소개했던 ‘TensorFlow with The Latest Papers‘ 레파지토리에서 레이어 노말라이제이션을 텐서플로우로 구현한 코드를 조금 전에 추가했습니다.