지난주에 발표된 페이퍼 중 가장 이슈인 것은 제프리 힌튼(Geoffrey Hinton) 팀의 ‘Using Fast Weights to Attend to the Recent Past‘ 인 것 같습니다. 이건 마치 RNN 안에 또 다른 RNN 을 삽입한 것처럼 느껴집니다. Fast Weight는 최근의 기억에 비중을 둔 그래서 가중치가 빠르게 변하는 모습을 뜻하고 반대로 기존 RNN의 가중치는 Slow Weight로 표현하고 있습니다. 제프리 힌튼이 페이퍼 내용을 설명하는 강의 영상과 트위터의 휴고 라로쉘(Hugo Larochelle)의 서머리도 참고하세요. 좀 더 자세한 내용이 파악되면 다시 업데이트 하겠습니다.
제프리 힌튼(Geoffrey Hinton) 교수의 코세라 강좌인 Neural Netwoks for Machine Learning 가 드디어 시작되었습니다. 다프니 콜러(Daphne Koller)의 Probabilistic Graphical Models 와 함께 놓칠 수 없는 강의입니다. 이번 기회에 꼭 완주해야겠습니다 🙂
출처: 레이어 노말라이제이션 페이퍼
토론토 대학의 제프리 힌튼 교수 팀에서 공개한 페이퍼 ‘Layer Normalization‘이 금주에 나온 가장 핫(hot)한 페이퍼 중 하나가 아닐까 합니다. 배치 노말라이제이션을 변형하여 입력 데이터의 평균과 분산을 이용해 레이어 노말라이제이션을 적용했다고 합니다. 이 페이퍼는 몬트리올 대학교의 애런 코빌(Aaron Courville)팀에서 지난 3월 발표한 ‘Recurrent Batch Normalization‘을 개선한 것으로 볼 수 있습니다. 당연히 결과가 좋으니 관심이 높은 거겠죠?
씨아노와 토치로 된 코드는 여기에서 확인할 수 있습니다. 관심을 반영하듯 불과 하루만에 케라스(Keras)로 작성된 GRU 리커런트 뉴럴 네트워크용 코드가 나왔습니다. 물론 이런 빠른 속도에 불평이 없는 것은 아닙니다. 🙂
* 페이퍼 마지막 Supplementary Material의 22번 공식 아래에 
(업데이트) 주말에 누군가가 텐서플로우로 구현하지 않을까 생각했는데 역시나 지구 한편에서 누군가가 작업을 하고 있었습니다. 이전에 소개했던 ‘TensorFlow with The Latest Papers‘ 레파지토리에서 레이어 노말라이제이션을 텐서플로우로 구현한 코드를 조금 전에 추가했습니다.
코세라(Coursera)가 사용자들의 원성(?)을 들었던 걸까요. 주옥같은 강좌들이 몇년만에 다시 시작된다는 기쁜 소식입니다.
Probabilistic Graphical Models, Stanford University, August 2016
Neural Networks for Machine Learning, University of Toronto, September 2016
Natural Language Processing, Stanford University, September 2016
이 강좌들을 들으려면 올여름을 바쁘게 보내야 할 것 같습니다 🙂
ps: 구글의 머신러닝 유투브 강의도 계속 업데이트 되고 있습니다.
(업데이트) 스탠포드의 ‘Natural Language Processing’ 강좌는 실수로 등록된 거라고 코세라에서 메일이 왔습니다. 현재 이 강좌 페이지는 들어가 지지도 않네요.ㅠ.ㅠ 대신 9월 부터 시작하는 미시간 대학의 ‘Introduction to Natural Language Processing‘을 수강하실 수 있습니다.
가장 큰 MOOC중 하나인 코세라가 새로운 플랫폼으로 이전하면서 이전 플랫폼의 자료를 삭제한다고 합니다. 구 플랫폼은 6월 30일까지만 접근이 가능하니 그때까지 필요한 동영상, 자료를 다운받으라고 하네요. 코세라 사이트의 디자인이 클래스마다 조금 달라진 건 느꼈지만 이전 자료를 일시적으로 제한한다는 발표는 잘 이해가 안됩니다.(가뜩이나 요즘 코세라의 강좌가 Certificate 위주로만 편성되는 듯해서 질타가 많습니다)
들으셨던 강좌가 class.coursera.org 로 시작하는 도메인에 있으면 구 플랫폼이어서 삭제될 예정입니다. 만약 강좌의 주소가 coursera.org/learn 으로 시작하면 새로운 플랫폼입니다. 또 강좌 페이지 스타일로도 확인할 수 있습니다. 아래 그림에서 왼쪽의 이미지가 구 플랫폼의 인터페이스고 오른쪽이 신 플랫폼의 인터페이스 입니다. 늦지 않게 필요한 자료를 다운받으시면 좋을 것 같습니다. 플랫폼이 바뀌더라도 이전에 받으셨던 Certificate는 그대로 유효합니다.
인기있고 현재 계속 진행중인 강의들은 새 플랫폼으로 이미 많이 이전 했습니다. 예전 플랫폼에 그대로 있어 놓치기 아까운 강좌로는 토론토 대학교의 제프리 힌튼(Geoffery Hinton) 교수의 ‘Neural Networks for Machine Learning‘ 강좌입니다. 코세라 사이트에서 강의 동영상과 슬라이드 자료를 다운받으실 수 있습니다. 제가 다운 받은 자료를 구글 드라이브로 공유합니다. 이외에도 구 플랫폼에서 놓치기 아까운 강좌가 있다면 댓글로 공유 부탁드립니다.
(추가) 안상영님이 댓글로 추천해 주신 ‘Coding the Matrix: Linear Algebra through Computer Science Applications’ 강좌를 다운받아 공유합니다. 1.5기가나 되어서 직접 다운받으시기에 어려우신 경우는 코세라 다운로드 툴들을 이용하시면 좋습니다. 저는 파이썬 패키지 coursera를 이용하여 커맨드 라인에서 코세라 아이디와 패스워드를 입력하고 강좌 코드 ‘matrix-002’ 을 사용하여 다운받았습니다.(다운 받으시기 전에 코세라 홈페이지에서 해당 강좌에 먼저 Enroll 하셔야 될 것 같습니다)
구글 제프리 힌튼(Geoffrey Hinton)의 20여분 짜리 뉴럴 네트워크 강연 동영상입니다. 실제 동영상은 작년 5월 즈음에 녹화된 것으로 며칠전에 공개되었습니다. 아쉬운 것은 슬라이드 보다 제프리의 얼굴이 더 많이 나온다는 점입니다 🙂
텐서 플로우 블로그 (Tensor ≈ Blog) 