Asynchronous update with Synthetic Gradient

구글 딥마인드 팀에서 새로운 페이퍼 ‘Decoupled Neural Interfaces using Synthetic Gradients‘를 공개했습니다. 보통 포워드 방향으로 뉴럴 네트워크를 학습시키고 백워드 방향으로 그래디언트를 전파할 때 모든 뉴럴 네트워크의 레이어가 멈춰있게 됩니다. 즉 동기적으로 파라메타가 업데이트 되는 것이죠. 이 페이퍼에서는 뉴럴 네트워크의 레이어를 작게 분리하여 학습과 에러 전파를 비동기적으로 할 수 있도록 했다고 합니다. 초록만 대충 보았는데 좀 더 정확한 내용이 파악되면 업데이트 하도록 하겠습니다.

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

%s에 연결하는 중

This site uses Akismet to reduce spam. Learn how your comment data is processed.