태그 보관물: ICML2016

Magenta’s paper reviews

구글의 마젠타(Magenta) 프로젝트는 뉴럴 네트워크, 특히 리커런트 뉴럴 네트워크를 사용하여 음악을 작곡하는 텐서플로우의 서브 프로젝트입니다. 프로젝트 리더인 더글라스 에크(Douglas Eck)를 ICML 2016 워크샵 때 보았는데요. 구글 브레인팀이 합류되어서 그런지 자신감도 넘치고 다른 발표자들에게도 이런 저런 질문을 많이 하는 모습이 좋아 보였습니다. 사실 이 워크샵에서 작곡 부분에 관련된 것은 더글라스의 키노트 뿐이고 나머지 세션은 음악을 분류한다던가 추천, 검색등의 분야에 대한 내용이 주를 이루었습니다(스포티피아가 구인한다고 살짝 홍보도 하더군요). 근데 저는 작곡하는게 궁금하다구요! 라고 외치고 싶었지만…

최근에 마젠타 팀에서 음악 작곡에 관한 몇가지 자료를 공개했다는 반가운 소식입니다. 음악 작곡을 위한 리커런트 뉴럴 네트워크 모델을 깃허브에 올리고 관련된 글를 블로그에 포스팅했습니다. 그리고 음악이나 미술 등의 분야를 접목하기 위해 읽어야 할 페이퍼를 리스트업하고 이에 대한 상세한 리뷰를 깃허브에 공개해 주었습니다. 땡큐, 마젠타!

  1. DRAW: A Recurrent Neural Network For Image Generation by Gregor et al. (Review by Tim Cooijmans)
  2. Generating Sequences with Recurrent Neural Networks by Graves. (Review by David Ha)
  3. A Neural Algorithm of Artistic Style by Gatys et al. (Review by Cinjon Resnick)
  4. Pixel Recurrent Neural Networks by Van den Oord et al. (Review by Kyle Kastner)

ICML 2016 Started

ICML 2016이 미국 뉴욕에서 시작되었습니다. OpenAI의 Greg Brockman, 스탠포드 비전랩의 Andrej Karpathy, 세일즈포스의 Richard Socher, 딥마인드의 David Silver 등 속속 주말에 뉴욕에 도착했다고 합니다.

ICML 튜토리얼은 컨퍼런스 후에 동영상이 모두 공개될 예정이며 메인 컨퍼런스는 techtalks에서 중계를 한다고 합니다. 먼저 몇몇 튜토리얼의 슬라이드 자료 입니다. 자료가 공개되면 업데이트 하도록 하겠습니다.

Deep Reinforcement Learning David Silver (Google DeepMind) [slides1] [slides2] (구글 딥마인드 홈페이지에 블로그가 생겼습니다. 첫 글이 David Silver의 강화학습이네요. 같이 보면 좋을 것 같습니다)

Deep Residual Networks: Deep Learning Gets Way Deeper Kaiming He (Facebook) [slides]

Causal inference for observational studies David Sontag and Uri Shalit (New York University) [slides]

Stochastic Gradient Methods for Large-Scale Machine Learning Leon Bottou (Facebook AI Research), Frank E. Curtis (Lehigh University), and Jorge Nocedal (Northwestern University) [slides1] [slides2] [slides3]

Graph Sketching, Streaming, and Space-Efficient Optimization
Sudipto Guha (University of Pennsylvania) and Andrew McGregor (University of Massachusetts Amherst) [slides1] [slides2]

(추가) ICML 2016의 베스트 페이퍼로 3개의 페이퍼가 선정되었습니다. 그 중에 두개가 구글 딥마인드 팀이네요.

(업데이트) techtalks.tv에 ICML의 튜토리얼공식 토크(Plenary Talk)의 동영상이 올라왔습니다.