카테고리 보관물: Conference

Repo. for NIPS 2016 papers

NIPS 2016 페이퍼가 구현된 레파지토리를 정리하는 레딧 포스트가 있습니다. 지금까지 13개의 깃허브 레파지토리가 정리되어 있습니다. 추가되는 대로 업데이트 하겠습니다. 혹시 이 외에 다른 레파지토리가 있다면 공유 부탁 드립니다.

  1. Using Fast Weights to Attend to the Recent Past (https://arxiv.org/abs/1610.06258)
    Repo: https://github.com/ajarai/fast-weights
  2. Learning to learn by gradient descent by gradient descent (https://arxiv.org/abs/1606.04474)
    Repo: https://github.com/deepmind/learning-to-learn
  3. R-FCN: Object Detection via Region-based Fully Convolutional Networks (https://arxiv.org/abs/1605.06409)
    Repo: https://github.com/Orpine/py-R-FCN
  4. Fast and Provably Good Seedings for k-Means (https://las.inf.ethz.ch/files/bachem16fast.pdf)
    Repo: https://github.com/obachem/kmc2
  5. How to Train a GAN
    Repo: https://github.com/soumith/ganhacks
  6. Phased LSTM: Accelerating Recurrent Network Training for Long or Event-based Sequences (https://arxiv.org/abs/1610.09513)
    Repo: https://github.com/dannyneil/public_plstm
  7. Generative Adversarial Imitation Learning (https://arxiv.org/abs/1606.03476)
    Repo: https://github.com/openai/imitation
  8. Adversarial Multiclass Classification: A Risk Minimization Perspective (https://www.cs.uic.edu/~rfathony/pdf/fathony2016adversarial.pdf)
    Repo: https://github.com/rizalzaf/adversarial-multiclass
  9. Unsupervised Learning for Physical Interaction through Video Prediction (https://arxiv.org/abs/1605.07157)
    Repo: https://github.com/tensorflow/models/tree/master/video_prediction
  10. Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks (https://arxiv.org/abs/1602.07868)
    Repo: https://github.com/openai/weightnorm
  11. Full-Capacity Unitary Recurrent Neural Networks (https://arxiv.org/abs/1611.00035)
    Repo: https://github.com/stwisdom/urnn
  12. Sequential Neural Models with Stochastic Layers (https://arxiv.org/pdf/1605.07571.pdf)
    Repo: https://github.com/marcofraccaro/srnn
  13. Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering (https://arxiv.org/abs/1606.09375)
    Repo: https://github.com/mdeff/cnn_graph
  14. Interpretable Distribution Features with Maximum Testing Power (https://papers.nips.cc/paper/6148-interpretable-distribution-features-with-maximum-testing-power.pdf)
    Repo: https://github.com/wittawatj/interpretable-test/
  15. Composing graphical models with neural networks for structured representations and fast inference (https://arxiv.org/abs/1603.06277)
    Repo: https://github.com/mattjj/svae
  16. Supervised Learning with Tensor Networks (https://arxiv.org/abs/1605.05775)
    Repo: https://github.com/emstoudenmire/TNML
  17. Fast ε-free Inference of Simulation Models with Bayesian Conditional Density Estimation: (https://arxiv.org/abs/1605.06376)
    Repo: https://github.com/gpapamak/epsilon_free_inference
  18. Bayesian Optimization for Probabilistic Programs (http://www.robots.ox.ac.uk/~twgr/assets/pdf/rainforth2016BOPP.pdf)
    Repo: https://github.com/probprog/bopp
  19. PVANet: Lightweight Deep Neural Networks for Real-time Object Detection (https://arxiv.org/abs/1611.08588)
    Repo: https://github.com/sanghoon/pva-faster-rcnn
  20. Data Programming: Creating Large Training Sets Quickly (https://arxiv.org/abs/1605.07723)
    Repo: https://github.com/HazyResearch/snorkel
  21. Convolutional Neural Fabrics for Architecture Learning (https://arxiv.org/pdf/1606.02492.pdf)
    Repo: https://github.com/shreyassaxena/convolutional-neural-fabrics
  22. Value Iteration Networks in TensorFlow (https://arxiv.org/abs/1602.02867)
    Repo: https://github.com/TheAbhiKumar/tensorflow-value-iteration-networks

NIPS 2016

(업데이트) NIPS 컨퍼런스와 튜토리얼의 동영상이 스케줄 페이지에 등록되었습니다. 곧 워크샵 동영상도 제공될 예정이라고 합니다. (2017-02-22)‘Adversarial Training’ 워크샵의 고화질 영상이 유투브에 올라왔습니다.

NIPS 2016 으로 스페인 바르셀로나가 시끌벅적합니다. 많은 내용들이 쏟아져서 다 살펴보기가 어렵네요. 정리가 되는 대로 이 포스트에 자료를 업데이트 하도록 하겠습니다.

NIPS 2016 에 대한 스케줄은 이곳에서 모두 확인할 수 있습니다.

먼저 오늘 열릴 워크샵 중 Adversarial Training페이스북 라이브로 중계될 예정입니다. 우리 시간으로 오후 5시 부터 생중계 될 예정입니다. 만약 바르셀로나 현지 네트워크가 원할하지 못해 라이브 스트림이 힘들다면 녹화해서 며칠내로 올린다고 합니다. 이안 굿펠로우(Ian Goodfellow)부터 얀 리쿤(Yann LeCun) 박사까지 발표자가 쟁쟁해서 놓칠 수 없는 이벤트인 것 같습니다.

  • Ian Goodfellow(OpenAI), Generative Adversarial Networks(GANs), slide, video
  • Soumith Chintala(Facebook), How to train a GAN?, github
  • Arthur Gretton(University College London), Learning features to compare distributions, slidevideo
  • Sebastian Nowozin(Microsoft), f-GAN, slide, paper
  • Aaron Courville(University of Montreal), video
  • Yann LeCun(Facebook), Energy-Based GANs, slide
  • Panel Discussion, video

요수아 벤지오(Yoshua Bengio) NIPS 2016 슬라이드

개별 슬라이드

  • John Schulman(OpenAI), Deep RL Workshop, The Nuts and Bolts of Deep RL Research, slide
  • Andrew Ng(Baidu), Nuts and Bolts of Building Applications using DL, slide
  • Yann LeCun, Invited Talk, Predictive Learning, slide
  • David Blei/Shakir Mohamed/Rajesh Ranganath, Variational Inference, slide
  • Pieter Abbeel/John Schulman, Deep RL Through Policy Optimization, slide

(업데이트)

ICLR2017 Paper Index

일전에 ICLR2017 을 위해 등록된 페이퍼가 500 개가 넘는다고 포스팅했었는데요. 오픈리뷰 사이트가 가끔 먹통이 되거나 굉장히 느려지기도 해서 페이퍼 리스트를 모두 받아 저자와 기관 그리고 키워드로 인덱싱 해서 깃허브에 올려 놓았습니다.

대략 훑어 보니 요슈아 벤지오(Yoshua Bengio) 교수가 16 편 그리고 애런 코빌(Aaron Courville) 교수가 10 편으로 가장 많은 페이퍼에 참여했습니다. 담당 기관별로는 몬트리올 대학이 37 편, 버클리 대학과 페이스북, 마이크로소프트가 각 34 편, OpenAI 와 스탠포드 대학이 21 편 그리고 구글이 96 편 입니다! 키워드별로 보면 Deep learning 이 311 편으로 가장 많고 Unsupervised Learning 이 89 편, Natural language processing 이 88 편 입니다. 한 페이퍼가 중복되어 리스트 될 수 있으니 참고하세요.

DL is Out of Control

내년 4월에 열리는 ICLR 컨퍼런스 리뷰를 위해 오픈 리뷰 사이트에 등록된 페이퍼가 500개가 훌쩍 넘었습니다. 종전에는 리뷰 대상 페이퍼가 많아야 백여건 정도라고 알고 있는데요. 500이 넘는 숫자는 정말로 압도적인 것 같습니다. 이 중에서 관심있는 분야의 것을 골라내는 것만 해도 일이 될 것 같으네요.

이는 비단 우리만의 문제는 아닌 것 같습니다. 많은 연구자들이 급속도로 발전하고 있는 딥 러닝 분야의 속도로 인한 고충을 토로하고 있습니다. 아마 어느 누구도 500 건이 넘는 페이퍼를 모두 읽지는 못할 것 같습니다. 선택과 집중 그리고 지식의 공유가 더욱 절실해지고 있습니다.

서울대학교 딥러닝 세미나 동영상

서울대학교 컴퓨터공학부 BI lab 석박사과정의 학생들이 주도가 되어 진행하는 CM(Connectionist Model) 세미나의 동영상이 유튜브에 꾸준히 공유되고 있습니다. 내부적으로 진행하는 세미나를 공개하는 게 쉽지 않은 일인데 정말 반갑네요. 감사합니다!

BayLearn 2016 Registration Open

baylearn2016

베이런(BayLearn. Bay Area Machine Learning Symposium) 2016 심포지엄의 등록이 시작되었습니다. 베이런은 2012년부터 시작된 심포지엄으로 올해에는 10월 6일에 열립니다. 올해에는 딥러닝 분야에 할애가 많이 되지 않을까 생각됩니다. 실리콘 밸리에 살고 있는 사람들이 부럽네요. 🙂

OpenAI and ML Unconference

오늘 OpenAI에서 10월 7~8일에 머신러닝 언컨퍼런스(unconference)를 개최한다고 홈페이지를 통해 공지했습니다. 언컨퍼런스라고 하면 보통 페이퍼를 등록하는 위원회가 없이 참여자들이 자유스럽게 여러가지 주제에 대해 토론하고 발표하는 것을 말합니다. 이렇게 하는 이유는 컨퍼런스에서 페이퍼를 등록하고 준비하는 기간이 수개월이나 소요되어 머신러닝 분야의 발전속도에 따라가지 못하기 때문이라고 합니다. 일반적으로 컨퍼런스의 주요 목적중의 하나인 네트워킹에 중점을 두어 최근 동향과 연구를 다루려고 하는 것 같습니다. 아직 구체적인 스케줄이나 방식은 나오지 않았습니다만 대략 150명의 인원을 대상으로 하며 OpenAI 사무실에서 진행될 예정이라고 합니다. 미리 참여를 확보한 리스트에는 구글 브레인팀을 비롯해 여러 PhD 학생과 연구자들이 있습니다. 온라인으로 누구나 신청할 수 있습니다만 초청 대상이 되는 것은 PhD 학생이나 주요 연구자들이 대상이 될 것으로 보입니다. 혹 초짜라면 다른 컨퍼런스를 알아보라고 하네요. ㅠ.ㅠ

이 발표가 있기 며칠전 OpenAI의 새로운 팀원이 추가된 공지가 올라왔습니다. 새로운 멤버에 대해서 아는 바는 없지만 기술 저술가인 잭 클라크(Jack Clark)가 추가된 것이 독특합니다. 잭은 불룸버그나 비즈니스위크 등에 인공지능 관련 기사에서 종종 볼 수 있는데요. OpenAI가 연구자 이외에 저술가 혹은 정책가로 팀 구성을 확대하는 점이 관심을 끄네요. 특히 그는 ‘Import AI‘라는 인공지능 관련 뉴스레터를 발행하고 있습니다(이름이 재미있습니다. 잭이 파이썬을 얼마나 쓰는지는 모르겠습니다). 이메일을 등록하시면 최근 업계 동향을 받아 볼 수 있습니다.

스탠포드 PhD 학생이면서 OpenAI의 팀원인 안드레이 카패시(Andrej Karpathy)는 최근 트위터를 통해 OpenAI에서 사용하는 주요한 딥 러닝 프레임워크는 텐서플로우라고 밝혔습니다. 하지만 사용하는 사람들이 각각 다른 방법을 쓰고 있어서 어려움을 느끼고 있는 것 같습니다. Slim, PrettyTensor, Keras, TFLean(aka. skflow) 등등. 아마 래퍼 라이브러리를 쓰지 않는 사람까지 고려하면 코드 공유에 약간 장애가 되겠네요. 안드레이는 slim을 쓴다고 합니다. 🙂

케라스의 개발자인 구글의 프랑소와 숄레(François Chollet)가 가끔 트위터에 깃허브의 머신러닝 라이브러리 인기도를 조사해서 올리곤 합니다. 직감으로 알 수 있듯이 텐서플로우가 당연히 1위 입니다. 사실 이런 인기도 조사를 하는게 크게 의미가 있는 것이 아니고 프랑소와가 할만한 일도 아니라고 생각되는데요. 이런 트윗에 영 심기가 불편한 것은 토치를 사용하는 페이스북의 연구자들입니다. 숫자가 너무 차이가 나거든요. ㅠ.ㅠ

PyCon 2016’s TensorFlow 자료

파이콘 2016에서 발표된 텐서플로우 관련 자료를 정리해 보았습니다.

  • Creating AI chat bot with Python 3 and Tensorflow [slide] [pdf]
  • Deep Learning with Python & TensorFlow [pdf]
  • Introduction to deep learning for machine vision tasks using Keras [pdf]
  • 지적 대화를 위한 깊고 넓은 딥러닝 (Feat. TensorFlow) [slide]

특히 ‘지적 대화를 위한 깊고 넓은 딥러닝’을 발표한 김태훈님이 관련 깃허브 레파지토리를 일목요연하게 정리해서 페이스북에 올려 주셨습니다.

  1. 이미지(사람의 얼굴 사진)을 이해하고 스스로 만드는 모델
    http://carpedm20.github.io/faces/
    https://github.com/carpedm20/DCGAN-tensorflow
  2. 픽셀을 하나씩 예측하며 이미지를 만드는 모델
    https://github.com/carpedm20/pixel-rnn-tensorflow
  3. Atari 게임을 화면의 픽셀만 보고 배우는 모델
    https://github.com/devsisters/DQN-tensorflow/
  4. 이미지 버전의 ‘왕 – 남자 + 여자 = 여왕’
    https://github.com/carpedm20/visual-analogy-tensorflow
  5. 뉴럴 네트워크로 만든 튜링 머신
    https://github.com/carpedm20/NTM-tensorflow
  6. 강화 학습 모델들
    https://github.com/carpedm20/deep-rl-tensorflow/
  7. Question Answering, Language Model
    https://github.com/carpedm20/MemN2N-tensorflow
  8. Character-level Language Models
    https://github.com/carpedm20/lstm-char-cnn-tensorflow
  9. Teaching Machines to Read and Comprehend
    https://github.com/carpedm20/attentive-reader-tensorflow
  10. Neural Variational Inference for Text Processing
    https://github.com/carpedm20/variational-text-tensorflow
  11. Text-based Games using Deep Reinforcement Learning
    https://github.com/carpedm20/text-based-game-rl-tensorflow
  12. Continuous Deep Q-Learning with Normalized Advantage Functions
    https://github.com/carpedm20/NAF-tensorflow
  13. Asynchronous Methods for Deep Reinforcement Learning
    https://github.com/devsisters/async-rl-tensorflow
  14. Neural Abstractive Summarization
    https://github.com/carpedm20/neural-summary-tensorflow

ACL2016

독일 베를린에서 열리고 있는 ACL2016에 맞춰서 언어, 번역, 자연어 처리 등의 관련 자료들이 많이 나오고 있습니다. 몇몇 눈에 띄는 대로 정리해 보도록 하겠습니다.

  • 구글 리서치의 WikiReading 데이터 입니다.
  • 구글의 Parsey McParseface 모델의 최근 소개 와 ACL2016 에 참여하고 있는 구글 팀의 자료 입니다.
  • 마이크로소프트 리서치의 튜토리얼과 워크샵 안내 입니다.
  • 뉴욕 대학교 조경현 교수 및 동료들이 만든 NMT 튜토리얼 입니다. 그리고 이 튜토리얼에 관한 블로그 입니다.
  • NLP Representation Learning 에 관한 첫번째 워크샵자료집입니다.

Recent Progress in Generative Modeling

OpenAI의 일리아 서츠케버(Ilya Sutskever)가 지난 4월 스탠포드 대학에서 열린 ‘Scaled Machine Learning‘에서 발표한 ‘Recent Progress in Gernerative Modeling‘ 발표자료가 공개되어 있습니다. 다만 이 컨퍼런스의 발표 동영상은 찾을 수 없어서 아쉽습니다.