월간 보관물: 2016 6월

Andrew Ng’s Book: Machine Learning Yearning

clzytu7wkaalj-a 바이두(Baidu)의 앤드류 응(Andrew Ng) 박사가 ICS HPC 컨퍼런스에 참석차 방문한 독일 프랑크푸르트에서 올 여름 새로운 책을 집필할 것이라고 알렸습니다. 책 이름은 ‘Machine Learning Yearning’ 입니다. 웹 사이트 mlyearning.org 에서 이메일을 등록하면 초안이 작성되는 대로 무료로 공유 받을 수 있습니다. 이메일을 등록한 후 확인 메일을 받아 메일링 리스트 가입을 확정하여야 합니다. 간혹 확인 메일이 안올 경우도 있으니 잠시 후에 다시 시도하면 됩니다.

아마도 출간되면 ‘Deep Learning Book’ 과 함께 꼭 읽어야 할 책 목록 중에 하나가 되지 않을까 생각됩니다. 가능하면 올해안에 만나볼 수 있기를 기대해 봅니다. 드래프트를 받으면 읽고 리뷰할 수 있도록 하겠습니다.

추가로 텐서플로우와 씨아노(Theano) 래퍼(Wrapper) 라이브러리 Keras의 개발자인 구글의 프랑소와 숄레(François Chollet)가 매닝(Manning) 출판사와 딥 러닝에 관한 책을 쓰기로 계약했다는 소식이 있습니다. 아마도 Keras와 텐서플로우를 이용한 예시가 많지 않을까 생각됩니다. 이 책은 빨라야 내년 초에나 볼 수 있을 것 같습니다.

(추가) 2일만에 35,000개 이상의 메일이 가입되었다고 합니다. 앤드류 응의 인기가 실감되네요. 24일까지 메일링 리스트 가입을 받는다고 하니 서루르세요.

SQuAD: Stanford Question Answering Dataset

스탠포드 대학의 NLP 그룹에서 크라우드 소싱을 통해 만든 536개의 위키피디아 아티글에 대한 107,785개의 질문-대답 데이터셋인 SQuAD를 온라인에 공개했습니다. 훈련 데이터는 30메가 정도이고 테스트 데이터는 5메가 정도로 누구나 다운받으실 수 있고 온라인으로 데이터를 살펴볼 수도 있습니다.

squad-explore

현재 데이터는 1.0으로 이메일을 등록해 놓으면 업데이트 된 버전에 대해 알림을 받을 수 있습니다. SQuAD의 페이퍼는 arXiv에 등록되어 있으며 페이퍼에서 사용한 모델의 성능은 F1 스코어 51% 정도로 실제 사람의 수준인 86% 와는 아직 차이가 많습니다.

(업데이트) SQuAD 데이터셋이 버전 1.1로 업데이트 되었습니다. 리더보드는 싱가포르 경영대학 팀이 F1 스코어 70%로 1위 입니다.

squad-leaderboard.png

ICML 2016 Started

ICML 2016이 미국 뉴욕에서 시작되었습니다. OpenAI의 Greg Brockman, 스탠포드 비전랩의 Andrej Karpathy, 세일즈포스의 Richard Socher, 딥마인드의 David Silver 등 속속 주말에 뉴욕에 도착했다고 합니다.

ICML 튜토리얼은 컨퍼런스 후에 동영상이 모두 공개될 예정이며 메인 컨퍼런스는 techtalks에서 중계를 한다고 합니다. 먼저 몇몇 튜토리얼의 슬라이드 자료 입니다. 자료가 공개되면 업데이트 하도록 하겠습니다.

Deep Reinforcement Learning David Silver (Google DeepMind) [slides1] [slides2] (구글 딥마인드 홈페이지에 블로그가 생겼습니다. 첫 글이 David Silver의 강화학습이네요. 같이 보면 좋을 것 같습니다)

Deep Residual Networks: Deep Learning Gets Way Deeper Kaiming He (Facebook) [slides]

Causal inference for observational studies David Sontag and Uri Shalit (New York University) [slides]

Stochastic Gradient Methods for Large-Scale Machine Learning Leon Bottou (Facebook AI Research), Frank E. Curtis (Lehigh University), and Jorge Nocedal (Northwestern University) [slides1] [slides2] [slides3]

Graph Sketching, Streaming, and Space-Efficient Optimization
Sudipto Guha (University of Pennsylvania) and Andrew McGregor (University of Massachusetts Amherst) [slides1] [slides2]

(추가) ICML 2016의 베스트 페이퍼로 3개의 페이퍼가 선정되었습니다. 그 중에 두개가 구글 딥마인드 팀이네요.

(업데이트) techtalks.tv에 ICML의 튜토리얼공식 토크(Plenary Talk)의 동영상이 올라왔습니다.

TensorFlow White Paper[1603.04467] Summary

텐서플로우 백서(White Paper)라고도 불려진 텐서플로우의 첫번째 페이퍼 ‘TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems‘[1603.04467]를 요약해서 정리해 보았습니다. 아직 읽지 않은 분들에게 도움이 되었으면 합니다. 부족한 부분이 있다면 댓글로 보완해 주세요.

소개

2011년에 구글 브레인 팀이 조직되어 딥 뉴럴 네트워크(deep neural network)에 대한 연구를 시작하였고 딥 뉴럴 네트워크 시스템인 디스트빌리프(DistBelief)를 개발했습니다. 구글은 디스트빌리프를 비감독학습(unsupervised learning), 언어[1, 2], 이미지인식[1, 2], 비디오분류, 음성인식[1, 2, 3], 보행자감지, 바둑, 시퀀스예측, 강화학습(reinforcement learning)과 그외[1, 2] 여러 분야에 사용해왔습니다. 구글 안의 50개가 넘는 팀과 알파벳 자회사들이 디스트빌리프를 이용해 다양한 제품에 딥 뉴럴 네트워크를 적용해왔습니다. 여기에는 검색, 광고, 음성인식시스템[1, 2, 3], 구글포토, 지도, 스트리트뷰, 번역, 유투브 등이 포함됩니다. 이러한 경험을 바탕으로 차세대 대규모 머신러닝 시스템인 텐서플로우(TensorFlow)를 개발했습니다.

텐서플로우는 상태 정보를 가지는 데이터플로우(dataflow) 그래프로 컴퓨터의 계산을 표현합니다. 안드로이드, iOS 같은 모바일 환경에서 추론(inference) 시스템을 만들수도 있고 한개 또는 여러개의 GPU를 가진 단일 서버에서는 중간 규모의 훈련(training)과 추론 시스템을 구축할 수 있습니다. 또는 수천개의 GPU가 탑재된 수백대의 서버에서 운영될 수도 있습니다. 텐서플로우를 이용하면 학습 시스템은 대규모로 하면서 실제 서비스는 소형화하여 운영할 수 있습니다.

텐서플로우는 매우 빠른 성능과 유연한 구조를 가지고 있어 새로운 모델을 빠르게 실험해 볼 수 있고 실제 서비스에도 안정적으로 사용할 수 있습니다. 디스트빌리프와 비교해 볼 때 텐서플로우의 프로그래밍 방식이 더 유연하고 성능은 더 뛰어납니다. 구글 내부의 여러 팀들이 이미 디스트빌리프에서 텐서플로우로 전환했습니다. 텐서플로우는 딥 뉴럴 네트워크를 만드는 데 사용되는 것이 일반적이지만 다른 머신러닝 알고리즘을 적용하거나 수치 계산 용으로도 사용할 수 있어서 다양한 산업 분야에 폭 넓게 활용될 수 있습니다. 텐서플로우는 2015년 11월 아파치 2.0 오픈소스 라이센스로 공개되었고 www.tensorflow.org에서 다운받을 수 있습니다.

계속 읽기

Large Scale Deep Learning with TensorFlow by Jeff Dean

스파크 서밋 2016에서 제프 딘(Jeff Dean)이 발표한 키노트 ‘Large Scale Deep Learning with TensorFlow’ 동영상이 공개되었습니다. 슬라이드 자료는 여기에서 받으실 수 있습니다.

스파크 서밋 2016의 또 다른 키노트 발표자인 앤드류 응(Andrew Ng)의 ‘AI: The New Electricity’도 참고하세요.

때마침 edX에서 버클리 대학교의 스파크 시리즈 강좌가 시작되었네요. 특별히 Certificate를 받을 필요가 없다면 무료이며 모든 강좌에 똑같이 참여할 수 있습니다.

OpenAI’s first paper – Improved Techniques for Training GANs

openapi-gan-mnist.png

피처 매칭(feature matching)을 사용한 반감독 학습에서의 불완전한 이미지(좌측), 미니배치 식별(minibatch discrimination) 방식을 이용하여 생성한 MNIST 원본과 거의 구분할 수 없는 이미지(우측). (출처: OpenAI 페이퍼)

OpenAI의 첫번째 페이퍼 ‘Improved Techniques for Training GANs‘가 arXiv에 공개되었습니다. GANs(Generative Adversarial Networks)에 관한 이 페이퍼에서는 반감독(semi-supervised) 학습을 사용하여 MNIST, CIFAR-10 등의 분류 정확도를 높이는 것과 사람이 구분할 수 없을 정도로 실제와 비슷한 이미지를 만들어 냈다고 합니다. 코드는 깃허브에 공개되었고 텐서플로우와 씨아노(Theano)를 이용하여 작업되었습니다.

Microsoft Research’s Video and Checked C

마이크로소프트 리서치에서 200개가 넘는 동영상을 한꺼번에 유투브 채널에 공개했습니다. 머신러닝과 딥러닝에 관한 영상도 많아 참고하시면 좋을 것 같습니다. 포스트 맨 아래에 전체를 리스트업 했습니다. 혹 추가되는 영상이 있다면 업데이트 하도록 하겠습니다.

그리고 이 동영상 공개외에도 자체적으로 개발해 오던 Checked C 를 오픈소스로 깃허브에 공개했습니다. 스펙의 버전은 0.5이며 별도의 스펙 레파지토리에서 다운 받으실 수 있습니다. 링크드인을 인수하는 등 예전의 마이크로소프트가 아닌 것 같네요.

<마이크로소트프 리서치 동영상 풀 리스트>

계속 읽기

Pycon 2016 전체 동영상

지난 주에 Pycon 2016: ‘Diving into Machine Learning through TensorFlow’ 를 소개해 드렸는데 다시 살펴 보니 유투브에 Pycon 2016 채널에 동영상이 모두 올라오고 있는 것 같습니다. 전체 리스트가 너무 많아 그 중에 데이터 사이언스와 머신러닝과 관련된 영상만 추려 보았습니다. 슬라이드 자료는 스피커덱에서 온라인으로 볼 수 있고 pdf로도 다운받으실 수 있습니다.

파이썬 컨퍼런스라 그런지 추린 것도 많네요. 이걸 언제 다 들어보죠 😦

Jake Vanderplas – Statistics for Hackers – PyCon 2016

Visual Diagnostics for More Informed Machine Learning: Within and Beyond Scikit-Learn – PyCon 2016

계속 읽기

DeepLearningBook pdf version

얼마전 딥러닝북(DeepLearningBook.org)이 완성되었다는 포스트를 올렸었습니다. 이 책은 온라인에서 무료로 읽을 수 있지만 MIT 출판사가 pdf로 배포하는 것은 허락하지 않고 있습니다. 책으로 출간되기 전에는 온라인에서 읽을 수 밖에 없는데요. 이 사이트의 html 페이지를 모두 다운로드 받아서 pdf으로 합쳐놓은 레파지토리가 있습니다! 온라인 버전에서 몇몇 수학 공식이 잘 표현되지 못한 부분은 pdf 버전에서도 동일합니다.

DarkForest, the Facebook Go engine

figure

처: 페이스북 다크포레스트 깃허브

페이스북이 ICLR 2016에서 발표한 인공지능 바둑 엔진인 다크포레스트(DarkForest)를 깃허브에 공개하였습니다. 다크포레스트는 토치로 개발되었으며 알파고와 유사하게 딥 콘볼루션 뉴럴 네트워크와 몬테 카를로 트리 검색 방식을 함께 사용합니다. 다크포레스트는 올해 초에 네이처지를 통해 발표한 것으로 강화학습을 사용한 구글의 알파고보다는 크게 뒤지는 것으로 보입니다. 얀 리쿤(Yann LeCun) 교수의 페이스북 글을 참고하면 다크포레스트는 대략 아마 5단의 실력을 가지고 있어서 프로 5단 정도의 실력으로 평가되는 알파고와는 차이가 많이 난다고 합니다. 얼마전 이세돌과의 대국을 봐서는 알파고의 수준은 프로 5단 이상으로 보입니다.

다크포레스트의 페이퍼는 여기서 받으실 수 있으며 ICLR에 올려진 포스터는 여기서 보실 수 있습니다.