태그 보관물: Greg Brockman

ICML 2016 Started

ICML 2016이 미국 뉴욕에서 시작되었습니다. OpenAI의 Greg Brockman, 스탠포드 비전랩의 Andrej Karpathy, 세일즈포스의 Richard Socher, 딥마인드의 David Silver 등 속속 주말에 뉴욕에 도착했다고 합니다.

ICML 튜토리얼은 컨퍼런스 후에 동영상이 모두 공개될 예정이며 메인 컨퍼런스는 techtalks에서 중계를 한다고 합니다. 먼저 몇몇 튜토리얼의 슬라이드 자료 입니다. 자료가 공개되면 업데이트 하도록 하겠습니다.

Deep Reinforcement Learning David Silver (Google DeepMind) [slides1] [slides2] (구글 딥마인드 홈페이지에 블로그가 생겼습니다. 첫 글이 David Silver의 강화학습이네요. 같이 보면 좋을 것 같습니다)

Deep Residual Networks: Deep Learning Gets Way Deeper Kaiming He (Facebook) [slides]

Causal inference for observational studies David Sontag and Uri Shalit (New York University) [slides]

Stochastic Gradient Methods for Large-Scale Machine Learning Leon Bottou (Facebook AI Research), Frank E. Curtis (Lehigh University), and Jorge Nocedal (Northwestern University) [slides1] [slides2] [slides3]

Graph Sketching, Streaming, and Space-Efficient Optimization
Sudipto Guha (University of Pennsylvania) and Andrew McGregor (University of Massachusetts Amherst) [slides1] [slides2]

(추가) ICML 2016의 베스트 페이퍼로 3개의 페이퍼가 선정되었습니다. 그 중에 두개가 구글 딥마인드 팀이네요.

(업데이트) techtalks.tv에 ICML의 튜토리얼공식 토크(Plenary Talk)의 동영상이 올라왔습니다.

OpenAI에 오기까지 by Greg Brockman

며칠전 OpenAI 의 창립 멤버 중 한명이자 CTO인 Greg Brockman이 ‘My Path to OpenAI’ 란 제목의 을 블로그에 올렸습니다. Greg은 실리콘 밸리 디지털 결재시스템 스타트업인 Stripe의 CTO 였습니다. 이 글이 흥미로운 것은 그가 하버드나 MIT 대학을 나왔다는 것 때문이 아니라 자신이 좋아하는 일을 위해 Stripe를 그만두고 인공지능 분야에 대해 공부하기 시작했다는 점입니다. 인공지능 분야에서 대단한 연구를 했다거나 소프트웨어를 개발한 것도 아닙니다. 그저 이게 내가 평생을 두고 할 일이라는 직관만이 있었던 것 같습니다.

인맥이 좋은 건지 열정이 좋은 건지 Greg은 그 후 Sam Altman을 만나서 OpenAI에 합류하게 되었습니다. 아마도 Greg이 Stripe에서 초기 스타트업을 빌드업했던 경력이 높게 평가되지 않았을까 생각합니다.

이 글에서 Greg이 Ilya Sutskever에 대한 첫 인상을 기록하고 있습니다.

“Ilya는 기술의 원천(source of grounding) 같았습니다. 폭 넓은 지식과 비전이 있었고 현재 시스템들의 한계와 능력에 대한 상세한 내용을 언제든지 설명할 수 있는 채비를 갖추고 있습니다.”

Ilya는 Greg의 요청으로 딥러닝에 대한 정의를 아래와 같이 했다고 합니다.

감독학습 방식(supervised)의 딥러닝의 목적은 어떤 종류이던 X를 Y에 매핑하는 문제를 푸는 것 입니다. X는 이미지나 말(speech), 글(text)이 될 수 있고 Y는 카테고리나 문장(sentence)이 될 수도 있습니다. 이미지를 카테고리로, 말(speech)을 글(text)로, 글(text)을 카테고리로, 바둑 형세를 다음 수순 등으로 매핑하는 것은 엄청나게 유용하고 다른 방식으로는 처리할 수가 없습니다.

딥러닝이 매력적인 것은 거의 분야(domain) 독립적이라는 것 입니다. 즉 한 분야에서 얻은 많은 식견(insight)을 다른 분야에 적용할 수 있습니다.

자세히 들여다 보면 딥러닝 모델은 추상화 레이어를 구축합니다. 이 추상화 레이어가 모든 일을 해내지만 정확히 어떻게 처리하는 지를 이해하는 것은 어렵습니다. 딥러닝 모델은 매우 간단하지만 미스테리하게 효과적인 백프로파게이션 알고리즘을 사용하여 점진적으로 뉴럴 네트워크의 뉴런간 가중치(synaptic strength)를 변경하면서 학습해 갑니다. 결론적으로 우리는 대규모의 복잡하 시스템을 몇라인의 코드만으로 구축할 수 있습니다.(최종 결과가 아니라 모델과 학습 알고리즘만 코딩하면 되기 때문에)

(추가) Stripe는 Y combinator가 투자한 회사(http://yclist.com/)라 Sam Altman과의 친분은 어쩌면 당연한 것일지 모르겠습니다. Y combinator 외에 Elon Musk가 개인적으로 Stripe에 시드(seed) 머니를 투자(기사1, 기사2)했습니다. 아마 적잖은 이익을 얻었을 것으로 예상됩니다.