마이크로소프트가 새로운 벤처 펀드를 운영한다고 발표하였습니다. 특히 이 펀드는 인공지능 분야에 집중될 것으로 알려졌습니다. 첫번째 펀드는 요수아 벤지오(Yoshua Bengio) 교수의 엘리먼트 AI(Element AI) 입니다. 정확한 금액을 알려지지 않았지만 지난달 구글이 엘리먼트 AI에 3백만 US달러 이상을 투자하기로 하였으므로 그에 버금가는 금액이 될 것으로 예상됩니다. 엘리먼트 AI는 수천만달러까지 펀딩을 계속 받을 예정이라고 합니다. 마이크로소프트가 OpenAI 와도 제휴하고 엘리먼트 AI에 투자까지 인공지능 분야에서 계속 잰걸음을 하는 것 같습니다. 마이크로소프트 벤처는 엘리먼트 AI 뿐만 아니라 계속 인공지능 벤처에 투자를 이어갈 예정이라고 합니다.
지난 주 아마존 CTO 워너 보글스(Werner Vogels)는 AWS 에서 사용할 수 있는 딥러닝 프레임워크로 MXNet 을 추가했으며 앞으로 아마존이 MXNet 의 개발을 지원하겠다고 발표하였습니다. MXNet 은 카네기 멜론 대학과 워싱톤 대학이 시작한 이후 많은 대학과 회사들의 후원을 받고 있는 딥러닝 오픈소스 라이브러리입니다. 깃허브 활동에서도 크게 뒤쳐지지 않고 활발히 개발되고 있습니다. 특징으로는 파이썬, 줄리아(Julia), R, 매트랩(Matlab), 스칼라(Scala) 등 다양한 인터페이스를 지원하는 것이 눈에 띄입니다. 성능과 대용량 처리 부분에서도 크게 뒤지지 않는 듯 보입니다.
그럼 아마존의 데스트니(DSSTNE)는 어떻게 되는 것인지 모르겠습니다. 자체 라이브러리의 생태계를 만들어 가는 것이 역부족이라고 느낀 것일까요. 아니면 구글이 스탠포드 비전랩의 Fei Fei, Li 교수와 스냅챗의 Jia Li 를 구글 클라우드의 머신러닝 유닛을 이끌 수장으로 영입한 것이 영향을 미쳤을지도 모릅니다. 문제는 프레임워크가 아니고 클라우드 비즈니스라고 말이죠.
또 트위터가 2015년 웻랩(Whetlab)을 인수하면서 영입한 AI 연구자 다섯명이 트위터 코텍스(Twitter Cortex)를 떠난다는 소식이 있었습니다. 그 중에 업계에 비교적 잘 알려진 휴고 라로쉘(Hug Larochelle)은 구글로 자리를 옮겼습니다. 구글이 요슈아 벤지오(Yoshua Bengio) 교수가 있는 몬트리올 대학 MILA 랩에 3백만 달러(역대 최고라 하는군요)를 지원하기로 발표하면서 휴고 라로쉘이 구글의 몬트리올 랩의 리더가 되었습니다. 거기에 최근에는 OpenAI 가 클라우드 플랫폼으로 마이크로소프트의 애저(Azure)를 선택한다고 발표하니 아마존이 다급해진 것일까요. 여러모로 프레임워크로 경쟁하기 보다는 실리를 추구하는 쪽으로 선회한 것일지 모르겠습니다.
아마존의 AWS 에는 MXNet, Caffe, Tensorflow, Theano, Torch 그리고 CNTK 가 미리 설치되어 있는 딥러닝 AMI 가 있습니다. 그리고 사용자는 여전히 입맛에 맞는 프레임워크를 설치해서 사용할 수 있습니다. 하지만 앞으로 AWS RDS 처럼 관리형 딥러닝 서비스가 나온다면 MXNet 이 첫번째 후보가 될수 있을 것 같습니다.
몬트리올 대학의 요슈아 벤지오(Yoshua Bengio) 교수가 맥길(McGill) 대학과 함께 인공지능 벤처를 위한 인큐베이터 엘리먼트 AI를 런칭한다고 발표했습니다. 제프리 힌튼(Geoffrey Hinton) 교수의 토론토 대학과 함께 몬트리올 대학은 캐나다의 인공지능 산실의 상징입니다. 하지만 요즘 구글, 페이스북, 마이크로소프트, 바이두까지 실리콘밸리에 집중되어 있는 것을 보면 이들 대학의 출신들이 속속 실리콘 밸리로 빠져나갈 수 밖에 없을 것 같습니다. 요슈아 벤지오 교수가 인큐베이터를 시작했으니 제프리 힌튼, 얀 리쿤(Yann LeCun), 앤드류 응(Andrew Ng) 등 딥러닝의 선배들이 이제 모두 비즈니스에 참여하게 되는 것 같습니다.
이달 초에 몬트리올에서 진행됐던 딥러닝 서머스쿨의 동영상이 공개되었습니다. 강의자들을 보면 제프 딘(Jeff Dean), 요슈아 벤지오(Yoshua Bengio), 조경현 교수 등이 있습니다. 아직 발표자료와 동영상이 모두 매치되지는 않았습니다. 많은 사람들이 환영을 하는 만큼 놓칠 수 없는 자료 같습니다.
스탠포드 대학에서도 다음달 딥러닝 서머스쿨을 연다고 하는데요. 이 영상도 공개되었으면 하는 바램입니다. 그리고 9월 24~25일에 열리는 AI 온라인 컨퍼런스인 AI with the Best에 페드로 도밍고(Pedro Domingos) 교수가 합류했다는 소식입니다.
IDIAP에서 주관한 ‘Deep Learning, Tools and Methods Workshop’ 영상을 소개해 드립니다. 요슈아 벤지오(Yoshua Bengio) 교수의 ‘Deep Supervised Learning of Representations‘(slide) 과 ‘Deep Generative Models‘(slide) 그리고 구글 미하엘라 로스카(Mihaela Rosca)의 ‘TensorFlow 1‘, ‘TensorFlow 2‘, ‘TensorFlow 3 and Day 3 Questions and Answers session‘ 등이 있습니다.
3일에 걸친 이 워크숍의 전체 프로그램과 영상, 슬라이드 자료는 여기에서 확인할 수 있습니다.
이미지출처: icml.cc
2016년 6월 19~24일에 열리는 뉴욕 ICML(International Conference on Machine Learning)에 등록된 논문 리스트가 게시되었습니다. 많은 양이지만 관심있는 주제가 있는지 한번 살펴 보는 것도 좋을 것 같습니다. 논문에 사용된 코드의 레파지토리를 모아둔 페이지도 참고하세요.
(추가: 2016-05-08) OpenAI의 창립 위원(founding member)에서 풀타임 연구원이 된 것으로 보이는 Durk Kingma가 어제 ICML 2015의 딥러닝 워크샵 동영상을 공개했습니다. ICML 2016이 곧 열리는데 이제야 공개되는 이유는 관련 이해 당사자들의 확인을 모두 받아야 했기 때문이라고 하네요.
이 동영상 리스트는 Yoshua Bengio, Yann Lecun, Demis Hassabis 등이 참여한 패널 토크 외에 Ian Goodfellow 외에 7명의 발표로 구성되어 있습니다. 발표 자료는 슬라이드와 함께 보실 수 있으며 슬라이드가 없는 동영상은 조경현 박사의 유투브 채널에서 보실 수 있습니다. 또한 드롭박스에서 다운로드 받으실 수도 있습니다.
Durk는 이 동영상 자료를 뉴욕대학의 조교수인 조경현 박사와 함께 구성했다고 합니다. 조경현 박사는 카이스트 출신으로 이 분야에 관련된 자료를 검색할 때 종종 확인할 수 있는 한국인 입니다.
OpenAI가 오늘 첫번째 작업물인 강화학습(Reinforcement Learning) 툴킷인 Gym을 블로그를 통해 공개했습니다. 소스는 깃허브를 통해 확인하실 수 있습니다.
Gym은 강화학습 알고리즘을 평가하고 개발하는 데 도움을 주는 툴킷으로 OpenAI에서 앞으로 연구할 강화학습 분야에 도움이 되기위해 만들었다고 합니다. Gym은 파이썬으로 작성되어 있고 특별한 프레임워크에 종속적이지 않으므로 TensorFlow나 Theano와도 함께 사용할 수 있습니다. 다만 현재는 파이썬 2.7.x 버전용입니다.
Gym은 강화학습을 위한 다양한 테스트 환경(environment)을 제공하여 누구나 자신의 에이전트(agent)를 개발할 수 있도록 하고 그 결과를 업로드하여 다 같이 공유할 수 있도록 하고 있습니다. 이런 접근 방법은 일전에 소개해 드렸던 Gradientzoo와 일맥상통합니다.
Gym이 발표되고 나서 흥미로운 기사가 와이어드에 실렸습니다. 기사에 의하면 지난 여름 OpenAI 설립을 준비하면서 몬트리올 대학교의 Yoshua Bengio 교수에게 자문을 구했고(Geoff Hinton은 구글, Yann LeCun은 페이스북을 위해 이미 일하고 있으므로) 업계 최고의 연구자 목록을 뽑아 컨택하기 시작했다고 합니다. 그래서 최종 10명중 9명이 OpenAI에 합류하게 되었다고 합니다.
OpenAI는 이보다 하루 더 전에 UC 버클리의 Pieter Abbeel 교수를 풀타임으로 고용하게 되었다고 밝혔습니다. Pieter Abbeel 교수는 강화학습 개발을 위한 프레임워크인 rllab을 만들었으며 로봇과 강화학습 분야에 권위자로 알려져 있습니다. 그의 랩의 학생들도 이번 여름에 OpenAI에서 인턴을 할 거라는 소문입니다.
오늘 Ian Goodfellow는 페이스북을 통해 Yoshua Bengio, Aaron Courville과 함께 작성한 딥러닝 책이 완성되었다고 알렸습니다.
이 작업은 무려 2년이 넘게 걸렸습니다. 이 블로그에서도 공유드렸지만 머신러닝이나 딥러닝 레퍼런스로는 빠지지 않고 꼭 리스트업 되는 책 입니다. 온라인에서 읽을 수 있지만 PDF로 제공되지는 않습니다.
프린트된 책을 구매하려면 조금 더 기다려야 할 것 같습니다만 꼭 읽어야할 필수 도서임에 분명합니다.
(업데이트) 아마존에서 프리오더(pre-order)로 주문하실 수 있습니다.
텐서 플로우 블로그 (Tensor ≈ Blog) 