태그 보관물: Stanford

Recent Progress in Generative Modeling

OpenAI의 일리아 서츠케버(Ilya Sutskever)가 지난 4월 스탠포드 대학에서 열린 ‘Scaled Machine Learning‘에서 발표한 ‘Recent Progress in Gernerative Modeling‘ 발표자료가 공개되어 있습니다. 다만 이 컨퍼런스의 발표 동영상은 찾을 수 없어서 아쉽습니다.

Future of AI 2016’s Videos

지난 6월 23일 열린 미 백악관 과학기술정책실과 스탠포드 대학이 주관한 ‘The Future of AI: Emerging Topics and Societal Benefit’ 발표 영상이 공개되었습니다. 네시간 남짓 짧은 이벤트에 굉장히 많은 발표자들이 있습니다. ICML 워크숍에서도 볼 수 있지만 짧은 시간안에 발표자들이 각자의 시간을 지키면서 말하고자 하는 내용을 전달하는 습관이 잘 되어있다고 느껴집니다. Fei-Fei 교수의 프리젠테이션은 늘 고생대 생물부터 시작하는가 보네요. 🙂

SQuAD: Stanford Question Answering Dataset

스탠포드 대학의 NLP 그룹에서 크라우드 소싱을 통해 만든 536개의 위키피디아 아티글에 대한 107,785개의 질문-대답 데이터셋인 SQuAD를 온라인에 공개했습니다. 훈련 데이터는 30메가 정도이고 테스트 데이터는 5메가 정도로 누구나 다운받으실 수 있고 온라인으로 데이터를 살펴볼 수도 있습니다.

squad-explore

현재 데이터는 1.0으로 이메일을 등록해 놓으면 업데이트 된 버전에 대해 알림을 받을 수 있습니다. SQuAD의 페이퍼는 arXiv에 등록되어 있으며 페이퍼에서 사용한 모델의 성능은 F1 스코어 51% 정도로 실제 사람의 수준인 86% 와는 아직 차이가 많습니다.

(업데이트) SQuAD 데이터셋이 버전 1.1로 업데이트 되었습니다. 리더보드는 싱가포르 경영대학 팀이 F1 스코어 70%로 1위 입니다.

squad-leaderboard.png

ML Crowd Course

MOOC에 대해서는 많이 들어보셨을 것 같습니다. 대표적으로 코세라(Coursera), 에딕스(edX), 유다시티(Udacity) 등이 있습니다. 스탠포드에서 이와는 좀 다른 색다른 시도를 하고 있습니다. 바로 크라우드 코스(Crowd Course) 입니다. 크라우드 코스는 온라인 강좌를 위한 플랫폼을 일반에게 공개하고(물론 신청을 해서 허가를 받아야 하지만) 여러 사람이 강의를 만들어 제공하는 형태입니다. 비영어권 강좌라도 가능합니다.

현재는 알고리즘과 파이썬 강좌 2개 그리고 파이썬 머신러닝 강좌가 있습니다. 파이썬 머신러닝 강좌는 사이킷런(scikit-learn) 과 넘파이(numpy), 판다스(pandas) 기반입니다. 이 강의를 만들기 위해 전세계에 흩어져 있는 수십명의 사람이 힘을 모았습니다. 놀랍다는 말이 나오지 않을 수 없네요. 당연히 아무 조건 없이 무료로 들으실 수 있습니다.

스탠포드 CS224d: Deep Learning for NLP

스탠포드 대학교의 또 다른 인기 강좌인 CS224d(Deep Learning for Natural Language Processing)의 웹사이트에서 동영상 링크가 사라졌다는 제보가 있습니다. 추측컨데 이는 일전에 Andrej Karpathy 가 트위터에 CS231n 강좌를 온라인으로 더 이상 제공하지 못한다고 언급한 이후에 발생한 것 같습니다. 유투브에는 아직 CS224d 의 2015년 강좌가 있긴 하지만 2016년 봄 강좌(현재 진행 중입니다)는 잘 검색이 되지 않습니다. 아래에서 2016년 전체 강좌를 확인하실 수 있습니다.

https://www.youtube.com/playlist?list=PLmImxx8Char9Ig0ZHSyTqGsdhb9weEGam

이 동영상이 언제까지 어떤 방식으로 유효하게 제공될지는 모르겠습니다. 저는 지금까지 강의 동영상을 http://en.savefrom.net/ 을 이용해서 mp4 로 다운받았고 영어 자막은 http://downsub.com/ 사이트를 통해서 받았습니다. 유투브 영상 페이지의 주소를 복사해서 위 사이트에 입력하시면 됩니다. 자막은 간혹 없다고 나올 경우가 있으니 몇차례 다시 시도하시면 됩니다.

특별히 Lecture 7은 텐서플로우에 대한 소개를 하고 있습니다. 새로운 소프트웨어를 강의에 접목하는 스탠포드의 속도에 그저 놀라울 따름입니다. 한가지 더 재미있는 것은 강의를 진행하는 사람이 Richard Socher로 일전에 소개드렸던 세일즈포스에 인수된 MetaMind의 창업자입니다. Richard Socher는 스탠포드 Andrew Ng 아래에서 박사학위를 받았습니다. 어떻게 세일즈포스에서 업무와 대학 강의를 병행할 수가 있는지 놀랍네요. 🙂

Stanford CS231n 강좌가 닫혔습니다.

스탠포드 비전랩의 강좌 중에서 가장 인기있는 CS231n ‘Convolutional Neural Networks for Visual Recognition’은 그동안 강의 내용을 그대로 녹화해 무료로 온라인으로 제공하고 있었습니다. 가장 최근의 코스는 2015~2016년 Winter 시즌입니다. 그런데 안타깝께도 몇몇 법적인 이슈로 인해 오늘 부터 강의 제공이 중지된다고 비전랩의 Andrej Karpathy가 트위터를 이용해 알렸습니다. 저도 아직 다 듣지 못하고 차일피일 미루고 있었는데요. 여러 사람들이 난감함을 표시하고 있습니다.

그러나 다행히 아직 archive.org 에 저장된 자료가 있습니다. 이 내용이 언제까지 제공될지는 아직 아무도 알 수 없습니다. 해당 디렉토리에는 토렌트파일도 제공되고 있습니다.

https://archive.org/download/cs231n-CNNs

https://archive.org/download/cs231n-CNNs/cs231n-CNNs_archive.torrent

코스의 과제물과 부속 참고 자료는 이 내용에 영향을 받지 않으므로 아래 주소에서 받으실 수 있습니다.

http://cs231n.github.io/

문제가 되는 법적 부분 중 주요한 하나는 강의 동영상에 들어간 자막이 미국의 장애인 평등을 위한 법률에 위배될 수 있기 때문이라고 합니다.

(추가) 강좌에 대한 영어와 한글 자막은 aikorea 깃허브에서 다운받으실 수 있습니다.(안타깝지만 7강과 9강의 자막은 없습니다.) 이 자막의 번역은 완벽하지 않으므로 참고하세요.

(업데이트) 버클리 대학의 온라인 강좌도 내려간다는 공지가 떳습니다. 법을 글자 그대로 해석하려는 사람들은 어디에나 있는 것 같군요.

(업데이트) 유튜브에 CS231n 강좌를 다시 누군가 올린 것 같습니다. 7장과 9장의 자막을 받아 놓으면 좋을 것 같습니다.

DenseCap: Fully Convolutional Localization Networks for Dense Captioning

densecap

DenseCap 데모화면. 출처: cs.stanford.edu

스탠포드 비전랩(Vision Lab)의 Fei-Fei Li 교수와 PhD 학생들이 최근 연구한 이미지 캡셔닝 프로그램인 DenseCap에 대한 사이트와 코드를 깃허브에 공개하였습니다. 사실 동명의 논문은 작년 말에 공개되었고 그 직후 바로 소스코드가 공개되었습니다.

논문의 내용을 자세히 읽진 못했지만 CNN 과 RNN 모델을 같이 사용한 것으로 보입니다. 테스트 데이터는 비주얼 게놈 데이터 셋을 사용했습니다. 토치(Torch) 프레임워크를 사용했기 때문에 코드는 주로 루아(Lua)로 되어 있습니다. 논문과 코드 뿐만이 아니라 데모 사이트도 공개했는데요. 열정이 대단합니다. 다만 초기 로딩되는 속도가 좀 느릴 수 있습니다.

densecap_browser

이미지가 로딩되면 감지한 오브젝트를 이미지 위에 표시하고 이미지 밑에는 캡션이 달리게 됩니다. ‘W’ 키를 누르면 좀 더 많은 오브젝트를 잡아내고 ‘S’ 키를 누르면 하나씩 덜어내게 됩니다. ‘R’은 랜덤이미지, ‘A’는 이전이미지, ‘D’는 다음 이미지를 선택하는 핫 키 입니다.