월간 보관물: 2016 9월

Partnership on AI

partnership-on-ai

구글, 딥마인드, 페이스북, 마이크로소프트, 아마존, IBM 6개 회사가 ‘Partnership on AI‘란 단체를 발족시켰습니다. 각 회사에서 한명씩 대표(board)를 구성하게 되며 AI 연구와 윤리, 표준, 리포트, 컨퍼런스 등의 분야에 적극적인 역할을 것으로 보입니다. 공익단체라는 점에서 OpenAI를 의식하여 연합한 것인지는 모르겠습니다. 바이두(Baidu)는 끼일만도 한데 빠진 것과 딥마인드는 구글의 자회사이지만 공룡들과 어깨를 나란히 하고 있는 것이 눈에 띄입니다.

(업데이트) Partnership on AI에 대한 관심이 뜨겁습니다. 사람들은 바이두외에 애플, 트위터, 인텔 등도 빠져 있는 것을 궁금해 하고 있는 것 같습니다. 특히 OpenAI가 빠져있어서 이를 두고 미묘한 대립 기류가 있는 것은 아닌지 다양한 해석이 있습니다. OpenAI는 아마 초기 멤버로 초청받지 못한 아쉬움이 있는 듯 트위터를 통해 향후 참여를 희망한다고 이야기 했고 딥마인드측 대표인 무스타파 설리만(Mustafa Suleyman)이 이에 화답했습니다. Partnership on AI의 발표 자료를 보면 OpenAI 같은 비영리 기관도 곧 참여가 이루어 질 것으로 보입니다. 이들이 데이터 공유를 위해 뭉쳤는지 인류를 위해 뭉쳤는지는 모르겠지만 만약 OpenAI가 없었다면 기대하기 어려운 일이었지 않을까요?

(2017-01-30) Partnership on AI에 애플과 OpenAI가 합류했다는 소식입니다. 애플은 창립 멤버로 OpenAI는 이사회 구성원으로 합류했습니다. 바이두같은 회사가 합류할 가능성은 높아 보이지는 않습니다만 미국안의 파트너쉽이 되어 버린 것 같습니다.

YouTube-8M Datasets

구글이 유튜브의 8백만개나 되는 동영상 관련 데이터 셋을 공개한다고 리처치 블로그를 통해 밝혔습니다. 이미지 데이터에 비해 동영상 데이터는 부족했었는데 많은 사람들에게 반가운 소식일 것 같습니다. YouTube-8M 의 공식 홈페이지는 이곳이며 다운로드는 이곳에서 받으실 수 있습니다. 다운로드 데이터는 텐서플로우 레코드 파일 형태로 제공이 된다고 합니다. 비디오 레벨과 프레임 레벨 두가지로 제공되며 프레임 레벨은 초당 한프레임씩 뽑은 것으로 전체 데이터는 1.5테라에 이릅니다. 데이터는 이곳에서 브라우저로 간단한게 둘러 볼 수도 있습니다.

scikit-learn 0.18 Release

사이킷런(scikit-learn) 0.18 버전이 정식 릴리즈 되었습니다. 아나콘다를 사용할 경우 conda 명령으로 바로 업데이트 할 수 있습니다. 0.18 버전에는 퍼셉트론(Perceptron)이 추가되어 뉴럴 네트워크를 사이킷런에서 구현할 수 있게 되었습니다. 상세한 변경 내용은 이곳을 참고해 주세요.

DL Chip Race

card-hero2-800x550

출처: 마이크로소프트 리서치

어제 마이크로소프트가 개발하고 있는 딥러닝을 위한 칩 개발 프로젝트 ‘Catapult’에 대해 크게 보도가 되었습니다. 캐타펄트(Catapult)는 마이크로소프트에서 수년간 개발해 왔고 최근 클라우드에 실전 배치된 것으로 알려졌습니다. 이 칩은 FPGA(field programmable gate array) 타입이어서 재프로그래밍(reprogrammable)이 가능합니다. 와이어드(Wired)에 따르면 마이크로소프트가 이런 타입을 채택한 것은 딥러닝 알고리즘이 발전하면서 새로운 연산방식에 효과적으로 대응할 수 있기 때문이라고 합니다. TPU 방식이라면 아마도 구글은 계속 새로운 칩을 설계해야만 할 것이라고 보았습니다. 하지만 캐타펄트(Catapult)가 TPU 보다는 성능이 떨어진다고 합니다.

이 소식에 이어 바이두가 오늘 딥러닝을 위한 칩 벤치마킹 자료를 공개하였습니다. 딥벤치(DeepBench)는 딥러닝을 위해 사용할 수 있는 칩을 제조하는 메이커들의 경쟁을 이끌고 연구자들이 원하는 하드웨어를 선택할 수 있도록 도움을 주기 위해서라고 합니다. 이 벤치마크에 사용된 코드는 깃허브에 커밋되어 있습니다. 이 벤치마크는 딥러닝 프레임워크를 대상으로 한 것은 아니고 행렬연산이나 콘볼루션 연산 같은 저수준의 작업에 대한 성능을 평가한 것입니다.

딥러닝에 대한 경쟁은 학계에서 프레임워크로 또 하드웨어로까지 빠르게 확산되는 것 같습니다. 현재는 엔비디아(Nvidia)와 인텔(Intel)만이 딥벤치 결과에 참여했고 점차 확대될 것으로 보입니다. 하지만 구글이 TPU를 테스트해 줄지는 의문이네요. 딥벤치가 활성화되고 나서 바이두가 폭발적인 성능을 내는 칩을 내놓으려는 건 아닐런지…

Coursera: Probabilistic Graphical Models Start

코세라의 유명한 강좌 중 하나인 다프니 콜러(Daphne Koller)의 Probabilistic Graphical Models 강의 시리즈가 드디어 시작되었습니다. 지금 시작된 것은 첫번째 강의 Representation이고 나머지 두 강의는 Inference와 Learning 입니다. 아마도 코세라가 새로운 플랫폼으로 이전하면서 강의를 나누어 Specialization으로 만든 것 같습니다. 예전과는 달리 무료로 들을 경우엔 어떤 Certificate나 Statement도 주지 않습니다.

ImageNet ILSVRC 2016 Results Out!

ilsvr2016-1

이미지넷 챌린지 2016의 결과가 공개되었습니다. 가장 우수한 분류 결과를 낸 것은 2.99%의 Trimps-Soushen 팀입니다. Trimps-Soushen 팀은 중국 공안부 산하의 연구기관으로 보여집니다(The Third Research Institute of the Ministry of Public Security). 이 팀은 ResNet, Inception, Inception-Resnet 등을 섞어서 사용했다고 합니다. 그 다음은 ResNeXt팀으로 3.03% 입니다. 이 팀은 ResNet을 사용하였고 주로 페이스북의 FAIR 팀으로 구성되었습니다.

아래 그림은 베이 에어리어 딥러닝 스쿨에서 안드레이 카패시(Andrej Karpathy)가 발표한 슬라이드중 한 장입니다. 2.99%는 작년 보다 16%나 향상된 결과네요. 놀랍습니다!

ilsvr2016-2

Bay Area DL School Live Stream!

스탠포드 대학에서 열리는 베이 에어리어 딥러닝 스쿨(Bay Area Deep Learning Schoolbayareadlschool.org)이 25일 새벽 1시(한국시간)부터 유튜브에서 라이브로 스트리밍됩니다! 손흥민 경기보고 바로 이어서 보면 되겠네요! 낮잠을 자 두어야 할 것 같습니다. 🙂

dlschool-speaker

(업데이트) 발표자들의 슬라이드가 일부 공개되었습니다.

(업데이트) 아래는 12명의 발표를 각각 나누어 놓은 유튜브 링크입니다.

  1. Foundations of Deep Learning (Hugo Larochelle, Twitter)
  2. Deep Learning for Computer Vision (Andrej Karpathy, OpenAI)
  3. Deep Learning for Natural Language Processing (Richard Socher, Salesforce)
  4. TensorFlow Tutorial (Sherry Moore, Google Brain)
  5. Foundations of Unsupervised Deep Learning (Ruslan Salakhutdinov, CMU)
  6. Nuts and Bolts of Applying Deep Learning (Andrew Ng)
  7. Deep Reinforcement Learning (John Schulman, OpenAI)
  8. Theano Tutorial (Pascal Lamblin, MILA)
  9. Deep Learning for Speech Recognition (Adam Coates, Baidu)
  10. Torch Tutorial (Alex Wiltschko, Twitter)
  11. Sequence to Sequence Deep Learning (Quoc Le, Google)
  12. Foundations and Challenges of Deep Learning (Yoshua Bengio)

OpenAI cleverhans training with adversarial examples

logo

OpenAI의 이안 굿펠로우(Ian Goodfellow)가 에러가 포함된 데이터(adversarial example)를 사용하여 모델을 더욱 견고하게 만들어 줄 수 있는 프레임워크 cleverhans를 오픈소스로 공개하였습니다. cleverhans는 파이썬2를 기반으로 하고 있으며 케라스(Keras)와 텐서플로우를 사용합니다. 아직 개발 초기 단계라 딱히 설치 방법을 제공하고 있지 않고 레파지토리를 클론해서 소스가 들어있는 cleverhans 디렉토리를 임포트해서 사용하면 됩니다. 현재는 MNIST 데이터를 사용한 예제만 제공되는 데 앞으로 튜토리얼이 더 추가될 수 있을 것 같습니다.

이 라이브러리는 현재 FGSM(Fast Gradient Sign Method) 방식으로 에러가 포함된 데이터(adversarial example)를 생성해 냅니다. 그리고는 이 데이터를 사용하여 모델을 다시 학습시키도록 하고 있습니다.

# Craft adversarial examples using Fast Gradient Sign Method (FGSM)
...
adv_x_2 = fgsm(x, predictions_2, eps=0.3
predictions_2_adv = model_2(adv_x_2)

# Perform adversarial training
tf_model_train(sess, x, y, predictions_2, X_train, Y_train, predictions_adv=predictions_2_adv)

처음 모델의 정확도는 약 95.9% 였지만 에러가 들어 있는 데이터에 대해서는 불과 3.5% 밖에 되지 않았습니다. 하지만 에러가 들어있는 데이터를 이용해 두번째 모델을 만들어 손실 함수(loss function)를 보정하여 학습을 시킵니다. 이로 인해 테스트 데이터의 정확도는 95.1%로 조금 낮아졌지만 에러가 있는 데이터에 대한 정확도는 56.2%로 크게 성장한 것을 확인할 수 있습니다.

Test accuracy on legitimate test examples: 0.9589203125
Test accuracy on adversarial examples: 0.03577734375
...
Test accuracy on legitimate test examples: 0.951059375
Test accuracy on adversarial examples: 0.5620109375

텐서플로우 0.10.0 + 케라스 1.1.0 에서 테스트하였습니다.

Deep Learning Textbook Study Group

샌프란시스코 지역의 한 딥러닝 스터디 그룹이 이안 굿펠로우(Ian Goodfellow)의 딥러닝북(Deep Learning Book)을 이용하여 매주 스터디를 진행하고 있습니다. 지난 주부터 강의 진행 영상을 유튜브로 실시간 스트리밍해 주고 있습니다. 지난 주에는 이안 굿펠로우가 직접 9장 콘볼루션 네트워크에 대해서 강의를 진행했습니다. 다음 주 월요일에도 이안 굿펠로우가 11장 Practical Methodology에 대해 스터디를 진행합니다. 이 영상도 실시간으로 중계될 예정입니다. 한국 시간으로는 27일 오전 10시 30분입니다.

(업데이트) 이안 굿펠로우가 진행했던 9장과 11장의 슬라이드 파일입니다.

Rajat Monga’s Quora Session

rajat-monga

텐서플로우 엔지니어링 디렉터인 라잣 몽가(Rajat Monga)의 쿠오라 세션이 열립니다. 라잣 몽가는 텐서플로우 페이퍼의 공동 저자이며 텐서플로우 엔지니어링 팀을 이끌고 있어 텐서플로우에 관한 질문이 많이 올라올 것으로 보입니다. 질문은 지금부터 등록이 가능하며 대답은 다음주 목요일 오전 4시(한국 시간)에 시작됩니다.