태그 보관물: Ian Goodfellow

NIPS 2016 GAN Tutorial Summary

nips_2016_gan_report

OpenAI 의 이안 굿펠로우(Ian Goodfellow)가 NIPS 2016의 GAN 튜토리얼을 요약한 리포트를 만들어서 Arxiv 에 등록하였습니다. 생성 모델(generative model)이 인기를 끄는 이유와 어떻게 작동하는지, GAN(Generative Adversarial Network)이 다른 모델과 다른 점과 GAN이 작동하는 상세 내용을 다룹니다. 또 최근 GAN 연구 동향과 최신 모델도 함께 다루고 있어 놓치기 아까운 리포트인 것 같습니다!

OpenAI cleverhans training with adversarial examples

logo

OpenAI의 이안 굿펠로우(Ian Goodfellow)가 에러가 포함된 데이터(adversarial example)를 사용하여 모델을 더욱 견고하게 만들어 줄 수 있는 프레임워크 cleverhans를 오픈소스로 공개하였습니다. cleverhans는 파이썬2를 기반으로 하고 있으며 케라스(Keras)와 텐서플로우를 사용합니다. 아직 개발 초기 단계라 딱히 설치 방법을 제공하고 있지 않고 레파지토리를 클론해서 소스가 들어있는 cleverhans 디렉토리를 임포트해서 사용하면 됩니다. 현재는 MNIST 데이터를 사용한 예제만 제공되는 데 앞으로 튜토리얼이 더 추가될 수 있을 것 같습니다.

이 라이브러리는 현재 FGSM(Fast Gradient Sign Method) 방식으로 에러가 포함된 데이터(adversarial example)를 생성해 냅니다. 그리고는 이 데이터를 사용하여 모델을 다시 학습시키도록 하고 있습니다.

# Craft adversarial examples using Fast Gradient Sign Method (FGSM)
...
adv_x_2 = fgsm(x, predictions_2, eps=0.3
predictions_2_adv = model_2(adv_x_2)

# Perform adversarial training
tf_model_train(sess, x, y, predictions_2, X_train, Y_train, predictions_adv=predictions_2_adv)

처음 모델의 정확도는 약 95.9% 였지만 에러가 들어 있는 데이터에 대해서는 불과 3.5% 밖에 되지 않았습니다. 하지만 에러가 들어있는 데이터를 이용해 두번째 모델을 만들어 손실 함수(loss function)를 보정하여 학습을 시킵니다. 이로 인해 테스트 데이터의 정확도는 95.1%로 조금 낮아졌지만 에러가 있는 데이터에 대한 정확도는 56.2%로 크게 성장한 것을 확인할 수 있습니다.

Test accuracy on legitimate test examples: 0.9589203125
Test accuracy on adversarial examples: 0.03577734375
...
Test accuracy on legitimate test examples: 0.951059375
Test accuracy on adversarial examples: 0.5620109375

텐서플로우 0.10.0 + 케라스 1.1.0 에서 테스트하였습니다.

Deep Learning Textbook Study Group

샌프란시스코 지역의 한 딥러닝 스터디 그룹이 이안 굿펠로우(Ian Goodfellow)의 딥러닝북(Deep Learning Book)을 이용하여 매주 스터디를 진행하고 있습니다. 지난 주부터 강의 진행 영상을 유튜브로 실시간 스트리밍해 주고 있습니다. 지난 주에는 이안 굿펠로우가 직접 9장 콘볼루션 네트워크에 대해서 강의를 진행했습니다. 다음 주 월요일에도 이안 굿펠로우가 11장 Practical Methodology에 대해 스터디를 진행합니다. 이 영상도 실시간으로 중계될 예정입니다. 한국 시간으로는 27일 오전 10시 30분입니다.

(업데이트) 이안 굿펠로우가 진행했던 9장과 11장의 슬라이드 파일입니다.

Quora Sessions, RedditAMA

최근 갑자기 온라인 질의 응답 세션이 많이 생기는 것 같습니다. 전체를 다 읽어 보기에는 시간이 없지만 일부라도 시간을 할해해서 보아둠직 할 것 같습니다. 페이스북의 얀 레쿤(Yann LeCun), OpenAI의 이안 굿펠로우(Ian Goodfellow), 구글 브레인팀, 케라스(Keras) 개발자인 구글의 프랑소와 숄레(François Chollet)까지 연타입니다! 이들도 서로 약간 의식을 하는 걸까요? 🙂

Unsupervised Learning through Video Prediction

구글 IO 2016 기조 연설에서 선다 피차이(Sundar Pichai) CEO가 스스로 학습하여 물건을 집는 로봇팔 영상을 보여 주었었습니다. 해당 페이퍼는 Ian Goodfellow 와 구글 브레인팀이 작성한 것으로 어제 공개되었습니다. 그리고 테스트 애니메이션은 여기서 확인할 수 있습니다. 애니메이션만 봐서는 잘 감이 오지 않네요. 페이퍼를 읽어보고 싶은데 늘 시간은 부족하네요. ^^

video-prediction

번외로 Ian Goodfellow가 있는 OpenAI에 팀원이 새로 추가되었습니다. 그리고 아마 근시일안에 첫번째 연구결과를 공개할거라는 소문입니다.

ICML@NYC 2016 Paper List

ny

이미지출처: icml.cc

2016년 6월 19~24일에 열리는 뉴욕 ICML(International Conference on Machine Learning)에 등록된 논문 리스트가 게시되었습니다. 많은 양이지만 관심있는 주제가 있는지 한번 살펴 보는 것도 좋을 것 같습니다. 논문에 사용된 코드의 레파지토리를 모아둔 페이지도 참고하세요.

(추가: 2016-05-08) OpenAI의 창립 위원(founding member)에서 풀타임 연구원이 된 것으로 보이는 Durk Kingma가 어제 ICML 2015의 딥러닝 워크샵 동영상을 공개했습니다. ICML 2016이 곧 열리는데 이제야 공개되는 이유는 관련 이해 당사자들의 확인을 모두 받아야 했기 때문이라고 하네요.

slide_0002_full

이 동영상 리스트는 Yoshua Bengio, Yann Lecun, Demis Hassabis 등이 참여한 패널 토크 외에 Ian Goodfellow 외에 7명의 발표로 구성되어 있습니다. 발표 자료는 슬라이드와 함께 보실 수 있으며 슬라이드가 없는 동영상은 조경현 박사의 유투브 채널에서 보실 수 있습니다. 또한 드롭박스에서 다운로드 받으실 수도 있습니다.

Durk는 이 동영상 자료를 뉴욕대학의 조교수인 조경현 박사와 함께 구성했다고 합니다. 조경현 박사는 카이스트 출신으로 이 분야에 관련된 자료를 검색할 때 종종 확인할 수 있는 한국인 입니다.

딥러닝북(DeepLearningBook)이 완성되다.

오늘 Ian Goodfellow는 페이스북을 통해 Yoshua Bengio, Aaron Courville과 함께 작성한 딥러닝 책이 완성되었다고 알렸습니다.

이 작업은 무려 2년이 넘게 걸렸습니다. 이 블로그에서도 공유드렸지만 머신러닝이나 딥러닝 레퍼런스로는 빠지지 않고 꼭 리스트업 되는 책 입니다. 온라인에서 읽을 수 있지만 PDF로 제공되지는 않습니다.

프린트된 책을 구매하려면 조금 더 기다려야 할 것 같습니다만 꼭 읽어야할 필수 도서임에 분명합니다.

(업데이트) 아마존에서 프리오더(pre-order)로 주문하실 수 있습니다.