지난주에 발표된 페이퍼 중 가장 이슈인 것은 제프리 힌튼(Geoffrey Hinton) 팀의 ‘Using Fast Weights to Attend to the Recent Past‘ 인 것 같습니다. 이건 마치 RNN 안에 또 다른 RNN 을 삽입한 것처럼 느껴집니다. Fast Weight는 최근의 기억에 비중을 둔 그래서 가중치가 빠르게 변하는 모습을 뜻하고 반대로 기존 RNN의 가중치는 Slow Weight로 표현하고 있습니다. 제프리 힌튼이 페이퍼 내용을 설명하는 강의 영상과 트위터의 휴고 라로쉘(Hugo Larochelle)의 서머리도 참고하세요. 좀 더 자세한 내용이 파악되면 다시 업데이트 하겠습니다.
최근 갑자기 온라인 질의 응답 세션이 많이 생기는 것 같습니다. 전체를 다 읽어 보기에는 시간이 없지만 일부라도 시간을 할해해서 보아둠직 할 것 같습니다. 페이스북의 얀 레쿤(Yann LeCun), OpenAI의 이안 굿펠로우(Ian Goodfellow), 구글 브레인팀, 케라스(Keras) 개발자인 구글의 프랑소와 숄레(François Chollet)까지 연타입니다! 이들도 서로 약간 의식을 하는 걸까요? 🙂
Quora에는 ‘어떻게 하면 머신러닝 전문가가 될 수 있나요?’ 나 ‘데이터 과학자가 되려면 PhD가 필요한가요?’ 같은 질문들과 답변이 종종 올라오곤 합니다. 좀 오래됐지만 재미있는 질문과 답변이 있어 소개해 드립니다.
이 질문은 2014년 12월 경에 시작되었습니다. 사실 제프딘은 구글 빅데이터, 분산환경의 전문가로 잘 알려져 있습니다. 특히 맵리듀스, 빅테이블, 스패너 등을 만든 것으로 유명하죠. 그런데 언제부터인가 구글 머신러닝의 최고수가 되어 있으니 이런 질문이 나올법 합니다. 예상되는 답변이라면 제프딘은 원래 똑똑한 사람이라든가, 딥러닝이나 뉴럴 네트워크의 이론이 사실상 그리 어려운게 아니라던가 등이 있을 것 같습니다. 어쨋든 제프딘이 딥러닝에 대해 아는 척 하는 수준은 분명히 아닙니다. 그는 구글 브레인 팀의 리더이며 구글 IO 2016의 머신러닝 세션의 패널로 참석했었고 딥마인드의 알파고와 이세돌 바둑 대국 때 한국에 왔었습니다. 또 텐서플로우 페이퍼의 주요 저자임은 물론이고 스탠포드 CS231n 강의의 마지막 시간에 초청되어 강의와 질의 응답을 하는 것으로 보아 충분히 짐작할 수 있습니다.
그런데 2015년 3월에 재미있는 답변이 올라왔습니다. 펜실베니아주 스와스모어 대학의 한 학생이 직접 제프딘에게 물어보았다고 합니다.
“저는 이 분야가 잠재력이 많고 흥미로운 분야라고 생각했습니다. 뉴럴 네트워크게 대해 많이 알지 못했지만 분산환경에 대해서는 잘 알고 있었죠. 그래서 주방이던 어디던 사람(전문가)들에게 다가가 그들과 대화를 했습니다. 전문가들과 대화하고 함께 일하면 여러가지 어려운 문제도 해결할 수 있고 정말 빠르게 배울 수 있을 겁니다.”
제프딘의 솔직하고 명료한 대답이네요. 제프딘이 앤드류 응(Andrew Ng) 스탠포드 교수와 함께 구글 브레인 팀을 만든 것은 2011년 경으로 그 즈음부터 본격적으로 딥러닝 분야에 대한 지식을 쌓지 않았을까 합니다.
그럼 싸리문 밖에서 고개만 내밀고 있는 제가 들어갈 수 있는 부엌은 어디에 있는 걸까요? 🙂
구글 IO 2016 기조 연설에서 선다 피차이(Sundar Pichai) CEO가 스스로 학습하여 물건을 집는 로봇팔 영상을 보여 주었었습니다. 해당 페이퍼는 Ian Goodfellow 와 구글 브레인팀이 작성한 것으로 어제 공개되었습니다. 그리고 테스트 애니메이션은 여기서 확인할 수 있습니다. 애니메이션만 봐서는 잘 감이 오지 않네요. 페이퍼를 읽어보고 싶은데 늘 시간은 부족하네요. ^^
번외로 Ian Goodfellow가 있는 OpenAI에 팀원이 새로 추가되었습니다. 그리고 아마 근시일안에 첫번째 연구결과를 공개할거라는 소문입니다.
텐서 플로우 블로그 (Tensor ≈ Blog) 