출처: 페이스북 다크포레스트 깃허브
페이스북이 ICLR 2016에서 발표한 인공지능 바둑 엔진인 다크포레스트(DarkForest)를 깃허브에 공개하였습니다. 다크포레스트는 토치로 개발되었으며 알파고와 유사하게 딥 콘볼루션 뉴럴 네트워크와 몬테 카를로 트리 검색 방식을 함께 사용합니다. 다크포레스트는 올해 초에 네이처지를 통해 발표한 것으로 강화학습을 사용한 구글의 알파고보다는 크게 뒤지는 것으로 보입니다. 얀 리쿤(Yann LeCun) 교수의 페이스북 글을 참고하면 다크포레스트는 대략 아마 5단의 실력을 가지고 있어서 프로 5단 정도의 실력으로 평가되는 알파고와는 차이가 많이 난다고 합니다. 얼마전 이세돌과의 대국을 봐서는 알파고의 수준은 프로 5단 이상으로 보입니다.
fastcompany.com에 페이스북의 FAIR(Facebook AI Research) 팀과 AML(Applied Machine Learning) 팀에 대한 기사가 게재되었습니다. FAIR는 얀 리쿤(Yann LeCun) 교수가 2014년 초에 페이스북에 합류하면서 만들어진 팀이고 AML은 Joaquin Candela가 리더로서 그 이후에 만들어 졌다고 합니다.
FAIR는 리서치와 개발을 7:3의 비율로 가지고 있어 좀 더 장기적인 연구를 수행하고 있고 AML은 그 반대의 비율로 페이스북 서비스에 적용할 제품을 위해 수개월 정도의 단기 개발을 주로 합니다. 페이스북은 AI 분야에 많은 투자를 하고 있고 주커버그의 최대 관심사이기도 합니다. 또 페이스북 전체적으로 오픈 소스에 기여하려고 노력한다고 합니다. 특히 뉴욕대학의 교수인 리쿤은 연구자가 결과물을 공개하지 않고 기업의 이익을 쫓을 경우 낙오가 되고 실패하게 된다고 말합니다. FAIR 그룹의 현재 최대 프로젝트는 애플의 시리, 구글의 어시스턴트, 아마존의 알렉사 같은 인공지능 비서를 위한 텍스트, 음성 인식 분야 입니다.
그런데 페이스북의 AI에 대한 미래 청사진이나 어떤 사람들이 연구에 참여하고 있는 지 보다 이 기사에서 더 눈에 띄는 것은 The Master Algorithm의 저자인 워싱톤 대학교의 페드로 도밍고스(Pedro Domingos) 교수의 말입니다. “They were a late comer, Companies like Google and Microsoft were far a head(페이스북은 뒤 늦게 시작했습니다. 구글이나 마이크로소프트가 많이 앞서 있습니다.)”
구글은 2011년 구글 브레인 팀을 시작했습니다. 넉넉잡아도 페이스북과 3년정도의 차이인데 그 갭이 작지 않은 것 같습니다. 페이스북이 조급증을 버리고 AI의 강자로 자리매김할 수 있을지 기대해 봅니다.
페이스북이 딥러닝 기반의 텍스트 분석 엔진인 딥텍스트(DeepText)에 대해 소개했습니다. 딥텍스트는 콘볼루션 뉴럴 네트워크와 리커런트 뉴럴 네트워크를 조합하여 사용하여 단어(word) 수준의 학습과 문자(character) 수준의 학습을 할 수 있다고 합니다. 일전에 소개해 드렸던 FbLearner Flow와 토치(Torch)를 사용하여 구성되었습니다.
페이스북은 언어별로 모델을 학습하지 않고 각 언어의 의미가 같은 단어를 관련지어 나타낼 수 있는 공통 임베딩 스페이스(common embedding space)을 사용하여 다양한 언어에 대한 학습속도를 높인다고 합니다. 딥텍스트는 페이스북의 과학자인 Xiang Zhang과 Yann LeCun이 발표한 페이퍼를 기초로 개발되었습니다. 딥텍스트는 텍스트를 임베딩하는 비감독(unsupervised) 학습과 의미를 분류하기 위한 감독(supervised) 학습을 병행하고 있습니다. 임베딩 기술 덕택에 감독학습을 위한 샘플링 데이터는 비교적 작은 양을 필요로 한다고 합니다.
아마도 이번 발표는 얼마전 구글이 발표한 SyntaxNet에 대한 페이스북 나름대로의 응대가 아닐까 생각합니다. 하지만 뉴럴 네트워크 구조나 소스를 공개하지 않는 페이스북의 발표에 커뮤니티의 반응은 그리 좋지만은 않은 것 같습니다.
이미지출처: 페이스북
얼마전에 페이스북이 사용하고 있는 머신러닝 플랫폼에 대한 간단한 설명을 담은 기사가 보도되었습니다. 이 기사에서는 Flow, AutoML 같은 용어들이 언급되었었는데요. 기사에 언급된 AutoML을 가지고 AI 를 만드는 AI 라고 좀 자극적인 타이틀이 달렸습니다. AutoML은 어제 소개해드린 TPOT과 같은 피처 엔지니어링(feature engineering)이나 모델 셀렉션(model selection)을 자동화해주는 툴로 예상됩니다.
페이스북이 어제 자사의 머신러닝 플랫폼인 FBLearner Flow에 대한 소개 글인 ‘Introducing FBLearner Flow: Facebook’s AI backbone‘를 블로그에 올렸습니다. 위 기사의 Flow가 바로 어제 공개된 FBLearner Flow입니다.
페이스북은 머신러닝을 이용하는데 알고리즘보다 피처 엔지니어링이나 하이퍼파라메타(hyperparameter) 튜닝에 훨씬 많은 시간이 필요하다는 것을 알았습니다. 여러가지 방식으로 많은 실험을 해보려면 이전의 설정이나 워크플로우가 저장되고 공유되는 것이 유익합니다. FBLearner Flow는 이런 요구사항을 반영하여 재사용 가능한 알고리즘과 워크플로우, 엔지니어간의 공유, 병렬처리가 가능한 플랫폼으로 만들어 졌습니다. 현재 동시에 수천개의 머신러닝 태스크가 운영되고 있으며 지금까지 백만여개의 모델이 훈련되었고 초당 6백만개의 예측결과를 만들어 내고 있습니다. 대략 페이스북 개발팀의 25%가 사용하고 있다고 하네요.
블로그에서 iris 데이터셋을 이용한 의사결정트리의 맛보기 코드를 살짝 보여 주었는데요. 조금 놀라운 건 페이스북이 파이썬을 사용했다는 것 입니다.
오늘 구글은 블로그를 통해 딥마인드(Deepmind.com)가 토치(Torch)에서 텐서플로우(TensorFlow)로 연구, 개발 프레임워크를 교체한다고 발표하였습니니다.
토치는 그동안 딥마인드와 페이스북이 사용하면서 코드 기여도 상당했었지만 딥마인드가 토치를 더이상 사용하지 않게 됨으로써 토치 진영에는 페이스북과 트위터가 남게 되었습니다. 어찌보면 예상된 수순이었을지 모르겠습니다. 이세돌과 알파고가 바둑대전을 할 때 제프딘이 언급한 것 처럼 이미 알파고에 텐서플로우가 일정 부분 사용되고 있었기 때문입니다.
며칠 전 선다 피차이(Sundar Pichai) 구글 CEO가 보낸 창업자의 편지(Founder’s letter)에서 앞으로 세상은 모바일 퍼스트(mobile first)에서 AI 퍼스트(AI first)로 변할 것이라고 말하고 있습니다.
“We will move from mobile first to an AI first world.”
이런 비전의 첫 교두보인 텐서플로우가 무엇보다도 널리 쓰이길 바라는 것이 구글에서는 당연할 것입니다. 딥마인드는 지난 몇 달간 기존의 연구를 텐서플로우로 변경하면서 테스트를 해왔고 이제 앞으로 딥마인드에서 수행하는 모든 연구는 텐서플로우를 이용할 것이라고 합니다.
물론 텐서플로우를 PR 하는 것이라고 비아냥 거리는 냉소도 인터넷에 돌아다니긴 합니다.
과연 앱(app)의 시대에서 봇(bot)의 시대로 넘어가고 있다고 할만 합니다. 페이스북의 F8 컨퍼런스 전후로 경쟁자들이 앞다투어 봇 개발 플랫폼을 오픈했습니다. 페이스북은 4월 12일 F8 컨퍼런스에서 ‘Bots for Messenger‘을 런칭했습니다. 페이스북의 메신저 봇은 일년전 인수한 자연어처리 스타트업인 Wit.ai를 기반으로 하고 있고 페이스북 M에서 사용한 인공지능 플랫폼을 이용한다고 합니다.
페이스북의 메신저 봇의 발표가 예견되면서 Kik과 Line의 봇 플랫폼(Kik, Line)도 잇달아 발표되었습니다. 지난 달 말에는 마이크로소프트가 봇 프레임워크를 발표했습니다.
챗(chat) 봇은 이전 포스트에서 소개해 드렸던 미팅 스케줄링 에이전트 Amy와는 조금 다릅니다. 하지만 이런 뉴스들은 우리가 AI를 일상에서 가장 먼저 접하게 될 접점은 텍스트를 중심으로 한 메세지(이메일 혹은 채팅)가 될 것임을 강하게 암시하고 있습니다. 영화 her가 아주 멀지 않았습니다.
클릭하시면 확대해서 보실 수 있습니다. 출처: Nvidia
Nvidia 에서 인공지능 분야의 테크놀러지 빅뱅(Big Bang)을 한 눈에 조감할 수 있는 이미지를 만들어 오늘 공개했습니다.
맨 왼쪽에는 연구분야로서 알파고로 유명한 딥마인드, OpenAI, 몬트리올/뉴욕/MIT 대학교 등이 눈에 뜨입니다. 그 다음으로는 핵심 기술이나 프레임워크로서 페이스북이 지원하는 Torch, 구글의 TensorFlow, 버클리의 Caffe, 몬트리올 대학교의 Theano, 마이크로소프트의 CNTK 등을 Nvidia의 cuDNN이 떠 받치고 있는 모습니다. ^^
그 오른쪽에는 머신러닝을 플랫폼화한 아마존 웹서비스와 IBM 왓슨, 구글, 마이크로소프트의 Azure가 있습니다. 그 다음으로가 가장 관심이 갈 만한 인공지능 분야의 떠오르는 스타트업입니다. 가운데 얼마전 세일즈포스로 인수된 메타마인드(MetaMind)가 있습니다. 여기에 언급된 회사들을 한번쯤 눈여겨 보아두면 아마 언젠가 뉴스에서 큰 기사거리로 만날 수 있을 것 같습니다.
산업부분의 리더 들이 가장 오른쪽에 위치해 있는데요. Andrew Ng 박사가 합류한 바이두(Baidu)가 아직 뚜렷한 성과를 내지 못해서인지 이곳에 있는 게 약간 의외입니다. 머지않아 구글이나 페이스북과 나란히 위치해 있는 그림으로 바뀌지 않을까요.
페이스북은 오늘 시각장애자를 위해 페이스북에 올라온 이미지를 설명하는 텍스트(automatic alternative text)를 자동으로 생성하여 스크린리더를 통해서 들을 수 있다고 발표하였습니다.
http://newsroom.fb.com/news/2016/04/using-artificial-intelligence-to-help-blind-people-see-facebook/
지금은 iOS 에서만 제공하고 추후 안드로이드(Android) 폰에서도 지원할 것이라고 합니다. 페이스북에서 간단한 시연 동영상을 올렸습니다. 머신러닝을 사용하는 방법에 있어서 구글의 바둑 경기보다 페이스북의 장애인을 위한 접근성을 높이는 이번 발표가 더 좋은 것 같습니다.
엘론 머스크와 페이팔 공동창업자인 피터 틸, 링크드인 CEO인 리드 호프만 등이 OpenAI.com 을 설립한다고 발표했습니다. OpenAI 는 비영리 단체로 AI 관한 모든 연구 결과물을 공개할 것이라고 하고 이를 위해 10억달러를 투자한다고 합니다. 물론 초기 몇년 동안은 이 금액의 일부만 실제 펀딩될 것으로 보입니다.
엘론 머스크는 스티븐 호킹과 함께 AI 에 매우 민감하게 반응한 인사 중 한명입니다. 인터뷰를 보면 구글, 페이스북, 마이크로소프트, 애플 같은 IT 공룡들이 주도하는 인공지능 연구에 대해 많이 우려하고 있습니다. 지금은 각 회사들이 연구 결과의 많은 부분을 공개하고 서로 경쟁하고 있습니다만 어느 순간 인간의 지능에 거의 가까운 혹은 인간의 지능을 넘어서는 기술이 개발된다면 과연 그때에도 이를 공개할 것인지는 의문이라는 것입니다.
일부 몇몇 회사나 국가에서 인공지능을 독점하는 병폐를 막기위해 OpenAI 를 설립했다고 합니다. 하지만 OpenAI 가 인공지능을 올바르게 사용하는데 어떤 영향을 끼칠지는 명확하지 않습니다. 오히려 엘론이 자기 회사내부에서 연구하기 부담스러운 영역을 공익재단 형태로 구현하고자 하는 것아닌가 하는 생각이 듭니다. 실제로 엘론은 DeepMind 라는 인공지능 회사에 투자를 했고 추후 구글로 매각되면서 큰 이익을 얻은 것으로 알려지고 있습니다. 물론 엘론은 매각 이익을 얻기 위해서 투자한 것은 아니라고 주장하고 있습니다.
OpenAI 가 초기 집중할 연구영역은 인공지능 분야로 딥러닝(Deep Learning)에 관한 연구입니다. 연구 인원은 수백명 수준이 될 것으로 알려지고 있습니다. OpenAI 의 초기 설립에 아마존 웹 서비스가 포함되어 있습니다. 아마도 딥러닝을 위한 하드웨어 인프라를 아마존에서 제공하는 것 같습니다. 이미 아마존 웹 서비스에는 인공 신경망 연구에 적합한 고성능 GPU 를 제공하는 EC2 인스턴스 서비스가 있습니다. 얼마전 페이스북은 인공 신경망 연구에 적합한 하드웨어 구성을 오픈 소스로 공개하였습니다. 이는 구글이 발표한 텐서플로우에 대한 경쟁 심리로 파악할 수 있을 것 같지만 또 한편으로는 딥러닝 분야에서 GPU 와 하드웨어에 대한 성능이 중요시 되고 있다는 것을 시사합니다.
어느때 보다도 딥러닝에 대한 관심이 뜨거운 것 같습니다. OpenAI 의 결과물이 구글의 텐서플로우과 다른 어떤 색다른 점을 제공해 줄 지 기대가 됩니다.
[Update] OpenAI 가 두명의 주요 설립자인 엘론과 알트만(Y 인큐베이터)에게 공공의 이익 그 이상의 것을 가져다 줄 것이라는 기사가 나왔습니다. Y 인큐베이터는 드롭박스나 에어비앤비 등에 투자하고 있고 엘론은 테슬러와 스페이스X 의 CEO 입니다. 이들 회사들 모두 머신러닝 연구자들을 보유하고 있지만 앞으로 더 많은 연구자들이 필요합니다. 하지만 구글이나 페이스북에 맞서 좋은 연구인력을 잡긴 쉽지 않습니다.
이런 상황을 타개하기 위해 OpenAI 라는 공공성을 내세우고 구글, 페이스북 등으로부터 좋은 연구인력을 모을 것 같습니다. 그리고 그 연구결과는 모두에게 공개되겠지만 테슬라와 Y 인큐베이터에서 가장 잘 활용될 것이라는 점은 의심할 여지가 없을 것 같습니다.
체스는 꽤 오래전에 사람보다 프로그램이 앞서기 시작했습니다. 대부분의 게임에서 사람은 컴퓨터에 졌지만 유독 바둑만은 예외였죠. 여러 사람들이 바둑은 컴퓨터가 사람을 이기기 힘들다고 예상했습니다. 경우의 수가 너무 많거든요. 가장 최근으로는 크레이지 스톤이라는 프로그램이 4점을 먼저 두고 작년에 유명한 프로 기사(요다 노리모토 9단)를 이겼습니다. 한 점당 보통 6~7집 정도를 덤으로 계산하면 25집 정도차이가 나므로 실제로는 꽤 큰 실력 차이입니다.
지난 달 페이스북에서 바둑에 관한 인공지능 논문을 발표했습니다. 지금까지 게임 인공지능은 몬테 카를로 트리 탐색이 주류를 이루었습니다. 페이스북의 논문은 여기에 인공신경망 알고리즘의 딥러닝 기술을 적용해서 성능 향상을 꾀했습니다.
재미있는 것은 페이스북에 이어 구글이 수개월안에 바둑과 관련하여 놀라운 것을 발표하겠다고 말한 것 입니다. 바둑을 놓고 구글과 페이스북이 경쟁 아닌 경쟁을 하는 셈이죠. 사실 바둑의 AI 문제는 단순히 바둑만의 문제가 아닙니다. 바둑을 정복할 수 있다면 보다 더 고도화된 AI 로 나아가는 전환점이 될 수 있을 것이라고 생각합니다.
와이어드 기사에서는 구글이 딥러닝에 더해 강화학습 알고리즘을 이용할 것이라고 내다 보았습니다. 구글이 발표할 내용이 어떤 것인지는 모르겠지만 딥러닝을 이용한 것이라면 텐서플로우를 이용할 가능성이 매우 높을 것으로 보입니다.
흥미로운 경쟁을 기대해 보시죠 ; )
텐서 플로우 블로그 (Tensor ≈ Blog) 