며칠전 OpenAI 의 창립 멤버 중 한명이자 CTO인 Greg Brockman이 ‘My Path to OpenAI’ 란 제목의 글을 블로그에 올렸습니다. Greg은 실리콘 밸리 디지털 결재시스템 스타트업인 Stripe의 CTO 였습니다. 이 글이 흥미로운 것은 그가 하버드나 MIT 대학을 나왔다는 것 때문이 아니라 자신이 좋아하는 일을 위해 Stripe를 그만두고 인공지능 분야에 대해 공부하기 시작했다는 점입니다. 인공지능 분야에서 대단한 연구를 했다거나 소프트웨어를 개발한 것도 아닙니다. 그저 이게 내가 평생을 두고 할 일이라는 직관만이 있었던 것 같습니다.

인맥이 좋은 건지 열정이 좋은 건지 Greg은 그 후 Sam Altman을 만나서 OpenAI에 합류하게 되었습니다. 아마도 Greg이 Stripe에서 초기 스타트업을 빌드업했던 경력이 높게 평가되지 않았을까 생각합니다.

이 글에서 Greg이 Ilya Sutskever에 대한 첫 인상을 기록하고 있습니다.

“Ilya는 기술의 원천(source of grounding) 같았습니다. 폭 넓은 지식과 비전이 있었고 현재 시스템들의 한계와 능력에 대한 상세한 내용을 언제든지 설명할 수 있는 채비를 갖추고 있습니다.”

Ilya는 Greg의 요청으로 딥러닝에 대한 정의를 아래와 같이 했다고 합니다.

감독학습 방식(supervised)의 딥러닝의 목적은 어떤 종류이던 X를 Y에 매핑하는 문제를 푸는 것 입니다. X는 이미지나 말(speech), 글(text)이 될 수 있고 Y는 카테고리나 문장(sentence)이 될 수도 있습니다. 이미지를 카테고리로, 말(speech)을 글(text)로, 글(text)을 카테고리로, 바둑 형세를 다음 수순 등으로 매핑하는 것은 엄청나게 유용하고 다른 방식으로는 처리할 수가 없습니다.

딥러닝이 매력적인 것은 거의 분야(domain) 독립적이라는 것 입니다. 즉 한 분야에서 얻은 많은 식견(insight)을 다른 분야에 적용할 수 있습니다.

자세히 들여다 보면 딥러닝 모델은 추상화 레이어를 구축합니다. 이 추상화 레이어가 모든 일을 해내지만 정확히 어떻게 처리하는 지를 이해하는 것은 어렵습니다. 딥러닝 모델은 매우 간단하지만 미스테리하게 효과적인 백프로파게이션 알고리즘을 사용하여 점진적으로 뉴럴 네트워크의 뉴런간 가중치(synaptic strength)를 변경하면서 학습해 갑니다. 결론적으로 우리는 대규모의 복잡하 시스템을 몇라인의 코드만으로 구축할 수 있습니다.(최종 결과가 아니라 모델과 학습 알고리즘만 코딩하면 되기 때문에)

(추가) Stripe는 Y combinator가 투자한 회사(http://yclist.com/)라 Sam Altman과의 친분은 어쩌면 당연한 것일지 모르겠습니다. Y combinator 외에 Elon Musk가 개인적으로 Stripe에 시드(seed) 머니를 투자(기사1, 기사2)했습니다. 아마 적잖은 이익을 얻었을 것으로 예상됩니다.