페이스북이 딥러닝 기반의 텍스트 분석 엔진인 딥텍스트(DeepText)에 대해 소개했습니다. 딥텍스트는 콘볼루션 뉴럴 네트워크와 리커런트 뉴럴 네트워크를 조합하여 사용하여 단어(word) 수준의 학습과 문자(character) 수준의 학습을 할 수 있다고 합니다. 일전에 소개해 드렸던 FbLearner Flow와 토치(Torch)를 사용하여 구성되었습니다.

페이스북은 언어별로 모델을 학습하지 않고 각 언어의 의미가 같은 단어를 관련지어 나타낼 수 있는 공통 임베딩 스페이스(common embedding space)을 사용하여 다양한 언어에 대한 학습속도를 높인다고 합니다. 딥텍스트는 페이스북의 과학자인 Xiang Zhang과 Yann LeCun이 발표한 페이퍼를 기초로 개발되었습니다. 딥텍스트는 텍스트를 임베딩하는 비감독(unsupervised) 학습과 의미를 분류하기 위한 감독(supervised) 학습을 병행하고 있습니다. 임베딩 기술 덕택에 감독학습을 위한 샘플링 데이터는 비교적 작은 양을 필요로 한다고 합니다.

아마도 이번 발표는 얼마전 구글이 발표한 SyntaxNet에 대한 페이스북 나름대로의 응대가 아닐까 생각합니다. 하지만 뉴럴 네트워크 구조나 소스를 공개하지 않는 페이스북의 발표에 커뮤니티의 반응은 그리 좋지만은 않은 것 같습니다.