Sentiment Neuron

image03-1

OpenAI에서 한 RNN 연구에 관해 블로그 포스팅페이퍼 그리고 코드(텐서플로우)를 공개했습니다. 내용을 간단히 요약하면 4,096 개의 multiplicative LSTM 뉴런으로 8천 2백만개의 아마존 리뷰에 대해 다음 문자(character)를 예측하도록 학습시켰습니다. 그런다음 Stanford Sentiment Treebank 데이터셋으로 이 뉴런들의 가중치 합에 대해 학습시켰습니다. 종전의 다른 모델과 비교해서 적은 수의 샘플로도 감성 분석에 대해 높은 성능을 내었다고 합니다.

그런데 이 뉴런 중 한개가 뉴런이 양성과 음성적인 리뷰를 구분하는 데 결정적인 역할을 하고 있다는 것을 발견했습니다. 다른 RNN 모델처럼 이 네트워크를 이용하여 리뷰 텍스트를 만들어 낼 수 있는데 이 감성 뉴런의 값을 덮어쓰면 양성 리뷰, 음성 리뷰를 선택해서 만들 수 있습니다. 아마존 리뷰를 이용해서 다음 문자에 대해서 학습을 시킨 것인데 감성 분석에 뛰어난 뉴런이 만들어진 것이 흥미롭습니다. 블로그에서도 언급되었지만 레이블 데이터를 만드는 물리적인 한계를 이런 비지도 학습의 연구가 도움을 줄 수 있을 것 같습니다.

잘 알려진 알렉 래드포드Alec Radford와 일리아 서스키버Ilya Sutskever가 페이퍼의 저자인데 커뮤니티의 반응은 썩 좋지는 않은 것 같습니다. 블로그 글이 약파는 느낌이라던가 Character RNN에 대해 잘 알려진 글을 쓴 안드레이 카패시Andrea Karpathy가 왜 저자로 안들어 갔는지 등등 말이 많네요. 🙂

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Google+ photo

Google+의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

%s에 연결하는 중