오늘 아마존에서 딥러닝 라이브러리 DSSTNE(Deep Scalable Sparse Tensor Network Engine)을 깃허브에 공개하였습니다. 아마존은 그동안 오픈소스는 잘 활용하지만 기여도 측면에서는 그닥 좋은 점수를 받지 않았는데요. 이번 공개는 의외로 놀라운 일인 것 같습니다. 아마도 구글의 텐서플로우의 영향 때문이라는게 지배적인 의견입니다.

일년전 아마존과 뉴욕타임즈와의 설전도 있었지만 진실여부를 가리는 것은 둘째로 하더라도 아마존의 내부 사정이 외부에 알려진 바가 적은 것은 사실인 것 같습니다. 하지만 이런 분위기가 조금 바뀐 걸까요?

실제 오랫동안 DSSTNE 프로젝트에 참여했던 전 아마존 직원이 해커뉴스에 간단하게 DSSTNE에 대한 소개를 했습니다. 이에 따르면 DSSTNE는 아직 CNN, RNN을 지원하지 않고 Fully Connected Layer만 가능합니다. CPU에서는 연산이 안되고 GPU에서만 가능합니다. 또 아직 맥이나 윈도우에서 설치하는 설명은 없습니다. 아마 현재는 Ubuntu나 비슷한 리눅스에서만 가능할 것 같습니다. 독특한 점은 뉴럴 네트워크 구성을 JSON 포맷으로 정의할 수 있는 것 입니다.

이 프로젝트는 약 2년전 부터 시작되었고 아마존의 제품 추천 시스템을 위한 것이라고 합니다. 즉 실제 사용하고 있는 소프트웨어를 공개한 것이죠. 특별히 듬성등성(Sparse)한 데이터를 위해 개발된 점이 다른 프레임워크와는 조금 차별화가 되는 것 같습니다. 실제 아마존 상품에 대한 고객의 평점 데이터는 듬성듬성하니까요. 소스는 C++로 개발되어 있고 아직 파이썬 인터페이스는 없습니다. 발음은 ‘destiny'(운명)으로 한다네요.

이러한 분위기라면 페이스북도 FBLearner Flow를 공개하지 않을까요? 내심 더 기대해 봅니다.