태그 보관물: Amazon

MXNet, DL Framework of Choice at AWS

지난 주 아마존 CTO 워너 보글스(Werner Vogels)는 AWS 에서 사용할 수 있는 딥러닝 프레임워크로 MXNet 을 추가했으며 앞으로 아마존이 MXNet 의 개발을 지원하겠다고 발표하였습니다. MXNet 은 카네기 멜론 대학과 워싱톤 대학이 시작한 이후 많은 대학과 회사들의 후원을 받고 있는 딥러닝 오픈소스 라이브러리입니다. 깃허브 활동에서도 크게 뒤쳐지지 않고 활발히 개발되고 있습니다. 특징으로는 파이썬, 줄리아(Julia), R, 매트랩(Matlab), 스칼라(Scala) 등 다양한 인터페이스를 지원하는 것이 눈에 띄입니다. 성능과 대용량 처리 부분에서도 크게 뒤지지 않는 듯 보입니다.

그럼 아마존의 데스트니(DSSTNE)는 어떻게 되는 것인지 모르겠습니다. 자체 라이브러리의 생태계를 만들어 가는 것이 역부족이라고 느낀 것일까요. 아니면 구글이 스탠포드 비전랩의  Fei Fei, Li 교수와 스냅챗의 Jia Li 를 구글 클라우드의 머신러닝 유닛을 이끌 수장으로 영입한 것이 영향을 미쳤을지도 모릅니다. 문제는 프레임워크가 아니고 클라우드 비즈니스라고 말이죠.

또 트위터가 2015년 웻랩(Whetlab)을 인수하면서 영입한 AI 연구자 다섯명이 트위터 코텍스(Twitter Cortex)를 떠난다는 소식이 있었습니다. 그 중에 업계에 비교적 잘 알려진 휴고 라로쉘(Hug Larochelle)은 구글로 자리를 옮겼습니다. 구글이 요슈아 벤지오(Yoshua Bengio) 교수가 있는 몬트리올 대학 MILA 랩에 3백만 달러(역대 최고라 하는군요)를 지원하기로 발표하면서 휴고 라로쉘이 구글의 몬트리올 랩의 리더가 되었습니다. 거기에 최근에는 OpenAI 가 클라우드 플랫폼으로 마이크로소프트의 애저(Azure)를 선택한다고 발표하니 아마존이 다급해진 것일까요. 여러모로 프레임워크로 경쟁하기 보다는 실리를 추구하는 쪽으로 선회한 것일지 모르겠습니다.

아마존의 AWS 에는 MXNet, Caffe, Tensorflow, Theano, Torch 그리고 CNTK 가 미리 설치되어 있는 딥러닝 AMI 가 있습니다. 그리고 사용자는 여전히 입맛에 맞는 프레임워크를 설치해서 사용할 수 있습니다. 하지만 앞으로 AWS RDS 처럼 관리형 딥러닝 서비스가 나온다면 MXNet 이 첫번째 후보가 될수 있을 것 같습니다.

Amazon EC2 p2.16xlarge

ec2-p2

아마존의 EC2 인스턴스 모델 중 GPU를 지원하는 새로운 타입을 추가하였다고 발표하였습니다. 새로 추가된 인스턴스 타입은 8개와 16개의 GPU를 장착하였습니다. 새로운 인스턴스 타입이 발표될 것이라는 루머가 나온지는 몇달이 되었습니다. 8개까지만 장착될 것으로 보았는데 16개까지 인스턴스 타입이 출시되었습니다. 대체적으로 새로운 GPU 인스턴스 타입에 대해 반기는 분위기 입니다. OpenAI는 GPU 지원이 부족한 아마존 인스턴스를 쓰지 않고 시라스케일(Cirrascale)을 사용하는 것으로 알려져 있습니다. 새로운 인스턴스 타입이 연구자들의 마음을 돌릴 수 있을지 모르겠습니다.

Partnership on AI

partnership-on-ai

구글, 딥마인드, 페이스북, 마이크로소프트, 아마존, IBM 6개 회사가 ‘Partnership on AI‘란 단체를 발족시켰습니다. 각 회사에서 한명씩 대표(board)를 구성하게 되며 AI 연구와 윤리, 표준, 리포트, 컨퍼런스 등의 분야에 적극적인 역할을 것으로 보입니다. 공익단체라는 점에서 OpenAI를 의식하여 연합한 것인지는 모르겠습니다. 바이두(Baidu)는 끼일만도 한데 빠진 것과 딥마인드는 구글의 자회사이지만 공룡들과 어깨를 나란히 하고 있는 것이 눈에 띄입니다.

(업데이트) Partnership on AI에 대한 관심이 뜨겁습니다. 사람들은 바이두외에 애플, 트위터, 인텔 등도 빠져 있는 것을 궁금해 하고 있는 것 같습니다. 특히 OpenAI가 빠져있어서 이를 두고 미묘한 대립 기류가 있는 것은 아닌지 다양한 해석이 있습니다. OpenAI는 아마 초기 멤버로 초청받지 못한 아쉬움이 있는 듯 트위터를 통해 향후 참여를 희망한다고 이야기 했고 딥마인드측 대표인 무스타파 설리만(Mustafa Suleyman)이 이에 화답했습니다. Partnership on AI의 발표 자료를 보면 OpenAI 같은 비영리 기관도 곧 참여가 이루어 질 것으로 보입니다. 이들이 데이터 공유를 위해 뭉쳤는지 인류를 위해 뭉쳤는지는 모르겠지만 만약 OpenAI가 없었다면 기대하기 어려운 일이었지 않을까요?

(2017-01-30) Partnership on AI에 애플과 OpenAI가 합류했다는 소식입니다. 애플은 창립 멤버로 OpenAI는 이사회 구성원으로 합류했습니다. 바이두같은 회사가 합류할 가능성은 높아 보이지는 않습니다만 미국안의 파트너쉽이 되어 버린 것 같습니다.

Recommendations with DSSTNE

아마존이 공개한 딥러닝 라이브러리인 데스트니(DSSTNE)와 아파치 스파크(Spark)를 이용한 추천 시스템을 구성하는 방법에 대해 아마존 개발자 Kiuk Chung이 빅데이터 블로그에 ‘Generating Recommendations at Amazon Scale with Apache Spark and Amazon DSSTNE‘ 글을 올렸습니다. 자세히 읽어보진 못했지만 추천 시스템 쪽에선 좋은 참고가 되지 않을까 생각합니다. 아마존이 라이브러리를 공개하고 나서 조금씩이라도 커뮤니티를 위해 알리는 노력을 하는 것 같아 반갑습니다.

AWS New Instance for AI

오늘 블룸버그에 아마존이 뉴럴 네트워크를 위한 새로운 인스턴스 타입을 테스트 중에 있다고 기사를 게재했습니다. 아마존의 입장에서는 계속 인기가 올라가고 있는 구글의 클라우드 플랫폼(GCP)에 대응하지 않을 수 없을 것 같습니다. 특히 구글의 클라우드 머신러닝 플랫폼이 이미 알파 서비스를 하고 있습니다. 하지만 아마존이 구글 클라우드 플랫폼이 제공하는 Vision API, Prediction API, Translate API 같은 API 서비스를 제공할 것 같지는 않습니다.

새로운 타입의 인스턴스는 최대 8개까지의 GPU가 탑재되었고 몇몇 고객을 대상으로 테스트 중에 있다고 합니다. 아마도 보다 최신의 Nvidia GPU가 탑재될 것으로 생각됩니다. 이 인스턴스에 아마존이 발표한 딥러닝 프레임워크인 데스트니(DSSTNE)만 운영할 수 있는 것은 아니고 당연히 텐서플로우를 포함한 다른 딥러닝 프레임워크도 사용할 수 있습니다. 새로운 인스턴스 타입에서 데스트니를 사용했을 때 성능상의 장점외에 다른 편리함을 줄 수 있다면 더욱 기대가 될 것 같습니다.

Amazon의 딥러닝 라이브러리: DSSTNE

오늘 아마존에서 딥러닝 라이브러리 DSSTNE(Deep Scalable Sparse Tensor Network Engine)을 깃허브에 공개하였습니다. 아마존은 그동안 오픈소스는 잘 활용하지만 기여도 측면에서는 그닥 좋은 점수를 받지 않았는데요. 이번 공개는 의외로 놀라운 일인 것 같습니다. 아마도 구글의 텐서플로우의 영향 때문이라는게 지배적인 의견입니다.

일년전 아마존과 뉴욕타임즈와의 설전도 있었지만 진실여부를 가리는 것은 둘째로 하더라도 아마존의 내부 사정이 외부에 알려진 바가 적은 것은 사실인 것 같습니다. 하지만 이런 분위기가 조금 바뀐 걸까요?

실제 오랫동안 DSSTNE 프로젝트에 참여했던 전 아마존 직원이 해커뉴스에 간단하게 DSSTNE에 대한 소개를 했습니다. 이에 따르면 DSSTNE는 아직 CNN, RNN을 지원하지 않고 Fully Connected Layer만 가능합니다. CPU에서는 연산이 안되고 GPU에서만 가능합니다. 또 아직 맥이나 윈도우에서 설치하는 설명은 없습니다. 아마 현재는 Ubuntu나 비슷한 리눅스에서만 가능할 것 같습니다. 독특한 점은 뉴럴 네트워크 구성을 JSON 포맷으로 정의할 수 있는 것 입니다.

이 프로젝트는 약 2년전 부터 시작되었고 아마존의 제품 추천 시스템을 위한 것이라고 합니다. 즉 실제 사용하고 있는 소프트웨어를 공개한 것이죠. 특별히 듬성등성(Sparse)한 데이터를 위해 개발된 점이 다른 프레임워크와는 조금 차별화가 되는 것 같습니다. 실제 아마존 상품에 대한 고객의 평점 데이터는 듬성듬성하니까요. 소스는 C++로 개발되어 있고 아직 파이썬 인터페이스는 없습니다. 발음은 ‘destiny'(운명)으로 한다네요.

이러한 분위기라면 페이스북도 FBLearner Flow를 공개하지 않을까요? 내심 더 기대해 봅니다.