카테고리 보관물: News

Caffe2: Mobile first DL Framework

스크린샷 2017-04-19 오후 4.57.55

페이스북이 딥러닝 프레임워크 카페(Caffe)의 새로운 포크인 카페2(Caffe2)를 오늘 공개하였습니다. 카페2는 페이스북과 NVidia를 비롯해 많은 회사들과 협력한 결과라고 합니다. 특별히 NVidia에서도 블로그를 통해 카페2 소식을 알렸습니다. 카페를 개발한 양칭 지아Yangqing Jia가 버클리를 나와서 구글 브레인으로 갔었는데 어느새 페이스북으로 옮겼군요. 이미 작년에 카페2의 개발 소식이 흘러나왔던 것 같습니다. 카페2는 파이토치와는 다르게 모바일과 대용량 스케일의 상용 제품을 위한 프레임워크로 촛점을 맞추고 있다고 합니다. 그렇다고 파이토치와 명확하게 선을 그을 수는 없지만, 파이토치 보다는 더 성능과 다양한 디바이스 포팅에 중점을 두고 있습니다. 파이토치는 연구자들이 다양한 네트워크를 실험할 수 있는 높은 자유도가 장점입니다. 하지만 카페2와 파이토치의 저수준 라이브러리들은 앞으로 계속 머지되거나 아이디어를 공유할 것 같습니다. 바이두가 텐서플로우의 패치를 보냈는데 구글이 이를 거부했다는 소식에서 부터 구글이 사용하는 텐서플로우와 오픈소스 텐서플로우에는 차이가 있다는 것이 카페2와 함께 레딧해커뉴스에서 회자되고 있습니다.

현재 카페2가 안정화된 상태는 아닙니다. 양칭에 의하면 페이스북이 먼저 개밥먹기를 하고 있답니다. 파이썬 바이너리 패키지가 준비되어 있지 않아 설치도 번거롭습니다. 하지만 카페의 Model zoo를 이용할 수 있다는 것과 모바일 퍼스트 정책은 많은 사람들의 관심을 끌것 같습니다. OpenCL와 iOS의 Metal을 지원하려고 준비 중에 있다고 합니다.

누가 Caffe가 죽었다고 했던가요? 🙂

(업데이트) 구글 브레인의 리더 Rajat Monga 가 바로 댓글로 의견을 냈네요. 구글이 텐서플로우에 대해 감추고 있는 것은 없답니다.

또 페이스북에서 F8 행상 이후에 몇몇 대학 교수를 초빙해서 카페2에 대한 워크샵을 열 예정이라고 밝혔습니다. 이미 많은 대학의 딥러닝 커리큘럼이 텐서플로우로 가고 있어서 더 늦기전에 변화가 필요하다고 생각했을 것 같습니다.

tf-seq2seq: open-source seq2seq framework in TF

68747470733a2f2f332e62702e626c6f6773706f742e636f6d2f2d3350626a5f64767430566f2f562d71652d4e6c365035492f41414141414141414251632f7a305f365774565774764152744d6b3069395f41744c6579794779563641

구글에서 이번주 신경망 기계번역, 즉 NMTneural machine translation를 위한 seq2seq 모델을 오픈소스로 공개하였습니다. 이 소스는 텐서플로우로 작성되어 있으며 깃허브에 공개되어 있습니다. 이 소스는 같이 공개된 ‘Massive Exploration of Neural Machine Translation Architectures‘ 페이퍼에서 사용된 코드입니다. 이 페이퍼에서 25만 GPU 시간을 들여 다양한 하이퍼파라미터 튜닝을 한 결과를 공유하고 있습니다. 어쩌면 많은 애플리케이션들이 연이어 나오는 뛰어난 알고리즘보다 이런 실험 결과를 더 목말라하고 있을지 모르겠습니다. 깃허브에 있는 tf-seq2seq 코드는 마치 일반 애플리케이션처럼 다운로드 받아 yaml로 모델을 정의하고 학습시킬 수 있습니다. 딥러닝 라이브러리들이 설정 방식에서 코딩 방식으로 빠르게 전환되더니 도메인 특화된 모델은 다시 패키지화될 수 있는것 아닌가 예상해 봅니다. 자세한 사용법은 도큐먼트를 참고하세요. 비록 한글 데이터는 없지만 구글의 선빵은 놀랍습니다. 🙂

TPU Revealed

2017-04-05_1013

구글이 자사의 데이터센터에서 사용하고 있는 머신러닝 칩셋인 TPU(Tensor Processing Unit)에 대한 성능과 구성에 대해 자세한 내용을 페이퍼공개했습니다. 페이퍼 내용을 보면 GPU/CPU 조합 보다 15~30배 가량 성능이 높다고 합니다. 개인적으로 눈길을 끄는 것은 2016년 7월에 작업한 것으로 보이는 이 페이퍼에 구글의 머신 러닝 추론inference을 위해 사용하고 있는 텐서플로우 모델 워크로드의 60%가 기본적인 피드포워드feed-forward 신경망이라는 점입니다.

스크린샷 2017-04-10 오전 1.54.39

이 수치가 거의 10개월 전의 데이터이고 텐서플로우, 즉 TPU로 서빙한 것에 국한될 수 있지만 예상외로 차이가 많은 것 같습니다. 페이퍼에서도 언급하고 있듯히 TPU의 성능 향상은 CNN을 타깃으로 하지만 실제로는 MLP가 주요 애플리케이션에 사용되고 있는 것 같습니다. 그렇다면 가중치 크기로 보아 비교적 레이어의 유닛수가 많은 MLP0은 유투브 추천에 MLP1은 광고 추천에 사용되는 것이 아닐까 조심스럽게 추측해 봅니다.

Sonnet: DeepMind’s New TF Wrapper

sonnet-logo-blogpost-170330-r01-width-1500

딥마인드가 새로운 텐서플로우 래퍼 라이브러리 소네트Sonnet오픈소스로 공개했습니다. 이로써 텐서플로우 래퍼 라이브러리가 또 하나 늘었네요. 소네트는 객체지향(OOP) 스타일을 따르고 있어 파이토치와 같이 개발의 편의와 재미를 줄 수 있을 것 같습니다. 소네트의 핵심은 텐서플로우의 그래프 정의를 파이썬 오브젝트화시킨 모듈입니다. 소네트의 모듈을 이용해 파이썬 오브젝트를 만들어 계산 그래프 정의 부분을 객체화시킨 효과를 가집니다. 그리고 자신만의 모듈을 정의해서 사용할 수도 있습니다. 자세한 내막은 다르겠으나 겉 모양새는 씨아노의 래퍼인 라자냐lasagne와 흡사해 보입니다.

아직은 초기 버전이라 직접 컴파일하여 설치해야 하고 맥/리눅스의 파이썬 2.7 만 지원합니다(구글 내부에서는 아직 파이썬 2.7의 레거시가 상당하다는 소문입니다). 소네트도 배워야할지 아직 잘 모르겠습니다. 딥마인드가 단발성의 릴리즈는 아니라고 하는 것을 보아서는 제대로된 릴리즈를 계획하고 있을 것 같습니다. pip 설치나 파이썬 3.5, 윈도우즈 지원등이 된다면 케라스Keras와 자주 비교될 것 같습니다. 가장 인기있는 텐서플로우 래퍼 라이브러리인 케라스를 만든 구글의 프랑소와 숄레는 소네트에 대해 아직 아무런 반응을 보이진 않고 있습니다. 🙂

TensorFlow 1.1.0 RC1

텐서플로우 1.1.0 RC1 버전이 릴리즈 되었습니다. 1.1.0 RC1 의 CPU, GPU 버전이 이미 PYPI에 등록되어 있으므로 pip 명령으로 간단하게 설치할 수 있습니다. 아마 근시일내에 1.1.0 정식 버전이 출시될 것 같습니다.

$ pip install --upgrade tensorflow

$ pip install --upgrade tensorflow-gpu

PyTorch v0.1.11 Release

파이토치 0.1.11 버전이 릴리즈 되었습니다. 텐서플로우와 케라스와 일관되게 하려고 Adamax 옵티마이저의 기본 파라미터 값이 변경되었습니다(lr=2e-3, eps=1e-8). 또 CuDNN v6 지원과 성능 향상 이외에도 많은 기능이 추가되고 버그가 수정되었습니다. 자세한 내용은 릴리즈 노트를 참고하세요.

아나콘다를 사용하면 맥과 리눅스에서 파이토치를 쉽게 설치할 수 있습니다. 맥OS에서 CUDA 지원을 사용하려면 소스 컴파일을 해야합니다. 아직 윈도우즈 환경은 지원하지 않고 있습니다.

conda install pytorch torchvision -c soumith

Visdom: Visualization for ML & DL

visidom2

페이스북에서 Torch, PyTorch, NumPy 를 위한 시각화 도구인 Visdom을 오픈소스로 공개했습니다. 자연스럽게 이는 텐서플로우의 텐서보드TensorBoard의 대항마일 것으로 여겨집니다. 비즈돔은 토치용 시각화 서버인 display에 영감을 받았다고 합니다. 비즈돔은 웹브라우저로 사용할 수 있으며 웹서버는 오래전 페이스북이 인수한 프렌드피드FriendFeed가 만든 토네이도Tornado를 사용하고 있고 실제적인 그래픽 처리는 plotly.js를 이용합니다. API 를 봐서는 계산 그래프를 시각화시키는 도구는 아닌 것으로 보입니다. 하지만 앞으로 어떤 기능이 추가될지 기대가 됩니다.

Microsoft 11th NMT language: Korean

마이크로소프트가 신경망을 이용한 기계 번역 언어에 한국어를 추가했다고 블로그를 통해 발표했습니다. 마이크소프트의 기계 번역 서비스는 브라우저에서 확인할 수 있고 모바일 어플리케이션으로도 제공하고 있습니다. 예전에 OpenNMT가 발표됐을 때 했던 간단한 번역 비교를 해 보겠습니다. 3개월전 결과와 어떤 변화가 있는지 알기 위해 동일한 영어 문장을 한글로 바꾸었습니다.

Microsoft: 결과가 아직 그다지 좋지 못하네요.

microsoft-nmt

OpenNMT: 이전 결과에서 조금 달라졌습니다. 이전의 번역이 조금 더 나은 듯도 합니다.

opennmt

Google Translate: 조금 바뀌었지만 큰 차이는 없습니다. 이번에도 mulled 를 해석하지 못했습니다.

google-translate

Naver NMT: 이전과 정확히 동일한 결과를 출력했습니다.

naver-nmt

OpenNMT와 구글 번역기는 계속 학습이 진행되고 있다는 느낌을 받을 수 있고 마이크로소프트 번역기는 아직 타사와 비교할 수 있는 수준은 안되는 것 같습니다.

Big Basin: Facebook New AI Hardware

storagereview-facebook-big-basin_3

페이스북이 2015년 말에 발표한 딥러닝 서버 Big Sur의 업그레이드 버전 격인 Big Basin을 발표하였습니다. 엔비디아의 DGX-1 과 비슷하게 P100 GPU 가 8개가 들어간다고 합니다. ResNet-50으로 테스트했을 때 Big Sur 보다 처리량이 두배 늘었다고 합니다. 하드웨어 스펙에 관한 자세한 내용은 오픈 컴퓨트 프로젝트에 공개할 예정입니다. 일단 사진만 봐도 멋있네요. 엔비디아의 DGX-1 도 부럽지만 텐서플로우 도커의 버전업이 느리다는 소문이 있다는 건 함정입니다.

제 1회 대전 AI 포럼

(업데이트) 신청 페이지가 공개되었습니다만 몇 시간만에 마감되었다고 합니다 ㅜㅜ
https://goo.gl/7q1fZ0

창조경제혁신센터(인공지능 포럼)웹 포스터-01오는 3월 23일 제1회 대전 AI 포럼이 열립니다. 대전창조경제혁신센터, ㈜쎄트렉아이가 공동주최하며 인공지능 분야 연구자들의 고 퀄리티 발표가 준비될 예정입니다. 행사 참여 신청 페이지는 다음 주에 공개될 예정이며 선착순 200명입니다! (신청 페이지가 공개되면 업데이트 하겠습니다)

  • 행사 일시: 3/23 (목) 오후 4시간 진행 (오후 2시-6시), 오후 6시 이후 (행사 이후) 네트워킹 세션 (간단한 피자+음료+맥주) 1시간
  • 참석 신청: 선착순 200명
  • 행사 장소: 대전창조경제혁신센터 (대전광역시 유성구 대학로 291 KAIST 나노종합기술원 9층)

발표자

  • · 민현석(DeepBio) : 인공지능 개발 전에 고민해야 할 것 (부제 : 알파고가 되려면 알바고가 되세요!)
  • 박세진(VUNO) : 의료영상에서의 딥러닝 활용
  • 강왕구(한국항공우주연구원) : 무인이동체 분야에서 인공지능 적용 현황 및 계획
  • 이창은(한국전자통신연구원) : 인공지능 개인비서 기술 현황 소개
  • 김남주(카카오브레인) : Generative Adversarial Networks(GAN)
  • 김태영(인스페이스) : 태양에서 세포까지 적용분야와 Keras 소개
  • 김선중(호모미미쿠스) : 자연을 보는 눈의 진화(생물학적 아이디어 사례화와 탐색기술)
  • 전태균(쎄트렉아이) : 위성영상 분석기술 개발 현황 소개