태그 보관물: Baidu

DL Chip Race

댓글 남기기
card-hero2-800x550

출처: 마이크로소프트 리서치

어제 마이크로소프트가 개발하고 있는 딥러닝을 위한 칩 개발 프로젝트 ‘Catapult’에 대해 크게 보도가 되었습니다. 캐타펄트(Catapult)는 마이크로소프트에서 수년간 개발해 왔고 최근 클라우드에 실전 배치된 것으로 알려졌습니다. 이 칩은 FPGA(field programmable gate array) 타입이어서 재프로그래밍(reprogrammable)이 가능합니다. 와이어드(Wired)에 따르면 마이크로소프트가 이런 타입을 채택한 것은 딥러닝 알고리즘이 발전하면서 새로운 연산방식에 효과적으로 대응할 수 있기 때문이라고 합니다. TPU 방식이라면 아마도 구글은 계속 새로운 칩을 설계해야만 할 것이라고 보았습니다. 하지만 캐타펄트(Catapult)가 TPU 보다는 성능이 떨어진다고 합니다.

이 소식에 이어 바이두가 오늘 딥러닝을 위한 칩 벤치마킹 자료를 공개하였습니다. 딥벤치(DeepBench)는 딥러닝을 위해 사용할 수 있는 칩을 제조하는 메이커들의 경쟁을 이끌고 연구자들이 원하는 하드웨어를 선택할 수 있도록 도움을 주기 위해서라고 합니다. 이 벤치마크에 사용된 코드는 깃허브에 커밋되어 있습니다. 이 벤치마크는 딥러닝 프레임워크를 대상으로 한 것은 아니고 행렬연산이나 콘볼루션 연산 같은 저수준의 작업에 대한 성능을 평가한 것입니다.

딥러닝에 대한 경쟁은 학계에서 프레임워크로 또 하드웨어로까지 빠르게 확산되는 것 같습니다. 현재는 엔비디아(Nvidia)와 인텔(Intel)만이 딥벤치 결과에 참여했고 점차 확대될 것으로 보입니다. 하지만 구글이 TPU를 테스트해 줄지는 의문이네요. 딥벤치가 활성화되고 나서 바이두가 폭발적인 성능을 내는 칩을 내놓으려는 건 아닐런지…

PaddlePaddle: Baidu’s DL Framework

댓글 남기기

바이두에서 새로운 딥러닝 프레임워크를 오픈소스로 공개하였습니다. 이 프레임워크의 이름은 패들패들(PaddlePaddle)로 ‘PArallel Distributed Deep LEarning’의 앞자리를 따왔습니다. 올해 초에 바이두에서 공개한 프레임워크가 있었지만 범용적인 프레임워크라고 보기는 어렵습니다. 이번에 발표한 패들(PaddlePaddle)이 본격적인 바이두의 딥러닝 프레임워크라고 보여집니다.

패들(PaddlePaddle)은 C++로 작성되었고 파이썬 인터페이스를 가지고 있습니다. 수학 연산의 성능과 분산환경 그리고 순환 신경망에 대해 최적화를 했다고 언급하고 있습니다. 텐서플로우가 그랬듯이 패들(PaddlePaddle)을 개발을 하면서 바이두의 여러 제품에 이미 널리 적용하고 있는 것 같습니다.

패들(PaddlePaddle)의 공식 페이지는 ‘www.paddlepaddle.org‘ 이고 9월 1일에 오픈이 될 예정입니다. 아마도 9월 1일에 열리는 바이두 월드(http://baiduworld.baidu.com/)에 맞추어 대대적인 홍보를 할 것 같습니다. 패들(PaddlePaddle) 문서는 여기에서 보실 수 있습니다. 문서에 포함되어 있는 이미지 분류 예에서 파이썬 인터페이스를 이용하여 뉴럴 네트워크 설정을 하고 커맨드라인에서 paddle 명령으로 학습시키는 것을 엿볼 수 있습니다. 텐서플로우의 InteractiveSession 같은 기능을 기대하거나 쥬피터 노트북(Jupyter Notebook)을 활용하기는 다소 어려울 것 같습니다.

패들(PaddlePaddle)이 바이두에서 만든 것이고 충분한 문서가 중국어로 제공될 수 있기 때문에 중국내에서는 쉽게 사용자층을 확보할 수 있을 것 같습니다. 그리고 실리콘밸리에 있는 앤드류 응(Andrew Ng)의 바이두 리서치가 패들(PaddlePaddle)의 미국내 보급에 어떤 역할을 할지 궁금합니다.

텐서플로우(TensorFlow), 씨아노(Theano), 토치(Torch), 카페(Caffe), CNTK, 데스트니(DSSTNE)에 이어서 패들(PaddlePaddle)까지! 이제 웹브라우저 종류보다도 많아진 것 같습니다. 🙂

(업데이트) 패들의 홈페이지가 정식으로 오픈되었고 바이두 월드 컨퍼런스도 시작되었습니다. 컨퍼런스 기조 연설 동영상 후반부에 앤드류 응(Andrew Ng)의 발표가 있습니다. 이 동영상의 1시간 52분 57초 정도에 짧지만 패들에 대한 소개가 있습니다. 중국어라서 전혀 알아들을 수는 없지만 슬라이드 자료의 한자를 이용해 추측해 보면 주요 서드파티 라이브러리(아마도 텐서플로우가 아닐까 생각됩니다)보다 데이터 전처리와 훈련, 그리고 추론에 드는 코드의 양이 각각 1/5, 1/3, 1/5 로 적게 든다고 언급하는 것 같습니다.(혹 중국어를 잘 아시는 분 계시면 댓글 부탁 드립니다)

(업데이트) 구글과 아마존에서 일했던 AI 과학자 델립 라오(Delip Rao)에게 우연히 물어봤는데 정확하게 한자를 해석해 주었습니다. 왼쪽의 세 문장은 위에서 부터 ‘Sequence model preparation’, ‘Sequence model training’ 그리고 ‘Image classification model’ 이라고 합니다. 맨 위 컬럼에 쓰인 문장은 예상대로 ‘Major third party platform’ 입니다. 하지만 텐서플로우를 의미하는 것인지는 확실하지 않다록 하네요. 그도 앤드류 응이 코드 라인수를 장점으로 발표하는 게 의아하게 생각되는 모양입니다.

Crazy Baidu

댓글 남기기

월스트릿 저널에 바이두 앤드류 응(Andrew Ng)의 인터뷰 기사가 실렸습니다. 앤드류 응 박사가 구글을 떠나 바이두에 합류한지 2년 정도 밖에 되지 않았는데 구글, 페이스북에 뒤지지 않는 자신감을 가지는 것 같습니다. 그의 팀원이 800명이라 하며 중국내에서는 바이두에 견줄만한 회사는 없고 미국의 테크 공룡(아마도 구글이겠지요)들과 비교하자면 서로의 장점을 배워나가야 할 거라고 합니다. 이달 초 한 기사에서는 자율주행 자동차를 3년안에 상용화하고 2021년에는 대량 생산을 할 거라는 계획을 발표하기도 했습니다. 현재 바이두에 적용된 딥 러닝의 사례는 음식배달 서비스의 도착시간 예측이라고 합니다. 현재와 미래의 차이가 크네요.

인공지능 기술이 중국 정부에 의해 적절치 않게 사용되지 않겠냐는 의견에는 다소 회피하는 뉘앙스가 느껴집니다. 며칠전엔 AI 에이전트가 비행 시뮬레이션에서 파일럿을 이겼다는 기사를 트윗해서 조금 눈살이 찌푸려지기도 했습니다.

진격의 바이두, 유독 구글을 견제하는 엘론 머스크, 미묘한 경쟁 심리의 구글/페이스북 입니다.

The Expanding Universe of Modern AI

댓글 남기기
nvidia-ai-big-bang

클릭하시면 확대해서 보실 수 있습니다. 출처: Nvidia

Nvidia 에서 인공지능 분야의 테크놀러지 빅뱅(Big Bang)을 한 눈에 조감할 수 있는 이미지를 만들어 오늘 공개했습니다.

맨 왼쪽에는 연구분야로서 알파고로 유명한 딥마인드, OpenAI, 몬트리올/뉴욕/MIT 대학교 등이 눈에 뜨입니다. 그 다음으로는 핵심 기술이나 프레임워크로서 페이스북이 지원하는 Torch, 구글의 TensorFlow, 버클리의 Caffe, 몬트리올 대학교의 Theano, 마이크로소프트의 CNTK 등을 Nvidia의 cuDNN이 떠 받치고 있는 모습니다. ^^

그 오른쪽에는 머신러닝을 플랫폼화한 아마존 웹서비스와 IBM 왓슨, 구글, 마이크로소프트의 Azure가 있습니다. 그 다음으로가 가장 관심이 갈 만한 인공지능 분야의 떠오르는 스타트업입니다. 가운데 얼마전 세일즈포스로 인수된 메타마인드(MetaMind)가 있습니다. 여기에 언급된 회사들을 한번쯤 눈여겨 보아두면 아마 언젠가 뉴스에서 큰 기사거리로 만날 수 있을 것 같습니다.

산업부분의 리더 들이 가장 오른쪽에 위치해 있는데요. Andrew Ng 박사가 합류한 바이두(Baidu)가 아직 뚜렷한 성과를 내지 못해서인지 이곳에 있는 게 약간 의외입니다. 머지않아 구글이나 페이스북과 나란히 위치해 있는 그림으로 바뀌지 않을까요.

What’s Next in Deep Learning

2개의 답글

2015년 3월에 열린 GPU Technology Conference 에서 바이두(Baidu)의 앤드류 응(Andrew Ng) 박사의 발표입니다. 시간이 좀 지났지만 여전히 훌륭한 인사이트를 전달해 주고 있습니다.

http://www.ustream.tv/recorded/60113824

이 발표에서 딥 뉴럴 네트워크(Deep Neural Network)의 큰 세가지 분야 이미지(Image), 스피치(Speech), 비해비어(Behavior) 에 대해 바이두의 연구 성과를 보여주고 있습니다. 주로 딥러닝의 주요 분야인 이미지와 음성 인식에 대해 많은 시간을 할애 하고 있습니다. 아래는 주요한 프리젠테이션 스샷입니다.

계속 읽기 →