태그 보관물: Andrew Ng

Andrew Ng launch New DL Courses!

바이두에서 나온 앤드류 응이 세가지 프로젝트를 진행한다고 합니다. 그 중에 먼저 첫 번째로 선을 보이는 것deeplearning.ai로 예고했던 코세라의 Deep Learning Specialization 코스입니다! 파이썬과 텐서플로를 사용하는 이 커리큘럼은 총 다섯개의 코스로 이루어져 있습니다.

  1. Neural Networks and Deep Learning
  2. Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization
  3. Structuring Machine Learning Projects
  4. Convolutional Neural Networks
  5. Sequence Models

작년부터 시작한 코세라의 구독 모델이 적용되는 specialization으로 월 $49를 내고 빠른 속도(!)로 주파를 하면 Certificate를 받을 수 있습니다. 돈을 내지 않고 청강을 할 수도 있는데요. 각 코스의 링크로 직접 들어가서 Enroll을 하면 팝업 화면 아래 조그맣게 쓰인 Audit 링크를 누르시면 됩니다. 자세히는 아직 모르지만 전체 커리큘럼의 수준은 intermediate 정도로 보입니다.

deeplearningai

눈에 익은 책상과 모니터네요! 🙂

TensorRT, NNabla, deeplearning.ai, CMU AI and Naver

NVIDIA가 딥러닝 인퍼런스inference 전용 라이브러리인 TensorRT 2를 공개하였습니다. TensorRT 1에서 제공했던 카페Caffe와 텐서플로TensorFlow까지 지원을 확대했습니다. 곧 TensorRT 3 버전도 선보일 거라는 군요. TensorRT는 데비안 패키지로 제공되며 NVIDIA 개발자 계정이 있으면 다운받을 수 있습니다. 조금 더 자세한 내용은 릴리즈 노트를 참고하세요.

소니Sony(네 우리가 아는 소니가 맞습니다:)가 오픈소스 뉴럴 네트워크 라이브러리 NNabla를 공개했습니다. @.@ 여러 사람들이 당황하는 것을 보아서는 확실히 의외인 것 같습니다. NNabla는 파이토치PyTorch나 다이넷DyNet처럼 다이나믹 컴퓨테이션 그래프를 지원하며 준수한 API를 가지고 있다고 회자되고 있습니다. NNabla가 쟁쟁한  공룡들 사이에서 얼마나 자리를 잡을지 궁금합니다. 소스 코드는 깃허브에서 볼 수 있습니다.

앤드류 응Andrew Ng이 바이두 리서치를 떠나서 Drive.ai에 합류했다는 소식입니다. Drive.ai는 앤드류의 부인이 하고 있는 자율 주행 관련 회사입니다. 앤드류가 바이두를 떠났을 때 여러 사람들이 Drive.ai에 합류할 것이라는 예상을 했었죠. 앤드류는 이와는 별개로 새로운 프로젝트 deeplearning.ai 를 런칭한다고 공개했습니다. 8월에 본 모습을 드러내겠지만 ‘Explore the frontier of AI’, ‘Hope will help many of you’ 와 같은 문구를 봐서는 조금 공익적인 프로젝트가 아닐까 내심 기대해 봅니다.

애플에 합류한 러슬랜 살라쿠디노프Ruslan Salakhutdinov 교수가 있는 카네기 멜론 대학이 응집력있는 연구를 위해 CMU AI를 설립한다고 발표했습니다. 토론토 대학, 몬트리올 대학, 스탠포드 대학 등 연구소도 경쟁인 것 같습니다.

그리고 네이버가 제록스 유럽 연구소를 인수했다는 뉴스도 있습니다. 부디 그들만의 리그가 되지 않기를 바랄 뿐입니다.

MLYearning Draft

바이두의 앤드류 응(Andrew Ng) 교수가 쓰고 있는 Machine Learning Yearning 의 첫 드래프트(v0.5)가 공개되었습니다. 저자가 앞서 밝혔던 의도대로 수학식이 가득한 알고리즘 책이 아니고 머신 러닝 개발자에게 필요한 실천전략을 담고 있습니다. 전체는 대략 100여 페이지가 조금 넘을 듯 하고 약 55개 장으로 각 장마다 1~2 페이지 정도의 내용을 담고 있습니다. v0.5 드래프트에는 12개의 장이 포함되어 있습니다. 그리고 지금이라도 메일링 리스트에 가입하면 앞으로 업데이트될 때마다 책을 받아 볼 수 있습니다.

(업데이트) 14장까지 업데이트 된 합본입니다.

Crazy Baidu

월스트릿 저널에 바이두 앤드류 응(Andrew Ng)의 인터뷰 기사가 실렸습니다. 앤드류 응 박사가 구글을 떠나 바이두에 합류한지 2년 정도 밖에 되지 않았는데 구글, 페이스북에 뒤지지 않는 자신감을 가지는 것 같습니다. 그의 팀원이 800명이라 하며 중국내에서는 바이두에 견줄만한 회사는 없고 미국의 테크 공룡(아마도 구글이겠지요)들과 비교하자면 서로의 장점을 배워나가야 할 거라고 합니다. 이달 초 한 기사에서는 자율주행 자동차를 3년안에 상용화하고 2021년에는 대량 생산을 할 거라는 계획을 발표하기도 했습니다. 현재 바이두에 적용된 딥 러닝의 사례는 음식배달 서비스의 도착시간 예측이라고 합니다. 현재와 미래의 차이가 크네요.

인공지능 기술이 중국 정부에 의해 적절치 않게 사용되지 않겠냐는 의견에는 다소 회피하는 뉘앙스가 느껴집니다. 며칠전엔 AI 에이전트가 비행 시뮬레이션에서 파일럿을 이겼다는 기사를 트윗해서 조금 눈살이 찌푸려지기도 했습니다.

진격의 바이두, 유독 구글을 견제하는 엘론 머스크, 미묘한 경쟁 심리의 구글/페이스북 입니다.

Andrew Ng’s Book: Machine Learning Yearning

clzytu7wkaalj-a 바이두(Baidu)의 앤드류 응(Andrew Ng) 박사가 ICS HPC 컨퍼런스에 참석차 방문한 독일 프랑크푸르트에서 올 여름 새로운 책을 집필할 것이라고 알렸습니다. 책 이름은 ‘Machine Learning Yearning’ 입니다. 웹 사이트 mlyearning.org 에서 이메일을 등록하면 초안이 작성되는 대로 무료로 공유 받을 수 있습니다. 이메일을 등록한 후 확인 메일을 받아 메일링 리스트 가입을 확정하여야 합니다. 간혹 확인 메일이 안올 경우도 있으니 잠시 후에 다시 시도하면 됩니다.

아마도 출간되면 ‘Deep Learning Book’ 과 함께 꼭 읽어야 할 책 목록 중에 하나가 되지 않을까 생각됩니다. 가능하면 올해안에 만나볼 수 있기를 기대해 봅니다. 드래프트를 받으면 읽고 리뷰할 수 있도록 하겠습니다.

추가로 텐서플로우와 씨아노(Theano) 래퍼(Wrapper) 라이브러리 Keras의 개발자인 구글의 프랑소와 숄레(François Chollet)가 매닝(Manning) 출판사와 딥 러닝에 관한 책을 쓰기로 계약했다는 소식이 있습니다. 아마도 Keras와 텐서플로우를 이용한 예시가 많지 않을까 생각됩니다. 이 책은 빨라야 내년 초에나 볼 수 있을 것 같습니다.

(추가) 2일만에 35,000개 이상의 메일이 가입되었다고 합니다. 앤드류 응의 인기가 실감되네요. 24일까지 메일링 리스트 가입을 받는다고 하니 서루르세요.

Large Scale Deep Learning with TensorFlow by Jeff Dean

스파크 서밋 2016에서 제프 딘(Jeff Dean)이 발표한 키노트 ‘Large Scale Deep Learning with TensorFlow’ 동영상이 공개되었습니다. 슬라이드 자료는 여기에서 받으실 수 있습니다.

스파크 서밋 2016의 또 다른 키노트 발표자인 앤드류 응(Andrew Ng)의 ‘AI: The New Electricity’도 참고하세요.

때마침 edX에서 버클리 대학교의 스파크 시리즈 강좌가 시작되었네요. 특별히 Certificate를 받을 필요가 없다면 무료이며 모든 강좌에 똑같이 참여할 수 있습니다.

Ask Jeff Dean

Quora에는 ‘어떻게 하면 머신러닝 전문가가 될 수 있나요?’ 나 ‘데이터 과학자가 되려면 PhD가 필요한가요?’ 같은 질문들과 답변이 종종 올라오곤 합니다. 좀 오래됐지만 재미있는 질문과 답변이 있어 소개해 드립니다.

제프딘은 어떻게 그렇게 빨리 인프라와 시스템 엔지니어링에서 딥러닝 분야 전문가가 된건가요?

이 질문은 2014년 12월 경에 시작되었습니다. 사실 제프딘은 구글 빅데이터, 분산환경의 전문가로 잘 알려져 있습니다. 특히 맵리듀스, 빅테이블, 스패너 등을 만든 것으로 유명하죠. 그런데 언제부터인가 구글 머신러닝의 최고수가 되어 있으니 이런 질문이 나올법 합니다. 예상되는 답변이라면 제프딘은 원래 똑똑한 사람이라든가, 딥러닝이나 뉴럴 네트워크의 이론이 사실상 그리 어려운게 아니라던가 등이 있을 것 같습니다. 어쨋든 제프딘이 딥러닝에 대해 아는 척 하는 수준은 분명히 아닙니다. 그는 구글 브레인 팀의 리더이며 구글 IO 2016의 머신러닝 세션의 패널로 참석했었고 딥마인드의 알파고와 이세돌 바둑 대국 때 한국에 왔었습니다. 또 텐서플로우 페이퍼의 주요 저자임은 물론이고 스탠포드 CS231n 강의의 마지막 시간에 초청되어 강의와 질의 응답을 하는 것으로 보아 충분히 짐작할 수 있습니다.

그런데 2015년 3월에 재미있는 답변이 올라왔습니다. 펜실베니아주 스와스모어 대학의 한 학생이 직접 제프딘에게 물어보았다고 합니다.

ask-jeffdean

“저는 이 분야가 잠재력이 많고 흥미로운 분야라고 생각했습니다. 뉴럴 네트워크게 대해 많이 알지 못했지만 분산환경에 대해서는 잘 알고 있었죠. 그래서 주방이던 어디던 사람(전문가)들에게 다가가 그들과 대화를 했습니다. 전문가들과 대화하고 함께 일하면 여러가지 어려운 문제도 해결할 수 있고 정말 빠르게 배울 수 있을 겁니다.”

제프딘의 솔직하고 명료한 대답이네요. 제프딘이 앤드류 응(Andrew Ng) 스탠포드 교수와 함께 구글 브레인 팀을 만든 것은 2011년 경으로 그 즈음부터 본격적으로 딥러닝 분야에 대한 지식을 쌓지 않았을까 합니다.

그럼 싸리문 밖에서 고개만 내밀고 있는 제가 들어갈 수 있는 부엌은 어디에 있는 걸까요? 🙂

Andrew Ng의 머신러닝 강좌의 Python 코드 버전

머신러닝을 배우기 위해 온라인 강의 중 어떤게 좋은가요 라고 물어보면 열명이면 열명 모두 Andrew Ng머신러닝 강좌를 추천할 것이라는 데 의심의 여지가 없습니다. 이 강좌는 작년부터 self-paced로 제공되고 있어서 시간이 없어 매주 분량을 쫒아가기 힘든 분들에게도 마감시간에 구애 받지 않고 천천히 학습할 수 있도록 하고 있습니다.

이 강의의 단점(?)이라고 하면 강의와 숙제가 Matlab의 오픈소스 클론인 Octave로 진행된다는 점 입니다. Octave가 시작하기 어려운 언어는 아니기에 큰 장벽이 되지는 않지만 Octave를 배워서 학교나 회사에서 사용할 수 있는 가능성은 희박합니다.

David Kaleko는 Andrew Ng의 머신러닝 강좌의 모든 숙제를 Python으로 재 작성하여 깃허브에 공유하였습니다. Octave에 어려움을 겪으시는 분들은 Python 버전이 도움이 되실 것 같습니다.

What’s Next in Deep Learning

2015년 3월에 열린 GPU Technology Conference 에서 바이두(Baidu)의 앤드류 응(Andrew Ng) 박사의 발표입니다. 시간이 좀 지났지만 여전히 훌륭한 인사이트를 전달해 주고 있습니다.

http://www.ustream.tv/recorded/60113824

이 발표에서 딥 뉴럴 네트워크(Deep Neural Network)의 큰 세가지 분야 이미지(Image), 스피치(Speech), 비해비어(Behavior) 에 대해 바이두의 연구 성과를 보여주고 있습니다. 주로 딥러닝의 주요 분야인 이미지와 음성 인식에 대해 많은 시간을 할애 하고 있습니다. 아래는 주요한 프리젠테이션 스샷입니다.

계속 읽기