태그 보관물: Andrew Ng

ML Yearning 완결

clzytu7wkaalj-a 앤드류 응(Andrew Ng)이 2016년 6월부터 쓰기 시작한 Machine  Learning Yearning이 드디어 완결되었습니다. 이 책은 총 58개의 장, 118페이지로 구성되어 있습니다. 각 챕터는 머신러닝 프로젝트를 수행하기 위해 꼭 알아야 할 개념과 노하우를 담고 있습니다. 프로그램 코드는 없지만 Cookbook 스타일처럼 느껴집니다.

이 책을 받으려면 deeplearning.ai 뉴스레터에 가입해야 합니다. 완결된 PDF을 블로그에서 직접 다운로드할 수 있도록 올려 놓았습니다.

각 장은 몇 개의 카테고리로 묶여 있습니다. 카테고리 제목을 보면 이 책에 담긴 주제들을 이해하기 좋습니다.

  1. Setting up development and test sets
  2. Basic Error Analysis
  3. Bias and Variance
  4. Learning curves
  5. Comparing to human-level performance
  6. Training and testing on different distributions
  7. Debugging inference algorithms
  8. End-to-end deep learning
  9. Error analysis by parts

이 책은 Draft 버전입니다. 정식 책으로 출판될지는 아직 확실하지 않습니다.

New Coursera Specialization with Google

코세라Coursera에 새로운 전문 과정 Machine Learning with TensorFlow on Google Cloud Platform이 개설되었습니다. 이름에서 알 수 있듯이 구글과 함께 제작한 것 같습니다. 총 다섯 개의 강좌로 이루어져 있으며 구글 클라우드와 텐서플로에 촛점이 맞추어진 머신러닝 강좌입니다. 이상한 것은 개별 강좌에 무료 옵션(Audit)이 없다는 점입니다. 앞으로 모든 전문 과정이 이렇게 되는 것인지는 모르겠지만 상당히 아쉽네요. 😦 시도해 볼 수 있는 것은 7일 무료 체험이고 그 이후에는 한달에 $49를 지불해야 합니다.

앤드류 응 박사가 만든 deeplearning.ai 코스는 개별 강좌로 계속 무료 수강이 가능합니다. 혹시 영어가 부담이 되신다면 반가운 소식이 하나 있습니다.  edwith에서 카이스트 대학 자원봉사 학생들과 함께 이 강좌의 자막을 번역하고 있습니다! 저도 숟가락 얹고 있는데요. 아마 뜨거운 여름이 되면 edwith에서 만나 보실 수 있을 것 같습니다. 당연히 무료입니다. 🙂

(업데이트) Machine Learning with TensorFlow on Google Cloud 전문과정 중에 첫 번째 강의인 ‘How Google does Machine Learning‘는 무료로 수강이 가능합니다. 강의 등록 버튼을 누르고 중간에 조그만 글씨의 ‘무료 감사’ 링크를 선택하시면 됩니다. 다른 강의도 무료로 제공될지는 아직 확실하지 않네요. 이 정보는 skshin 님이 알려 주셨습니다.

머신러닝 Yearning 01~27

앤드류 응Andrew Ng 박사가 쓰고 있던 머신러닝 Yearning이 잠시 업데이트가 없었습니다. 코세라Courseradeeplearning.ai 강좌 때문이었다고 하네요. 강의 개발을 모두 끝내고 나서 다시 드래프트 버전을 업데이트하고 있습니다. 총 55개의 챕터가 쓰여질 예정인데 현재 27개의 챕터가 완료되었습니다. 아직 못 보신 분 들을 위해 지금까지 업데이트된 PDF를 모아서 블로그에 올려 놓았습니다!(다운로드) 🙂

(업데이트) 28~30장이 릴리즈되었습니다!(Ng_MLY05), 31~32장이 릴리즈되었습니다!(Ng_MLY06), 33-35장이 릴리즈되었습니다!(Ng_MLY07), 36-39장이 릴리즈되었습니다!(Ng_MLY08), 40~43장이 릴리즈되었습니다!(Ng_MLY09), 44~46장이 릴리즈되었습니다!(NG_MLY10), 47~49장이 릴리즈되었습니다!(NG_MLY11), 50~52장이 릴리즈되었습니다!(Ng_MLY12)

Andrew Ng launch New DL Courses!

바이두에서 나온 앤드류 응이 세가지 프로젝트를 진행한다고 합니다. 그 중에 먼저 첫 번째로 선을 보이는 것deeplearning.ai로 예고했던 코세라의 Deep Learning Specialization 코스입니다! 파이썬과 텐서플로를 사용하는 이 커리큘럼은 총 다섯개의 코스로 이루어져 있습니다.

  1. Neural Networks and Deep Learning
  2. Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization
  3. Structuring Machine Learning Projects
  4. Convolutional Neural Networks
  5. Sequence Models

작년부터 시작한 코세라의 구독 모델이 적용되는 specialization으로 월 $49를 내고 빠른 속도(!)로 주파를 하면 Certificate를 받을 수 있습니다. 돈을 내지 않고 청강을 할 수도 있는데요. 각 코스의 링크로 직접 들어가서 Enroll을 하면 팝업 화면 아래 조그맣게 쓰인 Audit 링크를 누르시면 됩니다. 자세히는 아직 모르지만 전체 커리큘럼의 수준은 intermediate 정도로 보입니다.

deeplearningai

눈에 익은 책상과 모니터네요! 🙂

TensorRT, NNabla, deeplearning.ai, CMU AI and Naver

NVIDIA가 딥러닝 인퍼런스inference 전용 라이브러리인 TensorRT 2를 공개하였습니다. TensorRT 1에서 제공했던 카페Caffe와 텐서플로TensorFlow까지 지원을 확대했습니다. 곧 TensorRT 3 버전도 선보일 거라는 군요. TensorRT는 데비안 패키지로 제공되며 NVIDIA 개발자 계정이 있으면 다운받을 수 있습니다. 조금 더 자세한 내용은 릴리즈 노트를 참고하세요.

소니Sony(네 우리가 아는 소니가 맞습니다:)가 오픈소스 뉴럴 네트워크 라이브러리 NNabla를 공개했습니다. @.@ 여러 사람들이 당황하는 것을 보아서는 확실히 의외인 것 같습니다. NNabla는 파이토치PyTorch나 다이넷DyNet처럼 다이나믹 컴퓨테이션 그래프를 지원하며 준수한 API를 가지고 있다고 회자되고 있습니다. NNabla가 쟁쟁한  공룡들 사이에서 얼마나 자리를 잡을지 궁금합니다. 소스 코드는 깃허브에서 볼 수 있습니다.

앤드류 응Andrew Ng이 바이두 리서치를 떠나서 Drive.ai에 합류했다는 소식입니다. Drive.ai는 앤드류의 부인이 하고 있는 자율 주행 관련 회사입니다. 앤드류가 바이두를 떠났을 때 여러 사람들이 Drive.ai에 합류할 것이라는 예상을 했었죠. 앤드류는 이와는 별개로 새로운 프로젝트 deeplearning.ai 를 런칭한다고 공개했습니다. 8월에 본 모습을 드러내겠지만 ‘Explore the frontier of AI’, ‘Hope will help many of you’ 와 같은 문구를 봐서는 조금 공익적인 프로젝트가 아닐까 내심 기대해 봅니다.

애플에 합류한 러슬랜 살라쿠디노프Ruslan Salakhutdinov 교수가 있는 카네기 멜론 대학이 응집력있는 연구를 위해 CMU AI를 설립한다고 발표했습니다. 토론토 대학, 몬트리올 대학, 스탠포드 대학 등 연구소도 경쟁인 것 같습니다.

그리고 네이버가 제록스 유럽 연구소를 인수했다는 뉴스도 있습니다. 부디 그들만의 리그가 되지 않기를 바랄 뿐입니다.

MLYearning Draft

바이두의 앤드류 응(Andrew Ng) 교수가 쓰고 있는 Machine Learning Yearning 의 첫 드래프트(v0.5)가 공개되었습니다. 저자가 앞서 밝혔던 의도대로 수학식이 가득한 알고리즘 책이 아니고 머신 러닝 개발자에게 필요한 실천전략을 담고 있습니다. 전체는 대략 100여 페이지가 조금 넘을 듯 하고 약 55개 장으로 각 장마다 1~2 페이지 정도의 내용을 담고 있습니다. v0.5 드래프트에는 12개의 장이 포함되어 있습니다. 그리고 지금이라도 메일링 리스트에 가입하면 앞으로 업데이트될 때마다 책을 받아 볼 수 있습니다.

(업데이트) 14장까지 업데이트 된 합본입니다.

Crazy Baidu

월스트릿 저널에 바이두 앤드류 응(Andrew Ng)의 인터뷰 기사가 실렸습니다. 앤드류 응 박사가 구글을 떠나 바이두에 합류한지 2년 정도 밖에 되지 않았는데 구글, 페이스북에 뒤지지 않는 자신감을 가지는 것 같습니다. 그의 팀원이 800명이라 하며 중국내에서는 바이두에 견줄만한 회사는 없고 미국의 테크 공룡(아마도 구글이겠지요)들과 비교하자면 서로의 장점을 배워나가야 할 거라고 합니다. 이달 초 한 기사에서는 자율주행 자동차를 3년안에 상용화하고 2021년에는 대량 생산을 할 거라는 계획을 발표하기도 했습니다. 현재 바이두에 적용된 딥 러닝의 사례는 음식배달 서비스의 도착시간 예측이라고 합니다. 현재와 미래의 차이가 크네요.

인공지능 기술이 중국 정부에 의해 적절치 않게 사용되지 않겠냐는 의견에는 다소 회피하는 뉘앙스가 느껴집니다. 며칠전엔 AI 에이전트가 비행 시뮬레이션에서 파일럿을 이겼다는 기사를 트윗해서 조금 눈살이 찌푸려지기도 했습니다.

진격의 바이두, 유독 구글을 견제하는 엘론 머스크, 미묘한 경쟁 심리의 구글/페이스북 입니다.

Andrew Ng’s Book: Machine Learning Yearning

clzytu7wkaalj-a 바이두(Baidu)의 앤드류 응(Andrew Ng) 박사가 ICS HPC 컨퍼런스에 참석차 방문한 독일 프랑크푸르트에서 올 여름 새로운 책을 집필할 것이라고 알렸습니다. 책 이름은 ‘Machine Learning Yearning’ 입니다. 웹 사이트 mlyearning.org 에서 이메일을 등록하면 초안이 작성되는 대로 무료로 공유 받을 수 있습니다. 이메일을 등록한 후 확인 메일을 받아 메일링 리스트 가입을 확정하여야 합니다. 간혹 확인 메일이 안올 경우도 있으니 잠시 후에 다시 시도하면 됩니다.

아마도 출간되면 ‘Deep Learning Book’ 과 함께 꼭 읽어야 할 책 목록 중에 하나가 되지 않을까 생각됩니다. 가능하면 올해안에 만나볼 수 있기를 기대해 봅니다. 드래프트를 받으면 읽고 리뷰할 수 있도록 하겠습니다.

추가로 텐서플로우와 씨아노(Theano) 래퍼(Wrapper) 라이브러리 Keras의 개발자인 구글의 프랑소와 숄레(François Chollet)가 매닝(Manning) 출판사와 딥 러닝에 관한 책을 쓰기로 계약했다는 소식이 있습니다. 아마도 Keras와 텐서플로우를 이용한 예시가 많지 않을까 생각됩니다. 이 책은 빨라야 내년 초에나 볼 수 있을 것 같습니다.

(추가) 2일만에 35,000개 이상의 메일이 가입되었다고 합니다. 앤드류 응의 인기가 실감되네요. 24일까지 메일링 리스트 가입을 받는다고 하니 서루르세요.

Large Scale Deep Learning with TensorFlow by Jeff Dean

스파크 서밋 2016에서 제프 딘(Jeff Dean)이 발표한 키노트 ‘Large Scale Deep Learning with TensorFlow’ 동영상이 공개되었습니다. 슬라이드 자료는 여기에서 받으실 수 있습니다.

스파크 서밋 2016의 또 다른 키노트 발표자인 앤드류 응(Andrew Ng)의 ‘AI: The New Electricity’도 참고하세요.

때마침 edX에서 버클리 대학교의 스파크 시리즈 강좌가 시작되었네요. 특별히 Certificate를 받을 필요가 없다면 무료이며 모든 강좌에 똑같이 참여할 수 있습니다.

Ask Jeff Dean

Quora에는 ‘어떻게 하면 머신러닝 전문가가 될 수 있나요?’ 나 ‘데이터 과학자가 되려면 PhD가 필요한가요?’ 같은 질문들과 답변이 종종 올라오곤 합니다. 좀 오래됐지만 재미있는 질문과 답변이 있어 소개해 드립니다.

제프딘은 어떻게 그렇게 빨리 인프라와 시스템 엔지니어링에서 딥러닝 분야 전문가가 된건가요?

이 질문은 2014년 12월 경에 시작되었습니다. 사실 제프딘은 구글 빅데이터, 분산환경의 전문가로 잘 알려져 있습니다. 특히 맵리듀스, 빅테이블, 스패너 등을 만든 것으로 유명하죠. 그런데 언제부터인가 구글 머신러닝의 최고수가 되어 있으니 이런 질문이 나올법 합니다. 예상되는 답변이라면 제프딘은 원래 똑똑한 사람이라든가, 딥러닝이나 뉴럴 네트워크의 이론이 사실상 그리 어려운게 아니라던가 등이 있을 것 같습니다. 어쨋든 제프딘이 딥러닝에 대해 아는 척 하는 수준은 분명히 아닙니다. 그는 구글 브레인 팀의 리더이며 구글 IO 2016의 머신러닝 세션의 패널로 참석했었고 딥마인드의 알파고와 이세돌 바둑 대국 때 한국에 왔었습니다. 또 텐서플로우 페이퍼의 주요 저자임은 물론이고 스탠포드 CS231n 강의의 마지막 시간에 초청되어 강의와 질의 응답을 하는 것으로 보아 충분히 짐작할 수 있습니다.

그런데 2015년 3월에 재미있는 답변이 올라왔습니다. 펜실베니아주 스와스모어 대학의 한 학생이 직접 제프딘에게 물어보았다고 합니다.

ask-jeffdean

“저는 이 분야가 잠재력이 많고 흥미로운 분야라고 생각했습니다. 뉴럴 네트워크게 대해 많이 알지 못했지만 분산환경에 대해서는 잘 알고 있었죠. 그래서 주방이던 어디던 사람(전문가)들에게 다가가 그들과 대화를 했습니다. 전문가들과 대화하고 함께 일하면 여러가지 어려운 문제도 해결할 수 있고 정말 빠르게 배울 수 있을 겁니다.”

제프딘의 솔직하고 명료한 대답이네요. 제프딘이 앤드류 응(Andrew Ng) 스탠포드 교수와 함께 구글 브레인 팀을 만든 것은 2011년 경으로 그 즈음부터 본격적으로 딥러닝 분야에 대한 지식을 쌓지 않았을까 합니다.

그럼 싸리문 밖에서 고개만 내밀고 있는 제가 들어갈 수 있는 부엌은 어디에 있는 걸까요? 🙂