카테고리 보관물: Machine Learning

ESL 2nd ed. 12th-print PDF and more

coverii_small머신 러닝 분야의 고전 중 하나인 Elements of Statistical Learning 2판의 12쇄본 PDF가 업로드되었습니다. 분량이 꽤되서 온라인으로 모두 읽기는 조금 힘들어도 드롭박스 같은데 담아두고 필요할 때 부분적으로 참고하기에 좋습니다. 2판의 에러타는 여기에 있으며 12판 이전의 PDF는 여기에서 확인할 수 있습니다.

ESL보다 조금 부담이 덜한 입문서격인 Introduction to Statistical Learning의 6쇄도 온라인에서 PDF에러타를 확인할 수 있습니다.

트레버 헤스티Trevor Hastie와 로버트 팁쉬라니Robert Tibshirani 두 교수가 만든 책 중 작년말에 출간된 Statistical Learning with Sparsity도 온라인에 PDF가 공개되어 있습니다.

Reliable ML in the Wild – NIPS 2016 Workshop

NIPS 2016 워크샵에서 관심을 많이 받았던 것 중에 하나인 ‘Reliable Machine Learning in the Wild‘의 동영상이 워크샵 스케줄 페이지에 링크되었습니다. 비디오가 공개된 것만 추려보았습니다. 비디오는 wmv 파일로 스트링이 아니고 다운로드입니다. 전체 동영상을 한꺼번에 받으시려면 여기에서 전체 목록을 쉽게 확인할 수 있습니다. 동영상외에 전체 자료는 워크샵 스케줄 페이지를 확인하세요.

8:40Opening Remarks (video)

Session 1: New Challenges in Machine Learning

9:00 – Invited talk: Rules for Reliable Machine Learning. Martin Zinkevich (video)

9:30 – Contributed talk: What’s your ML Test Score? A rubric for ML production systems. Eric Breck, Shanqing Cai, Eric Nielsen, Michael Salib, D. Sculley (slides) (video)

9:45 – Poster spotlights (video)

Session 2: Robustness to Model Mis-specification

10:30 – Invited talk: Robust Learning and Inference. Yishay Mansour (video)

11:00 – Invited talk: Automated versus do-it-yourself methods for causal inference: Lessons learned from a data analysis competition. Jennifer Hill (video)

11:30 – Contributed talk: Robust Covariate Shift Classification Using Multiple Feature Views. Anqi Liu, Hong Wang Brian D. Ziebart (video)

11:45 – Poster spotlights (video)

Session 3: Machine Learning and Security

1:30 – Contributed talk: Learning from Untrusted DataMoses Charikar, Jacob Steinhardt, Gregory Valiant (slides) (video)

1:45 – Invited talk: Adversarial Examples and Adversarial Training. Ian Goodfellow (video)

2:15 – Contributed talk: Summoning Demons: The Pursuit of Exploitable Bugs in Machine Learning. Rock Stevens, Octavian Suciu, Andrew Ruef, Sanghyun Hong, Michael Hicks, Tudor Dumitras (slides) (video)

2:30 – Poster spotlights (video)

Session 4: Reliable Robotics in Complex Environments

3:30 – Invited talk: Learning Reliable Objectives. Anca Dragan (video)

Session 5: Reliable Machine Learning in Practice

4:30 – Contributed talk: Online Prediction with Selfish Experts. Okke Schrijvers (video)

4:45 – Contributed talk: TensorFlow Debugger: Debugging Dataflow Graphs for Machine Learning. Shanqing Cai, Eric Breck, Eric Nielsen, Michael Salib, D. Sculley (slides) (video)

Discuss in Arxiv-Sanity

arxiv-sanity

OpenAI의 안드레이 카패시(Andrej Karpathy)가 운영하는 ML 페이퍼 아카이빙 사이트인 Arxiv Sanity Preserver에 댓글 기능이 추가되었습니다. 보통 페이퍼와 관련된 이야기들은 레딧이나 해커뉴스 게시판에서 많이 올라왔습니다. 분위기가 arxiv-sanity 쪽으로 잘 옮겨올지 궁금하네요. 개인적으로는 레딧보다 좀 더 정갈한 댓글을 기대해 봅니다. 🙂

Foundations of ML Workshop

연초에 포스팅했던 머신러닝 부트캠프 워크샵의 동영상이 공개되었습니다. 각 강의 동영상은 머신러닝 부트캠프 스케줄 페이지에 모두 연결되어 있습니다. 이 중에서 눈에 띄이는 것은 애플에 합류한 카네기 멜론 대학의 러슬랜 살라쿠디노프(Ruslan Salakhutdinov)의 딥러닝 튜토리얼 4편과 같은 대학의 엠마 브런스킬(Emma Brunskill)의 강화학습 튜토리얼 2편인 것 같습니다. 이 워크샵은 5월까지 총 4개의 시리즈로 진행됩니다. 1월에는 머신러닝 부트캠프였고 그 다음은 Interactive Learning, Representation Learning, Computational Challenges in Machine Learning 로 이어집니다. 자세한 내용은 워크샵 안내 페이지를 참고하세요.

러슬랜의 슬라이드는 아래 링크에서 다운받을 수 있습니다.

Quora Dataset: Question Pairs

quora-question-pairs

질문, 대답 사이트로 유명한 쿠오라(Quora)에서 머신러닝 데이터셋을 공개하였습니다. 이 데이터는 위 이미지에서 볼 수 있듯이 두개의 질문이 같은 질문인지 아닌지를 구분하는 과제입니다. is_duplicate 에 1이면 두 질문은 동일한 것입니다. 왼쪽 열에는 두질문 묶음에 대한 id 와 각 질문별 아이디 qid 가 있습니다. 쿠오라는 사람들이 동일한 질문을 많이 생성하여 정보가 단편화되는 것을 막기 위해 이 문제가 아주 중요하다고 생각합니다. 쿠오라는 동일한 질문을 구분할 수 있는 효과적인 접근 방법을 찾기를 원하고 있습니다. 질문 묶음이 40만개가 넘으며 이 중에서 중복된 질문 묶음은 대략 15만개, 서로 다른 질문은 25만개 정도입니다. 이 파일의 사이즈는 58메가 정도이며 다운로드는 여기에서 받을 수 있습니다.

ML Boot Camp, CS229T Lecture Note, Berkeley ML Blog

버클리 대학의 Simons Institute for the Theory of Computing 연구소에서 1월 23일 부터 27일 까지 머신러닝 부트 캠프를 진행합니다. 카네기 멜론 대학의 러슬랜 살라쿠디노프(Ruslan Salakhutdinov)를 비롯하여 머신러닝과 딥러닝 분야의 많은 연구자들이 강사로 참여합니다. 반가운 것은 이 부트 캠프의 슬라이드와 동영상이 행사가 종료되고 1 주일 남짓 후에 공개될 예정이라는 것입니다. 자세한 스케줄은 이곳을 참고하세요.

덧붙여 스탠포드 대학의 CS229T(Statistical Learning Theory) 2016 겨울 클래스의 강의 노트와 버클리 ML 블로그의 머신러닝 Crash Course #1, #2 도 최근에 나온 좋은 자료인 것 같습니다.

(업데이트) 버클리 ML 블로그 Crash Course #3 이 나왔습니다.

Python DS Handbook & ML with TF Repo.

얼마전 소개했던 ‘Python Data Science Handbook‘의 저자 제이크 반더플라스(Jake VanderPlas)가 깃허브에 코드와 텍스트를 포함한 책 전체를 주피터 노트북 형태로 공개하였습니다. 소스는 MIT, 텍스트는 CC BY-NC-ND 3.0 라이센스를 가지고 있습니다.

  1. IPython: Beyond Normal Python
  2. Introduction to NumPy
  3. Data Manipulation with Pandas
  4. Visualization with Matplotlib
  5. Machine Learning

title그리고 매닝(Manning) 출판사에서 MEAP 으로 나온 ‘Machine Learning with TensorFlow‘ 의 예제 소스 코드가 모두 깃허브에 MIT 라이센스로 공개되었습니다. 이 책은 아직 7장까지 밖에 쓰여지지 않았으니 글보다 코드가 먼저 나온 셈입니다.

 

  1. TensorFlow Basics
  2. Regression
  3. Classification
  4. Clustering
  5. Hidden markov models
  6. Autoencoders
  7. Reinforcement learning
  8. Convolutional Neural Networks
  9. Recurrent Neural Network

MLYearning Draft

바이두의 앤드류 응(Andrew Ng) 교수가 쓰고 있는 Machine Learning Yearning 의 첫 드래프트(v0.5)가 공개되었습니다. 저자가 앞서 밝혔던 의도대로 수학식이 가득한 알고리즘 책이 아니고 머신 러닝 개발자에게 필요한 실천전략을 담고 있습니다. 전체는 대략 100여 페이지가 조금 넘을 듯 하고 약 55개 장으로 각 장마다 1~2 페이지 정도의 내용을 담고 있습니다. v0.5 드래프트에는 12개의 장이 포함되어 있습니다. 그리고 지금이라도 메일링 리스트에 가입하면 앞으로 업데이트될 때마다 책을 받아 볼 수 있습니다.

(업데이트) 14장까지 업데이트 된 합본입니다.

scikit-learn v0.18.1 Release

사이킷런 0.18 버전의 버그와 개선사항을 포함한 0.18.1 버전이 릴리즈 되었습니다. 사이킷런을 사용하는 모든 사람들에게 이 업데이트가 권장됩니다. 자세한 버그와 개선사항은 여기를 참고해 주세요. 아나콘다에서는 아래 명령으로 간단히 업데이트할 수 있습니다.

$ conda update scikit-learn

DL is Out of Control

내년 4월에 열리는 ICLR 컨퍼런스 리뷰를 위해 오픈 리뷰 사이트에 등록된 페이퍼가 500개가 훌쩍 넘었습니다. 종전에는 리뷰 대상 페이퍼가 많아야 백여건 정도라고 알고 있는데요. 500이 넘는 숫자는 정말로 압도적인 것 같습니다. 이 중에서 관심있는 분야의 것을 골라내는 것만 해도 일이 될 것 같으네요.

이는 비단 우리만의 문제는 아닌 것 같습니다. 많은 연구자들이 급속도로 발전하고 있는 딥 러닝 분야의 속도로 인한 고충을 토로하고 있습니다. 아마 어느 누구도 500 건이 넘는 페이퍼를 모두 읽지는 못할 것 같습니다. 선택과 집중 그리고 지식의 공유가 더욱 절실해지고 있습니다.