태그 보관물: CS231n

DL for CV & Tiny ML 강의

흥미로운 두 개의 강의를 소개해 드립니다.

스탠포드에서 cs231n Convolutional Neural Networks for Visual Recognition을 진행했던 Justin Johnson이 미시간 대학교로 옮겼군요. 미시간 대학에서 진행하는 강의는 Deep Learning for Computer Vision입니다. 지난해 가을 강의가 유투브에 모두 올라왔습니다. 최신 기술들도 많이 추가했다고 하니 이전에 cs231n을 들었더라도 리프레시하는 겸 들어보면 좋을 것 같네요. 삽엽충으로 시작하는 페이페이 리 교수의 슬라이드보다 시작부분이 좋습니다. 딥러닝 역사를 두 개의 타임라인으로 나란히 놓고 설명하는게 좋네요.

edx.org에서 HarvardX와 함께 Tiny ML 과정을 가을에 연다고 합니다(https://programs.edx.org/harvard-tiny-ml). 올 가을에 개강한다고 하니 관심이 있다면 메일링 리스트에 등록하는 것도 좋습니다. 임베디드 장치를 위한 머신러닝 강좌로 직접 아두이노를 활용하여 강의를 진행할 것으로 보입니다. 아마도 텐서플로 Lite를 사용하리라 생각됩니다! 🙂

CS231n new lectures(Spring 2017)!

가장 인기 높은 인공지능 관련 강의 중 하나인 스탠포드 대학의 CS231n(Convolutional Neural Networks for Visual Recognition)이 드디어 온라인으로 공개되었습니다! 스탠포드 대학 내에서도 아주 인기있는 강좌이고 온라인 수강권의 비용도 아주 비쌌기 때문에 공개가 되지 않을까 걱정하기도 했었습니다. 작년에 비해 강화학습이나 생성 모델 등이 추가되었습니다. 이 강의의 슬라이드와 강의 노트는 여기에서 볼 수 있습니다.

cs231n_2017

전문가의 손길이 느껴지는 영상입니다. : )

해커가 알려주는 뉴럴 네트워크

이 글은 스탠포드 대학의 Ph.D 학생이었고 현재 OpenAI 연구원인 안드레이 카패시(Andrej Karpathy)가 블로그에 쓴 ‘Hacker’s guide to Neural Networks‘를 저자의 동의하에 번역한 것입니다. 글 서두에 저자가 밝혔듯이 원래 이 글은 좀 더 길게 연재될 예정이었지만 스탠포드 대학의 CS231n 강의를 진행하면서 두개의 챕터만 쓰여진 채 중단된 상태입니다.

이 글은 최대한 이론을 배제하고 머신러닝과 뉴럴 네트워크를 처음 접하는 사람들을 위해 직관적 이해를 돕기 위해 쓰여졌습니다. 그래서인지 단 두 챕터만으로도 많은 사람들에게 크게 환영받고 있는 것 같습니다. 언제 다시 글이 이어질지는 모르겠습니다만 혹시라도 내용이 추가된다면 업데이트 하도록 하겠습니다.

조금 더 전문적이고 폭 넓은 내용을 담고 있는 것은 저자가 추천하는 CS231n 강의 노트입니다. 이 강의 노트의 번역은 AIKorea 블로그에서 읽을 수 있습니다.

아래 글에 포함된 코드의 파이썬 버전은 여기에 있습니다.

해커가 알려주는 뉴럴 네트워크

1장: 실수치 회로

기본적인 구조: 하나의 게이트로 된 회로

중첩된 구조: 여러개의 게이트로 된 회로

예제: 단일 뉴런

역전파 고수되기

2장: 머신 러닝

이진 분류

전통적인 방법: 손실 함수

Ask Jeff Dean

Quora에는 ‘어떻게 하면 머신러닝 전문가가 될 수 있나요?’ 나 ‘데이터 과학자가 되려면 PhD가 필요한가요?’ 같은 질문들과 답변이 종종 올라오곤 합니다. 좀 오래됐지만 재미있는 질문과 답변이 있어 소개해 드립니다.

제프딘은 어떻게 그렇게 빨리 인프라와 시스템 엔지니어링에서 딥러닝 분야 전문가가 된건가요?

이 질문은 2014년 12월 경에 시작되었습니다. 사실 제프딘은 구글 빅데이터, 분산환경의 전문가로 잘 알려져 있습니다. 특히 맵리듀스, 빅테이블, 스패너 등을 만든 것으로 유명하죠. 그런데 언제부터인가 구글 머신러닝의 최고수가 되어 있으니 이런 질문이 나올법 합니다. 예상되는 답변이라면 제프딘은 원래 똑똑한 사람이라든가, 딥러닝이나 뉴럴 네트워크의 이론이 사실상 그리 어려운게 아니라던가 등이 있을 것 같습니다. 어쨋든 제프딘이 딥러닝에 대해 아는 척 하는 수준은 분명히 아닙니다. 그는 구글 브레인 팀의 리더이며 구글 IO 2016의 머신러닝 세션의 패널로 참석했었고 딥마인드의 알파고와 이세돌 바둑 대국 때 한국에 왔었습니다. 또 텐서플로우 페이퍼의 주요 저자임은 물론이고 스탠포드 CS231n 강의의 마지막 시간에 초청되어 강의와 질의 응답을 하는 것으로 보아 충분히 짐작할 수 있습니다.

그런데 2015년 3월에 재미있는 답변이 올라왔습니다. 펜실베니아주 스와스모어 대학의 한 학생이 직접 제프딘에게 물어보았다고 합니다.

ask-jeffdean

“저는 이 분야가 잠재력이 많고 흥미로운 분야라고 생각했습니다. 뉴럴 네트워크게 대해 많이 알지 못했지만 분산환경에 대해서는 잘 알고 있었죠. 그래서 주방이던 어디던 사람(전문가)들에게 다가가 그들과 대화를 했습니다. 전문가들과 대화하고 함께 일하면 여러가지 어려운 문제도 해결할 수 있고 정말 빠르게 배울 수 있을 겁니다.”

제프딘의 솔직하고 명료한 대답이네요. 제프딘이 앤드류 응(Andrew Ng) 스탠포드 교수와 함께 구글 브레인 팀을 만든 것은 2011년 경으로 그 즈음부터 본격적으로 딥러닝 분야에 대한 지식을 쌓지 않았을까 합니다.

그럼 싸리문 밖에서 고개만 내밀고 있는 제가 들어갈 수 있는 부엌은 어디에 있는 걸까요? 🙂

Stanford CS231n 강좌가 닫혔습니다.

스탠포드 비전랩의 강좌 중에서 가장 인기있는 CS231n ‘Convolutional Neural Networks for Visual Recognition’은 그동안 강의 내용을 그대로 녹화해 무료로 온라인으로 제공하고 있었습니다. 가장 최근의 코스는 2015~2016년 Winter 시즌입니다. 그런데 안타깝께도 몇몇 법적인 이슈로 인해 오늘 부터 강의 제공이 중지된다고 비전랩의 Andrej Karpathy가 트위터를 이용해 알렸습니다. 저도 아직 다 듣지 못하고 차일피일 미루고 있었는데요. 여러 사람들이 난감함을 표시하고 있습니다.

그러나 다행히 아직 archive.org 에 저장된 자료가 있습니다. 이 내용이 언제까지 제공될지는 아직 아무도 알 수 없습니다. 해당 디렉토리에는 토렌트파일도 제공되고 있습니다.

https://archive.org/download/cs231n-CNNs

https://archive.org/download/cs231n-CNNs/cs231n-CNNs_archive.torrent

코스의 과제물과 부속 참고 자료는 이 내용에 영향을 받지 않으므로 아래 주소에서 받으실 수 있습니다.

http://cs231n.github.io/

문제가 되는 법적 부분 중 주요한 하나는 강의 동영상에 들어간 자막이 미국의 장애인 평등을 위한 법률에 위배될 수 있기 때문이라고 합니다.

(추가) 강좌에 대한 영어와 한글 자막은 aikorea 깃허브에서 다운받으실 수 있습니다.(안타깝지만 7강과 9강의 자막은 없습니다.) 이 자막의 번역은 완벽하지 않으므로 참고하세요.

(업데이트) 버클리 대학의 온라인 강좌도 내려간다는 공지가 떳습니다. 법을 글자 그대로 해석하려는 사람들은 어디에나 있는 것 같군요.

(업데이트) 유튜브에 CS231n 강좌를 다시 누군가 올린 것 같습니다. 7장과 9장의 자막을 받아 놓으면 좋을 것 같습니다.