카테고리 보관물: News

Intel Nervana Neural Network Processors(NNP)

intel-nervana-chip-2-showcase

인텔에서 인수한 너바나Nervana와 함께 새로운 딥러닝 칩을 연말에 공개한다고 발표하였습니다. 일명 너바나 뉴럴 네트워크 프로세서(NNP)입니다. 이 칩은 온전히 딥러닝을 위하여 고안되었으며 아직 어떤식으로 공개될지는 미지수입니다. 하지만 글의 마지막 코멘트로 미루어 보아 페이스북과 함께 협업을 하고 있는 것으로 보입니다. 그렇다면 파이토치PyTorch나 카페2Caffe2에서 이 칩을 지원하지 않을까 생각이 듭니다. 적절한 가격으로 좋은 성능을 낸다면 텐서플로에서 지원할지가 큰 화두가 될 것 같습니다.

TensorFlow 1.4.0 RC0 Release

텐서플로 1.4.0 RC0 버전이 릴리즈되었습니다. 1.4.0 버전에서 tf.contrib.data가 tf.data로 바뀌면서 텐서플로 코어로 들어왔습니다. 좀 자세한 내용은 릴리즈 노트를 참고해 주세요.

$ pip install --upgrade --pre tensorflow

$ pip install --upgrade --pre tensorflow-gpu

또 이제부터는 nightly 빌드가 PyPI로 제공됩니다! 깃허브 소스를 직접 컴파일하지 않아도 최신 패치의 텐서플로를 사용해 볼 수 있습니다.

$ pip install --upgrade tf-nightly 
$ pip install --upgrade tf-nightly-gpu

Theano 1.0 and No More

몬트리올 대학 밀라MILA 연구소의 요수아 벤지오Yoshua Bengio 교수가 씨아노Theano 구글 유저 그룹에 씨아노 1.0이 몇 주내로 릴리즈된 다는 것과 그 이후에 더 이상 개발이 지속되지 않는다는 내용을 공개하였습니다. 뉴럴 네트워크와 딥러닝의 온라인 강좌로 유명한 neuralnetworksanddeeplearning.com은 씨아노 라이브러리로 예제가 만들어져 있는데 씨아노의 래퍼인 Lasagne와 함께 한 풀 인기가 줄어들 것 같습니다.

구글, 페이스북이 서포팅하는 텐서플로TensorFlow나 파이토치PyTorch 같은 프레임워크와 경쟁한다는 것은 쉽지 않은 일입니다. 그렇지만 씨아노의 개발 중단은 아쉬워할 수 밖에 없습니다. 하지만 씨아노가 딥러닝과 연구 커뮤니티에 미친 영향은 오랫동안 기억될 것 같습니다.

Thanks Theano!

(업데이트) 역시 Lasagne도 씨아노와 함께 역사속에 남을 것 같습니다. Lasagne의 백엔드를 다른 씨아노말고 다른 것으로 대체할 수도 있겠지마 다른 라이브러리들은 이미 고수준 API를 갖추고 있고 기존의 Lasagne의 API도 일관성을 유지하기 힘들 거라고 하네요. Lasagne의 개발자 Jan Schlüter가 구글 그룹에 남긴 포스트를 참고하세요.

홍대 머신러닝 스터디 후기

파이썬 라이브러리를 활용한 머신러닝” 도서를 출간하고 나서 진작부터 생각하고 있던 머신러닝 스터디를 7월말 부터 시작했습니다. 상대적으로 강남 인근에는 스터디 그룹이나 모임이 활성화되어 있지만 홍대나 신촌 근처에는 많지 않다는 생각도 들었습니다. 예상외로 많은 분들이 관심을 보여 주셨고 첫 모임부터 성공적(!)이었다고 자평하고 있습니다. 🙂

이 모임은 번역서의 내용을 프리젠테이션으로 만들어 설명하고 자유스럽게 질문, 대답을 하는 형식을 가집니다. 전문 강사가 아니다 보니 어눌함이 많을텐데도 격려해 주시는 덕분에 아직까지 무사히 진행되고 있습니다.

스터디를 진행하다 보니 이런 저런 우여곡절도 많은 것 같습니다.  1회부터 4회까지는 홍대역 2번 출구 근처에 있는 토즈에서 진행했었습니다. 원래 주 활동 범위가 홍대 근처였는데 갑자기 직장을 삼성역 근처로 다니게 되었습니다. 그래서 4회 모임 부터는 삼성역에서 6시반 퇴근과 함께 지하철을 타고 간신히 모임에 참석하고 있습니다(다이어트가 절로 되는 듯 합니다). 보통 20명 이상 늘 참석하고 있습니다. 토즈에서 가장 큰 부스는 26명까지 수용이 가능한데 매번 no-show가 있는 바람에 다른 분이 도와 주시기도 하고 사비를 좀 대기도 했습니다. ㅎㅎ

그런데 다행히(!) 한빛미디어 출판사가 홍대역 인근으로 사옥을 이전하면서 스터디 그룹을 위한 강의장을 무료로 대여해 주시기로 했습니다. 지난 5회 모임에서 처음 방문한 한빛미디어 강의장은 정말 좋았습니다. 완벽에 가까운 마이크 음향, 깨끗한 책상, 고급 의자, 정수기, 화장실, 잘 마감된 강의장 실내, 뭐하나 흠잡을 데가 없었구요. 또 일부러 강의 시간에 맞추어 기다려 주시고 안내까지 해주셨습니다. 제 맥북이 강의장에 있는 HDMI 연결선을 잘 인식하지 못하자 뛰어가서(!) HDMI-썬더볼트 어댑터를 가져오신 송경석 팀장님의 민첩함에 한번 더 놀랬습니다. 🙂

강의장도 좁고 작지만 비용이 드는 토즈에서 보다 깨끗하고 무료로 맘 편히 사용할 수 있는 공간을 얻게되어 저는 물론 모임에 참여하시는 분들 모두 기뻐했습니다. 책을 읽고, 글을 옮기고, 이해한 것을 나누는 이 선순환이 오랫동안 지속되었으면 좋겠습니다. 다음 모임에는 파이썬 라이브러리를 활용한 머신러닝의 마지막 시간입니다. 이 책을 마치면 누군가 한 번 혹은 두 번쯤 새로운 주제에 대해 발표해 주시기를 기다리고 있습니다. 하지만 여의치 않으면 이전 강의를 재탕해 보려고 합니다. ㅎㅎ

오랜만에 직장을 다니니 몸과 마음(!)이 피곤하네요. 하지만 꿋꿋이 잘 버티고 있는 것은 지금 번역하고 있는 ‘Hands-On Machine Learning with Scikit-Learn and TensorFlow‘을 잘 마무리하고 이 선순환에 포함시키고 싶기 때문입니다.

이런 작은 모임이 여기 저기 우후죽순처럼 많이 생겼으면 좋겠습니다. 최근에는 좋은 책들과 블로그들이 많이 생기고 있습니다. 실로 놀랄만한 글과 자료들이 넘쳐납니다. 뜻이 맞는 몇 명만 모인다면 서로에게 배울 수 있는 크기는 몇 백명이 참석하는 컨퍼런스에 뒤지지 않는다고 생각합니다. 시작이 반입니다. 화이팅! 🙂

이 글은 한빛미디어의 ‘책 읽는 프로그래머’ 이벤트를 위한 후기입니다.

홍대 머신러닝 스터디의 자료는 슬라이드쉐어에 공개되어 있습니다. 1장2장3장4장5장

TensorFlow 1.3.0 Release

텐서플로 1.3.0 버전이 릴리즈되었습니다. 1.3.0 버전에 대한 자세한 내용은 릴리즈 노트를 참고해 주세요. 1.4.0 버전부터는 cuDNN 7를 사용해 패키징될 예정입니다. 텐서플로 1.3.0 버전은 이미 PyPI에 등록되어 있어 pip 명령으로 간단하게 설치할 수 있습니다.(tensorflow-gpu에는 macOS 버전이 없습니다)

$ pip install --upgrade tensorflow

$ pip install --upgrade tensorflow-gpu

scikit-learn 0.19 Release

파이썬의 대표적인 머신 러닝 라이브러리인 scikit-learn 0.19 버전이 릴리즈 되었습니다. 0.19 버전에는 여러가지 새로운 기능과 버그 수정들이 포함되었습니다. 대표적으로는 이상치 탐지를 위한 sklearn.neighbors.LocalOutlierFactor, 분위 값을 사용하는 sklearn.preprocessing.QuantileTransformer, 이진 분류기를 엮어 앙상블 시킬 수 있는 sklearn.multioutput.ClassifierChain,  교차 검증에서 훈련 세트와 테스트 세트의 점수를 모두 리턴해 주는 sklearn.model_selection.cross_validate가 추가되었습니다.

sklearn.decomposition.NMF의 solver 매개변수에 ‘mu'(Multiplicative Update)가 추가 되었고 sklearn.linear_model.LogisticRegression에 L1 규제를 사용한 SAGA 알고리즘의 구현인 ‘saga’ 옵션이 solver 매개변수에 추가되었습니다. 또 cross_val_score와 GridSearchCV, RandomizedSearchCV의 scoring 매개변수에 복수개의 스코어 함수를 지정할 수 있게 되었고 Pipeline 클래스에 memory 매개변수가 추가되어 그리드 서치 안에서 반복적으로 수행될 때 전처리 작업을 캐싱할 수 있게 되었습니다. 이 외에도 많은 버그가 수정되고 기능이 향상되었습니다. 자세한 내용은 릴리즈 노트를 참고하세요.

scikit-learn 0.19 버전은 pip 나 conda 를 이용하여 손쉽게 설치가 가능합니다.

$ conda install scikit-learn

$ pip install --upgrade scikit-learn

PyTorch 0.2.0 Release

파이토치PyTorch 0.2.0 버전이 드디어 릴리즈 되었습니다. 3개월이 넘게 걸렸지만 ICML 2017에 때를 맞추었네요.^^ 넘파이NumPy 스타일의 브로드캐스팅broadcasting, 분산처리, 강화된 배열 인덱싱, 2계 도함수 그래디언트second order gradient 등 많은 기능이 포함되었습니다. 추가된 기능에 대한 자세한 설명은 릴리즈 노트를 참고하세요. conda를 사용하면 비교적 편리하게 파이토치를 설치할 수 있습니다.

# Linux CUDA 7.5, macOS for Python 2.7/3.5/3.6
$ conda install pytorch torchvision -c soumith
# Linux CUDA 8.0
$ conda install pytorch torchvision cuda80 -c soumith

TensorFlow 1.3.0 RC2 Release

텐서플로 1.3.0 RC2 버전이 릴리즈되었습니다. 1.3.0 버전에 대한 자세한 내용은 릴리즈 노트를 참고해 주세요. 1.3.0 정식 릴리즈가 가까워진 것 같습니다. RC2 버전은 PyPI에 등록되어 있어 pip 명령에서 --pre 옵션으로 간단하게 설치할 수 있습니다.(tensorflow-gpu에는 macOS 버전이 없습니다)

$ pip install --upgrade --pre tensorflow

$ pip install --upgrade --pre tensorflow-gpu

TensorFlow 1.3.0 RC0 Release

텐서플로 1.3 RC0 버전이 릴리즈되었습니다. 많은 기능이 추가되고 개선되었습니다. 자세한 내용은 릴리즈 노트를 참고해 주세요. 텐서플로 RC 버전은 pip 명령에서 --pre 옵션으로 설치할 수 있습니다.

$ pip install --upgrade --pre tensorflow

$ pip install --upgrade --pre tensorflow-gpu

얼마전부터 아나콘다에도 텐서플로 패키지가 포함되었습니다. 아직 최신 버전은 아니지만 간격이 점차 좁아질 거라고 기대해 봅니다.

$ conda search tensorflow
Fetching package metadata .........
tensorflow    1.1.0    np112py36_0    defaults
              1.1.0    np112py27_0    defaults
              1.1.0    np112py35_0    defaults
$ conda search tensorflow-gpu
Fetching package metadata .........
tensorflow-gpu    1.1.0    np112py36_0    defaults
                  1.1.0    np112py27_0    defaults
                  1.1.0    np112py35_0    defaults
$ conda install tensorflow

홍대 머신러닝 스터디 모집합니다. ^^

홍대 근처에 머신러닝에 관심있는 사람들과 함께 공부할 수 있는 자그마한 스터디 모임을 만들려고 합니다. 이 모임의 첫 목표는 “파이썬 라이브러리를 활용한 머신러닝” 도서를 완주하는 것으로 삼았습니다. 참여에는 아무런 조건도 필요치 않습니다. 자세한 내용은 밋업 이벤트를 참고해 주세요. 🙂

Hongdae Machine Learning Study

Seoul, KR
5 Members

홍대 근처에서 머신러닝을 공부하는 모든 분들을 환영합니다. 이 스터디 그룹에서는 “파이썬 라이브러리를 활용한 머신러닝”(한빛미디어, 2017)을 완주하기 위해 자료를 준비하고 있습니다. 함께 공부하고 이야기를 나누고 싶은 모든 분들에게 열려 있습니다.자격 조건: 남녀노소 또는 LGBT, 한국어 능통. 지켜야할 …

Next Meetup

“파이썬 라이브러리를 활용한 머신러닝”의 1장 소개, 2장 지도 학습

Tuesday, Jul 25, 2017, 7:00 PM
1 Attending

Check out this Meetup Group →