카테고리 보관물: News

텐서플로 2.9 버전이 릴리스되었습니다.

며칠 전 텐서플로 2.9버전이 릴리스되었습니다. 주요 변경 사항을 텐서플로 블로그에 소개했습니다. 요약하면 다음과 같습니다.

  • 텐서플로 2.5버전에서 실험적으로 포함되었던 인텔 oneDNN 라이브러리에 대한 최적화가 2.9버전에서 기본적으로 활성화됩니다(리눅스 패키지와 캐스케이드 레이크 이후의 CPU).
  • 모델 병렬화를 위한 DTensor API가 추가되었습니다. 자세한 내용은 DTensor Concepts, Distributed ML with DTensors, Using DTensors with Keras 문서를 참고하세요.
  • tf.function의 트레이싱 방식을 개선했습니다.
  • 텐서플로 2.8 버전에서 소개된 tf.config.experimental.enable_op_determinism()의 기능을 개선하여 실행마다 동일한 결과를 얻을 수 있습니다.
  • 옵티마이저 커스터마이징을 용이하게 하기 위해 tf.keras.optimizers.experimental API가 추가되었습니다. 향후 tf.keras.optimizers.experimentaltf.keras.optimizers.Optimizer를 대체합니다.

이 외에도 다양한 기능이 추가되고 변경되었습니다. Revisiting ResNets 모델인 tf.keras.applications.resnet_rs, L2 정규화 층인 tf.keras.layers.UnitNormalization, 새로운 규제 층인 tf.keras.regularizers.OrthogonalRegularizer, 새로운 이미지 전처리 층인 tf.keras.layers.RandomBrightness가 추가되었습니다. 더 자세한 내용은 텐서플로 릴리스 노트를 참고하세요!

<혼자 공부하는 머신러닝+딥러닝> 7장부터 시작하는 딥러닝 파트의 코드를 텐서플로 2.9 버전에서 모두 테스트하여 깃허브에 업데이트했습니다!

항상 최신 버전의 라이브러리에서 테스트하여 예제 코드에 문제가 없도록 하겠습니다! 감사합니다!

[파이썬 라이브러리를 활용한 머신러닝] 독자 리뷰를 소개합니다!

현업 데이터 분석가이신 송진영 님이 <파이썬 라이브러리를 활용한 머신러닝(번역개정2판)>을 읽고 블로그에 쓰신 리뷰를 소개해 드립니다.

https://ugong2san.tistory.com/4115

책 리뷰는 물론 중요한 문단을 요약해 놓아서 한 눈에 전체 책을 둘러보는데 도움이 되실거에요! 좋은 리뷰 정말 감사합니다!

[혼자 공부하는 머신러닝+딥러닝] 사이킷런 1.1.0 버전 업데이트 안내

<혼자 공부하는 머신러닝+딥러닝>의 주피터 노트북 코드를 사이킷런 1.1.0 버전에 맞추어 모두 테스트했습니다.

사이킷런 1.1.0 버전에서 SGDClassifier의 loss 매개변수 중 로지스틱 손실을 의미하는 'log'가 'log_loss'로 바뀐다는 경고가 발생합니다. 사이킷런 1.1.0 버전 이상을 사용하는 경우 경고를 피하기 위해 다음과 같이 변경해 주세요.

  • (p208) 두 번째 손코딩, (p210) 첫 번째 손코딩, (p211) 두 번째 손코딩에서 loss='log'를 loss='log_loss'로 바꿉니다.
  • (p214) 위에서 11번째 줄과 20번째 줄, (p215) 5번째 줄에서 loss='log'를 loss='log_loss'로 바꿉니다.
  • (p345) 세 번째 손코딩, (p362) 위에서 15번째 줄에서 loss='log'를 loss='log_loss'로 바꿉니다.

감사합니다!

scikit-learn with GPU!

사이킷런 알고리즘은 대부분 파이썬 또는 Cython으로 작성되어 있습니다. 그래서 큰 의존성 문제 없이 다양한 플랫폼에 이식될 수 있고 가장 널리 사용되는 머신러닝 라이브러리가 되었습니다.

사이킷런은 그동안 GPU를 활용한 구현에 대해 부정적인 입장을 견지해 왔습니다. 사이킷런의 다층 퍼셉트론(MLPClassifier, MLPRegressor)에 GPU 지원이 추가되지 않는지 내심 기대가 많기도 했습니다. 하지만 사이킷런의 신경망 구현이 텐서플로와 파이토치 같은 기능을 제공하기는 어렵다고 합니다. 복잡도가 너무 높아진다는 것이 그 이유 중 하나입니다.

그런데 최근에 사이킷런에 GPU 기능을 활용하려는 아이디어가 제안되었습니다. 파이썬 Array API를 사이킷런에 접목할 수 있다면 CuPy 등을 통해 GPU 활용이 가능할 수 있습니다(#22352 참조). 아예 저수준에서 GPU를 지원하는 방식도 제안되었습니다(#22438).

며칠 전에는 사이킷런 프로젝트를 이끄는 Inria 연구소에서 GPU 관련된 구인 공고를 냈습니다! 순조롭게 진행된다면 인텔 기반으로 k-최근접 이웃, k-평균, 가우시안 RBF 커널 등에 GPU 구현이 추가될 것으로 예상됩니다. 아직 어떤 모습이 될지는 모르겠지만 파이썬 컨텍스트 매니저를 사용하거나, 메서드나 파이프라인의 일부로 구현될 수도 있을 것 같습니다.

사이킷런이 범용성 뿐만 아니라 속도까지 높아진다면 많은 사람들이 정말 좋아할 것 같습니다. 이참에 그레이디언트 부스팅까지 GPU 구현을 바라는 것은 너무 욕심일까요? 🙂

“구글 브레인 팀에게 배우는 딥러닝 with TensorFlow.js”가 출간되었습니다!

유일무이한 자바스크립트 딥러닝 라이브러리인 TensorFlow.js를 다룬 <구글 브레인 팀에게 배운 딥러닝 with TensorFlow.js>가 출간되었습니다.

이 책은 구글 브레인 팀에서 TensorFlow.js를 개발하고 지원하는 에릭 닐슨, 스탠 바일시, 샨칭 차이 그리고 케라스를 만든 프랑소와 숄레가 쓴 책입니다. TensorFlow.js 뿐만 아니라 일반적인 딥러닝에 대해서도 폭 넓은 주제를 담고 있습니다.

심층 신경망, 합성곱 신경망, 자연어 처리, 전이 학습, 시퀀스 모델링, 생성 모델, 강화 학습까지 20여개가 넘는 예제를 통해 딥러닝을 배워 보세요. 이 외에도 과대적합과 과소적합은 물론 일반적인 머신러닝의 워크플로에 대해서도 빠지지 않고 설명합니다.

자바스크립트 월드와 딥러닝 던전을 연결하는 멋진 세계를 지금 바로 경험해 보세요!

  • 온라인 서점에서 판매중입니다. [Yes24], [교보문고], [알라딘]
  • 648페이지, 풀컬러: 44,000원 –> 39,600원, 전자책 35,200원
  • 이 책에 실린 코드는 깃허브에 있습니다.
  • 이 책에 실린 예제의 온라인 데모를 제공합니다.

“파이썬 라이브러리를 활용한 머신러닝(번역개정2판)”이 출간되었습니다!

2017년 처음 이 책을 작업할 때 사이킷런 코드를 보면서 무식하게 노트에 한 줄 한 줄 펜으로 번역해서 옮겼던 기억이 납니다. 사이킷런 개발자가 쓴 책인만큼 잘 옮기고 싶었고 그때는 지금처럼 좋은 책이 많지 않아서 더 그랬던 것 같습니다.

무슨 생각이 들었는지 읽을만한 책을 만들자고 호기롭게 시작한 그 도전이 5년을 지나 오늘 여기까지 오게된 것 같네요. 이 책이 없었다면 아마 지금 다른 일을 하고 있을 것 같습니다.

2019년 번역개정판을 내고도 많은 분들에게 꾸준히 사랑을 받았습니다. 정말 감사드립니다. 새로운 번역개정2판은 최근 릴리즈된 사이킷런 1.0 버전을 반영하였습니다. 새로운 기능과 변경된 내용을 많이 담아서 500페이지가 넘었습니다. 또 구글 코랩에서 실습할 수 있도록 코드를 업데이트했습니다. 흔쾌히 번역개정2판을 허락해 주신 한빛미디어 출판사에 감사드립니다. 다시 한 번 머신러닝 학습의 엔트로피를 줄이는데 도움이 되기를 기대합니다! 감사합니다! 🙂

“머신러닝 파워드 애플리케이션” 독서 후기

아래는 구글 Machine Learning GDE인 박찬성 님이 <머신러닝 파워드 애플리케이션>을 읽은 후 작성하신 리뷰입니다. 찬성 님의 허락을 받아 블로그에 싣게 되었습니다. 좋은 리뷰 정말 감사합니다! 🙂


🖌 머신러닝 파워드 애플리케이션 독서 후기

이 책은 머신러닝이 탑재된 애플리케이션을 만들기위해, End to End 로(처음부터 끝까지) 들어가야 하는 노력을 잘 정리해 보여준다. 이 책만의 몇 가지 특징이 있는 데, 그 중 두개를 꼽자면

1️⃣ 머신러닝 에디터라는 애플리케이션을 만드는 예를 보여주는것 같지만, 이 구체적인 예제를 다룸과 동시에 다양한 문제에 사용될 수 있는 접근법들을 함께 설명한다. 구체적인 예제를 풀어내지만, 일반적인 컨셉도 함께 배울 수 있다.

2️⃣ 애플리케이션 구축에 필요한 모든 요소에 동일한 가중치를 두고 설명한다. 데이터 수집, 모델링, 배포, 모니터링 등에서 한 부분에만 집중하지 않기 때문에, 성공적인 애플리케이션 구축을 위해서는 “모든 부분이 중요하다”는 사실을 묵시적으로 뇌리에 잘 심어주는것 같다.

이 책이 강조하는 부분은 반복성이다. 애플리케이션을 만드는 전체 과정의 입장에서의 반복. 또는 데이터 수집/검증, 모델링, 배포 후 사용자와의 상호작용 등 전체 파이프라인의 부분별로의 반복. 빠르게 아이디어를 실험하고, 검증을 통해 문제를 파악하고, 개선하는 반복의 사이클을 항상 고려해야만 성공적인 머신러닝이 탑재된 애플리케이션을 만들 수 있다는것이다.

✔️ 이는 다른 책에서도 흔히 볼 수 있는 강조인데, 이 책에서는 특히 더 많이 강조하는 부분인것 같다. 전체 파이프라인, 모델링 측면에서는 그렇다고 많이 느끼고 있었는데, 이를 현재 보유한 인력에 맞춰 더욱 잘게 쪼개진 사이클을 만들 수 있구나 라는걸 알게되었다.

이 책은 애플리케이션을 구축하는 전반을 다룬다. 따라서 “서비스”, “고객”의 관점에서 내용을 설명한다. 대개 인공지능이 모든것을 대체할 것이다 라고들 생각하는 경향이 있지만, 100%의 예측이란 불가능하기 때문에 머신러닝이 실패할 때를 항상 대비해야한다. 이 실패를 대처하는 방법으로 머신러닝이 도입되기 전 활용되어온 규칙기반 알고리즘, 또는 매우 단순하게라도 작동하는 간단한 머신러닝 모델을 추가적으로 활용하는것이다.

✔️ 즉 머신러닝이 실패하는 상황을 “우아하게” 대처하기 위해서는 머신러닝이 들어가기 이전의 노력 + 머신러닝을 운용하는 노력이 결합되어야 한다는 것이다. 그리고 이를 위해서는 도메인 지식을 집요하게 습득하려는 노력이 선행되어야한다. AI가 만능이다 라는 생각도 가져야 하지만(그래야 더 완성도 높은 모델을 만들기 때문에), AI 붐이 일어나기 전 수십년간 사람들이 축적해온 문제 해결 능력/방법은 결코 무시해서는 안된다.

✔️ 머신러닝이 탑재되는 애플리케이션/시스템을 만들겠다는 계획은 좋지만, 그 전에 MVP로 만들어야 할 것은 머신러닝이 탑재되지 않은 버전의 최선의 결과물이어야 할 것이다.

그 외에도 보다 구체적인 경험적 방법 (모범 사례)를 파이프라인의 각 요소마다 상세히 설명하고 있다. 물론 추가적인 리서치는 필요하지만, 큰 그림을 이해하고 체크리스트를 만들기에 충분한 지식을 전달한다.

약간 아쉬운점은 비교적 배포, 모니터링, 인프라에 대한 내용이 부족하다는 것이다. 하지만 보다 구체적인 내용을 뒷받침할 수 있는 책들이 많으므로 함께 읽어보면 좋을것 같다고 생각한다.

이 책은 두 번 이상 읽을 때 더 도움이되는 책이며, 각 장마다 제시하는 여러가지 옵션을 시각적으로 표현하거나 체크-리스트로 만들어 관리하면 꽤 도움이 될 것이라고 느꼈다. 다음 주 부터 재독을 진행할 예정인데, 만들게되면 공유해 보겠습니다 🙂


“혼자 공부하는 머신러닝+딥러닝”과 “파이토치로 배우는 자연어 처리”가 교보문고 2021년 올해의 책에 선정되었습니다!

교보문고 2021 올해의 책에 <혼자 공부하는 머신러닝+딥러닝>과 <파이토치로 배우는 자연어 처리> 책이 선정되었습니다. <혼자 공부하는 머신러닝+딥러닝>은 AI/ML 분야에서 1등을 했고 <파이토치로 배우는 자연어 처리>는 자연어 처리 분야에서 1등을 했습니다! (머신 러닝 교과서도 후보에 들었네요! 🙂 )

한 해 동안 제 책을 애독해 주신 모든 분들께 정말 감사드립니다!

‘혼자 공부하는 머신러닝+딥러닝’이 Yes24 올해의 책 후보에 선정되었습니다!

<혼자 공부하는 머신러닝+딥러닝>이 Yes24 2021년 올해의 책 후보에 선정되었습니다! 추천해 주신 모든 분들께 진심으로 감사드립니다. 올해 후보에는 IT 책이 한 권 뿐이지만 내년에 여러 권이 되었으면 좋겠습니다. 저도 더 열심히 노력하겠습니다.

올해의 책 후보 중 3권이상 골라 투표에 참가하면 1천원 Yes24 상품권을 준다고 하네요. 마음에 드는 책을 골라 투표에 참여해 보세요!

감사합니다! 🙂

Yes24 2021년 올해의 책 후보 도전에 응원 부탁드립니다.

온라인 서점 Yes24(www.yes24.com)에서는 매년 올해의 책을 선정합니다. 먼저 20여권의 후보를 추천을 통해 선정한 후에 투표를 통해 최종 올해의 책을 선정합니다. 올해의 책 후보에 드는 것만으로도 엄청난 영광이죠. 제 기억에는 IT 책이 후보에 오른적이 없었던 것 같습니다. 대부분 인기있는 책은 문학, 경제, 자기개발 분야입니다.

오늘 우연히 Yes24에서 <혼자 공부하는 머신러닝+딥러닝> 페이지를 보다가 몇 분이 올해의 책 후보에 추천해 주신 것을 보고 너무 기뻤습니다. 사실 IT 책이 후보가 될 가능성은 매우 희박합니다. 그래도 몇 분의 추천에 힘을 얻고 용기내어 도전해 보려고 합니다. 혹시 이 책을 재미있게 보셨다면 11월 3일까지 Yes24 올해의 책 후보로 추천 부탁드립니다! 저는 물론 이 분야의 책을 내는 출판사, 번역자, 작가 모두에게 큰 힘이 되리라 생각합니다. 감사합니다! 🙂

Yes24 2021년 올해의 책 후보 추천 페이지: http://www.yes24.com/campaign/00_corp/2021/boy.aspx