글쓴이 보관물: 박해선

Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 3rd Edition 번역 완료!

<핸즈온 머신러닝 3판>의 번역을 완료했습니다. 2판과 3판의 주요 차이점은 다음 그림을 참고하세요.
(3판 번역서는 9월 출간 예정이라고 합니다)

조금 더 자세하게 각 장의 내용을 요약하면 다음과 같습니다!

  • 1장은 큰 변화가 없습니다. 지도 학습, 비지도 학습, 준지도 학습 외에 자기 지도 학습 설명이 추가되었습니다. 삶의 만족도 예제를 위한 데이터를 최신으로 업데이트했습니다. 홀드아웃 검증에 대한 그림과 훈련-개발 세트를 설명하는 그림이 추가되었습니다.
  • 2장은 그간 사이킷런이 많이 업데이트되었기 때문에 소소한 부분이 많이 바뀌었습니다. 먼저 주피터 노트북 대신 코랩에 대한 간략한 설명으로 시작합니다. 코랩의 편리함과 주의 사항도 언급합니다. 캘리포니아 주택 데이터셋을 사용하는 예제는 전반적으로 깔끔하게 코드를 정리했습니다. SimpleImputer외에 KNNImputerIterativeImputer로 언급합니다. 원-핫 인코딩 부분에서는 판다스의 get_dummies 함수를 추가로 소개하고 왜 사용하지 않는지 설명합니다. 최근 사이킷런에서 지원하는 데이터프레임 입력-데이터프레임 출력 기능을 잘 반영했습니다. 무엇보다도 새로운 ColumnTransformer를 적극 활용합니다. 사용자 정의 변환기는 TransformerMixin을 상속하는 방식에서 FunctionTransformer를 사용하는 예제로 바꾸었습니다. 마지막으로 하이퍼파라미터 튜닝 부분에서 HalvingGridSearchCV, HalvingRandomSearchCV 클래스도 잠깐 언급해 줍니다.
  • 3장은 큰 변화는 없고 자잘한 수정이 많습니다. 편향된 데이터셋에 대한 문제점을 보이기 위해 만든 자작 클래스를 사이킷런의 DummyClassifier로 바꾸었습니다. 다중 분류에 대한 설명과 예제가 보강되었습니다. 오차 행렬에 대한 그래프가 대폭 변경, 추가되었고 설명도 상세해졌습니다. ClassifierChain에 대한 내용이 추가되었습니다. 코드는 전반적으로 새로 작성되었습니다.
  • 4장도 큰 변화가 없습니다. partial_fit()warm_start에 대한 설명이 추가되었고 규제항에 대한 공식을 변경했습니다. 조기 종료에 대한 코드와 설명이 보강되었습니다. 코드는 전반적으로 새로 작성되었습니다.
  • 5장은 LinearSVCSGDClassifier에 대한 설명이 보강되었고 힌지 손실과 제곱 힌지 손실에 대한 설명이 자세해졌습니다. 대신 콰드라틱 프로그래밍 절이 삭제되었습니다.
  • 6장은 거의 변화가 없고 결정 트리가 축 회전에 대한 민감하다는 것과 분산이 높다는 것을 설명하기 위한 절이 추가되었습니다.
  • 7장은 그레이디언트 부스팅의 조기 종료를 위해 n_iter_no_change를 사용하는 설명이 추가되었습니다. (드디어!) 히스토그램 부스팅 절이 추가되었습니다(하지만 XGBoost에 대해 자세히 다루지는 못했습니다). StackingClassifier를 사용하는 방식으로 스태킹 절이 대폭 수정되었습니다.
  • 8장에서 PCA로 차원을 줄인후 하이퍼파라미터 튜닝을 하는 예제와 memmap 파일과 IPCA를 사용하는 예제가 추가되었습니다. 커널 PCA 절이 삭제되고 대신 랜덤 투영 절이 추가되었습니다.
  • 9장에서 가우스 혼합 모델의 이론 부분이 삭제되었습니다. 사이킷런의 준지도 학습 클래스에 대한 소개가 추가되었습니다. 유사도 전파에 대한 설명이 보강되었습니다.
  • 10장은 케라스를 사용한 인공 신경망을 소개합니다. 그간 편향 뉴런을 따로 표기했는데 3판에서 드디어 이를 뺐습니다. MLPRegressor 예제가 추가되었습니다. 케라스의 역사(?)에 대한 소개가 간략해졌고 설치 절이 삭제되었습니다. 전체적으로 케라스 API를 사용한 코드가 갱신되었습니다. 특히 캘리포니아 주택 데이터셋을 사용한 예제, 모델 저장과 복원, 콜백, 텐서보드 설명 등이 크게 바뀌었습니다. 그리고 드디어 하이퍼파라미터 튜닝을 위해 케라스 튜너를 다루는 절이 들어갔습니다! 꽤 상세히 설명하기 때문에 만족하실 것 같네요.
  • 11장은 신경망 훈련을 위한 다양한 기술을 다룹니다. 기존 활성화 함수 설명외에 추가로 GELU, Swish, Mish가 포함되었습니다. 옵티마이저에서는 AdamW가 추가되었습니다. 배치 정규화, 전이 학습, 학습률 스케줄링, 몬테 카를로 드롭아웃 등 주요 코드와 설명이 업데이트되었습니다. 특히 실용 가이드라인이 최신 기술에 맞게 바뀌었습니다.
  • 12장은 텐서플로로 사용자 정의 모델을 만들고 훈련하는 내용을 다룹니다. 더이상 사용되지 않는 케라스 백엔드 관련 내용이 업데이트되었습니다. 사용자 정의 지표, 층, 모델, 훈련을 위한 코드와 설명이 최신 케라스 버전에 맞추어 모두 업데이트 되었습니다. 텐서플로 그래프 섹션에 XLA 설명이 추가되었습니다.
  • 13장은 데이터 전처리에 대한 소개하며 이전 판에 비해 많은 수정이 있습니다. tf.Transform을 삭제하고 케라스 전처리 층에 대한 내용을 크게 확대했습니다. tf.data API를 사용한 코드가 개선되었고 케라스와 함께 사용하는 예시도 대폭 변경되었습니다. 케라스 전처리 층으로 Normalization, Discretization, CategoryEncoding, StringLookup, Hashing 층을 각각각의 절에서 자세히 설명합니다. 임베딩 소개 부분에서 StringLookup 층과 함께 사용하는 예시를 들어 보이며 텐서플로 허브에서 사전 훈련된 모델을 로드하는 방법을 소개합니다. 허깅 페이스를 사용한 예시는 16장으로 미룹니다. 또한 이미지를 위한 전처리 층도 간략히 소개합니다. 더 자세한 내용은 합성곱 신경망을 다루는 14장에서 설명할 예정입니다.
  • 14장에서 텐서플로 저수준 연산을 사용하는 합성곱 신경망의 예제가 케라스 코드와 설명으로 바뀌었습니다. 깊이 방향 풀링을 구현하는 예시를 텐서플로 저수준 연산과 람다 층을 사용한 코드에서 케라스 사용자 정의 층으로 바꾸었습니다. 대표적인 CNN 구조 소개에서 SENet이 추가되었습니다. 또한 마지막에 간략하지만 Xception, ResNeXt, DenseNet, MobileNet, CSPNet, EfficientNet도 소개하고 CNN 구조 선택 가이드라인을 제시합니다. 객체 탐지에 대한 설명이 보강되고 객체 추적이 추가되었습니다.
  • 15장은 큰 폭으로 바뀌었습니다. 인공 데이터셋을 사용하지 않고 시카고 교통 데이터를 사용하도록 전체 예제를 바꾸었습니다. 기준 모델로 선형 모델 외에 ARIMA 모델이 추가되었습니다. 이를 위해 statsmodels 라이브러리를 사용하고 몇가지 ARIMA 변종에 대해 살펴 볼 수 있습니다. 다변량 시계열 예측하기 절이 추가 되었고 여러 타임 스텝을 예측하는 절이 크게 바뀌었습니다. 시퀀스-투-시퀀스 방식을 사용하여 예측하는 방식이 추가되었습니다. 핍홀에 대한 설명이 삭제되었습니다.
  • 16장은 NLP를 다루며 책 전체에서 가장 많이 바뀐 장이 아닐까 합니다. 그만큼 NLP 분야의 변화가 크다는 의미 같습니다. 셰익스피어 텍스트를 생성하는 예제는 15장에서 윈도 데이터셋을 상당히 다룬 덕분에 코드와 설명이 간소화되었습니다. 대신 텍스트 전처리 층을 최종 모델에 포함하는 예시가 추가되었습니다. IMDb 감성 분석 예제는 케라스 전처리 층을 사용하도록 코드와 설명이 모두 바뀌었습니다. 케라스에서 마스킹 처리에 대한 설명이 업데이트되었습니다. 사전 훈련된 단어 임베딩의 설명을 업데이트하고 언어 모델에 대한 소개가 추가되었습니다. 영어-프랑스어 번역 예제를 영어-스페인어 번역 예제로 바꾸고 전체 코드와 설명이 업데이트되었습니다. 텐서플로 애드온을 사용했던 어텐션 예제를 케라스 어텐션 층으로 바꾸었습니다. 트랜스포머에 대한 설명이 업데이트되었고 인코더와 디코더 구조를 직접 구현하는 예시가 포함되었습니다. 최근에 등장한 다양한 언어 모델에 대한 소개가 많이 추가되었고 마지막에 허깅 페이스 트랜스포머스 라이브러리를 사용하는 예시가 포함되었습니다!
  • 17장은 기존 컨텐츠를 거의 그대로 유지하고 확산 모델만 추가되었습니다. 확산 모델의 개념과 이론을 설명하고 정방향 과정과 역방향 과정을 직접 구현하여 패션 MNIST와 유사한 이미지를 생성하는 예제를 다룹니다.
  • 18장은 강화 학습을 다룹니다. 2판의 내용을 그대로 승계하고 주로 코드를 최신으로 업데이트했습니다. 부족한 지면 때문에 TF-Agents 절이 삭제되었습니다.
  • 19장은 분산 훈련과 배포에 관한 주제를 다룹니다. 텐서플로 서빙에 대한 설명과 코드가 많이 변경되었습니다. GCP AI 플랫폼에 대한 부분을 모두 버텍스 AI로 업데이트했습니다(거의 새로 작성 했네요). 웹 페이지에서 모델 실행을 위한 TFJS 설명이 보강되었고 예제도 추가되었습니다. 병렬화 기술 소개에 PipeDream과 Pathways가 추가되었습니다. 마지막으로 버텍스 AI의 하이퍼파라미터 튜닝 방법과 케라스 튜너를 사용한 하이퍼파라미터 튜닝 방법이 추가되었습니다.

SciPy Korea 2023 컨퍼런스 티켓 판매가 시작되었습니다!

안녕하세요. 파이썬 과학 생태계의 다양한 지식을 교류하는 SciPy Korea 2023 컨퍼런스가 5월 20일 서울 강남구 역삼동 마루180에서 열립니다. 이번 행사는 최근 관심이 높아진 대규모 언어 모델은 물론 다양한 머신러닝 주제를 다루는데요. 훌륭한 연사자 분들을 모시게 되어 기대가 크네요. 🙂 또 VESSL AI에서 경품을 기증해 주셨고 제이펍, 한빛미디어, 골든래빗, 길버, 이지스퍼블리싱에서 수십 권의 도서를 후원해 주셔서 참여하시는 모든 분들과 풍성하게 나눌 수 있을 것 같습니다. 자세한 행사 내용은 scipy.kr 홈페이지를 참고해 주세요. 좌석이 한정되어 100분만 초청할 수 있는 점 양해 부탁드립니다. 지금 festa.io 에서 티켓을 구매하실 수 있습니다! 🙂

SciPy Korea 2023

안녕하세요. 박해선입니다. SciPy 컨퍼런스를 알고 계시나요? SciPy 컨퍼런스는 파이썬 과학 생태계의 다양한 기술과 도구에 대한 지식을 공유하는 자리입니다. 머신러닝, 딥러닝, 시각화, 수치해석, 고성능 컴퓨팅 등을 모두 포괄합니다. 미국과 유럽에서 매년 개최되는 이 행사를 본따서 저와 몇몇 분이 힘을 모아 작게나마 SciPy Korea 2023을 시작합니다.

다가오는 5월 20일(토) 역삼동 마루180에서 파이썬 커뮤니티에게 지식을 나눠 주실 연사를 모집하고 있습니다. 파이썬 커뮤니티와 함께 나누고 싶은 이야기가 있으신가요? 지금 바로 [연사신청]을 해 주세요! 처음이라 부족한 점이 있겠지만 많은 관심 부탁드립니다! 🙂

‘혼자 공부하는 머신러닝+딥러닝’ 사이킷런 1.2.2, 텐서플로 2.11.0에서 재실행 완료

<혼자 공부하는 머신러닝+딥러닝>의 주피터 노트북을 코랩(사이킷런 1.2.2와 텐서플로 2.11.0)에서 모두 재실행하여 업데이트했습니다.

9-02절의 코드가 원-핫 인코딩 벡터 크기 때문에 코랩에서 메모리 부족을 일으킵니다. 이를 피하기 위해 사용하는 단어 개수를 500개에서 300개로 줄였습니다. 자세한 수정 내용은 에러타 페이지를 참고해 주세요.

감사합니다!

“트랜스포머를 활용한 자연어 처리” Transformer 4.26 버전에서 재실행 완료

<트랜스포머를 활용한 자연어 처리> 책의 코드를 최신 버전의 라이브러리에서 재실행하여 깃허브에 업데이트했습니다. 재실행에서 사용한 라이브러리 버전은 다음과 같습니다.

  • transformers v4.26.1
  • datasets v2.10.1
  • accelerate v0.16.0

감사합니다!

‘파이썬 라이브러리를 활용한 머신러닝(개정 2판)’ 사이킷런 1.2.1에서 재실행 완료

<파이썬 라이브러리를 활용한 머신러닝(개정 2판)>의 코드를 사이킷런 1.2.1 버전에서 재실행하여 깃허브에 업데이트했습니다.

주요 수정 사항은 다음과 같습니다. 사이킷런 1.2 버전에서 load_boston() 함수가 삭제되었기 때문에 대신 보스턴 주택 데이터셋을 직접 다운로드 하도록 수정합니다. 넘파이 1.20 버전에서 np.bool이 deprecated 되었기 때문에 대신 bool을 사용합니다.

맷플롯립 3.4.0 버전에서 _rebuild() 메서드가 사라졌기 때문에 대신 3.2.0 버전에서 추가된 addfont() 메서드를 사용하여 한글 폰트를 추가하도록 수정합니다. 또 imshow() 함수에서 vmin, vmax 매개변수를 삭제했습니다.

감사합니다!

Introduction to Computation and Programming Using Python 3rd Edition 번역 완료!

MIT 존 구탁(John Guttag) 교수의 “Introduction to Computation and Programming Using Python 3rd Edition” 책 번역을 드디어 완료했습니다. 이 책은 단순히 파이썬 문법만 다루지 않고 계산적 사고를 돕기 위해 파이썬으로 여러가지 흥미로운 알고리즘을 구현해 보고 머신러닝을 포함해 파이썬 과학 생태계의 여러 측면을 배울 수 있습니다. 다음은 각 장의 내용을 요약한 것입니다.

1장은 계산적 사고와 두 종류의 지식에 대해 설명하는 것으로 시작됩니다. 프로그램 고정식 컴퓨터와 프로그램 내장식 컴퓨터의 차이점을 언급하면서 간단한 프로그래밍 발전 역사를 엿봅니다. 끝으로 프로그래밍 언어의 기본 구조, 문법, 정적 시맨틱, 시맨틱에 대해 설명하면서 어떻게 좋은 프로그램을 만들 수 있는지, 다른 언어와 파이썬 간의 차이점은 무엇인지를 소개하는 것으로 마칩니다.

2장은 파이썬의 기본 요소를 소개합니다. 먼저 간단한 파이썬의 특징과 역사를 살펴보고 아나콘다와 스파이더 IDE를 설치하는 방법을 설명합니다. 그다음 파이썬의 객체와 기본 스칼라 타입에 대해 알아 보고 몇 가지 예를 셸 프롬프트로 실행해 봅니다. 이어서 변수에 대해 설명하고 변수에 객체를 재할당할 때 생기는 미묘한 문제를 설명합니다. 그다음 if 문을 사용한 분기 프로그래밍을 설명합니다. 이와 함께 파이썬 코드를 여러 줄로 나누어 작성하는 방법도 소개합니다. 다음으로 문자열과 인덱싱, 슬라이싱, f-문자열을 설명합니다. 파이썬에서 사용자에게 입력을 받는 방법을 설명하면서 유니코드 인코딩에 대한 소개도 하고 있습니다. 그다음은 반복문입니다. while 문과 for 루프를 사용해 반복이 필요한 문제를 처리하는 방법을 소개합니다. 자연스럽게 range 함수도 소개합니다. 마지막으로 2~1000 사이의 소수의 합을 출력하는 퀴즈로 마무리합니다.

3장은 2장에서 배운 if, for, while 문을 사용해 간단한 프로그램을 작성하는 방법을 배웁니다. 먼저 완전 열거(exhaustive enumeration) 방식으로 제곱근을 구합니다. 이 방식의 단점을 생각해 본 다음 이분 검색(bisection search)으로 제곱근의 근삿값을 찾는 프로그램을 작성합니다. 부동소수점 숫자가 컴퓨터에서 어떻게 표현되는지 알아 보고 float 타입의 변수를 비교 연산자에 사용했을 때 발생할 수 있는 문제를 생각해 봅니다. 이 과정에서 비트, 이진수, 유효 숫자, 정밀도 등에 대해 알게 됩니다. 마지막으로 보편적인 근사 알고리즘인 뉴턴 방법을 사용해 다항식의 근을 찾는 코드를 작성합니다.

4장은 코드의 재사용성을 높이기 위해 함수의 필요성을 언급하고 함수를 정의하고 사용하는 방법을 소개합니다. 3장에서 만들었던 제곱근을 구하는 코드를 함수로 다시 구현해 봅니다. 그다음 위치 인수와 키워드 인수, 가변 길이 인수에 대해 소개합니다. 종종 혼동이 되는 변수의 유효범위에 대해 자세히 설명합니다. 이를 위해 스택 프레임을 설명하고 예를 들어 스택의 생성 소멸 과정을 자세히 안내합니다. 그다음 함수의 사양(specification)에 대해 소개합니다. 특히 추상화를 대해 재미있는 비유로 설명합니다. 지금까지 만든 함수에 독스트링으로 사양을 작성해 봅니다. 그다음 하나의 함수를 여러 개로 쪼개어 보고 함수를 인수나 반환값으로 사용하는 방법을 배웁니다. 이 과정에서 람다 함수를 소개합니다. 마지막으로 객체의 메서드에 간단히 소개하고 마칩니다.

5장은 튜플, 리스트, 레인지, 딕셔너리를 소개합니다. 튜플과 문자열의 비슷한 점과 다른 점을 소개하고 함수 반환 값에 많이 사용하는 복수 할당을 알아 봅니다. 레인지와 반복 가능한 객체에 대해 알아 보고 range 함수를 for 문에 적용해 봅니다. 그다음은 부수 효과로 골치 아플 수 있지만 유용한 객체인 리스트입니다. 이 절에서 리스트 안의 객체와 변수 사이의 바인딩에 대해 조금 더 자세히 알아 봅니다. 이 과정에서 id 함수와 is 연산자를 배웁니다. 또한 매개변수 디폴트 값에 빈 리스트를 넣었을 때 발생할 수 있는 놀라운 일도 살펴 봅니다. 리스트를 복제하기 위해 슬라이싱하는 방법과 copy 모듈을 사용하는 방법을 배웁니다. copy.deepcopy가 생각만큼 deep하지 않다는 사실도 알 수 있습니다. 그다음 파이썬 프로그래머들이 즐겨 사용하는 리스트 내포를 소개합니다. 하지만 두 개 이상 중첩하면 골치 아픕니다. 마지막으로 리스트를 사용해 고차 함수(high-order function)을 구현해보고 내장 고차 함수인 map의 사용법을 배웁니다. 5장은 여기서 끝나지 않고 집합(set)에 대해 소개하고 딕셔너리로 넘어갑니다. 딕셔너리에서 자주 사용되는 메서드를 소개하고 딕셔너리 내포도 다룹니다. 마지막으로 딕셔너리를 사용해 책 암호(book cipher)를 구현하는 간단한 예제로 마무리합니다!

6장은 재귀와 전역변수를 다룹니다. 먼저 재귀 예제의 헬로 월드인 팩토리얼을 반복문을 사용해 만든 것과 재귀를 사용해 만든 것을 비교하여 봅니다. 그다음 피보나치 수열을 재귀를 사용해 만들어 봅니다(사실 피보나치 수열은 피보나치가 만든 것이 아니군요!). 재귀를 사용하지 않고 더 효율적으로 피보나치 수열을 만들 수도 있습니다(이건 번역서 깃허브에 담겨 있습니다). 숫자가 아닌 문제에도 재귀를 사용할 수 있습니다. 예를 들면 팰린드롬(palindrome)이죠. 팰린드롬을 구현하면서 분할 정복에 대해 살짝 소개합니다. 이에 대해서는 12장에서 다시 알아 봅니다. 마지막으로 전역 변수는 일반적으로 사용하지 않도록 권장하지만 꼭 필요한 경우가 있기 때문에 간략히 소개합니다.

계속 읽기

“케라스 창시자에게 배우는 딥러닝 2판” 등 텐서플로 2.9.2 버전 업데이트 안내

안녕하세요. 박해선입니다. <케라스 창시자에게 배우는 딥러닝 2판>, <개발자를 위한 머신러닝&딥러닝>, <머신 러닝 교과서 3판>, <딥러닝 일러스트레이티드>의 텐서플로 코드를 코랩-텐서플로 버전 2.9.2에서 모두 재실행하여 깃허브에 업데이트했습니다. 감사합니다! (늦었지만 블로그에 방문하시는 모든 분들 새해 복 많이 받으세요! 🙂 )

교보문고 2022년 올해의 IT 책 선정 소식

교보문고가 매년 발표하는 올해의 IT 책에 <혼자 공부하는 머신러닝+딥러닝>과 <핸즈온 머신러닝 2판>이 선정되었습니다. <혼자 공부하는 머신러닝+딥러닝>은 전체 IT 분야에서 8위를 했고 #딥러닝/머신러닝/인공지능 분야에서는 1위를 했습니다. 또 <핸즈온 머신러닝 2판>은 #딥러닝/머신러닝/인공지능 분야에서 3위를 달성했습니다!

<혼자 공부하는 머신러닝+딥러닝>은 2021년에 이어 머신러닝/인공지능 분야에서 2년 연속 1위를 하는 기염을 토했습니다. 너무 기쁘고 큰 영광입니다. 2023년에는 더 많은 책이 올해의 책에 선정되도록 열심히 노력하겠습니다. 감사합니다! 🙂

“혼자 공부하는 데이터 분석 with 파이썬”이 출간되었습니다!

파이썬을 활용한 초절정 데이터 분석 입문서 <혼자 공부하는 데이터 분석 with 파이썬>이 출간되었습니다!

이 책은 파이썬 데이터 과학 생태계의 핵심 라이브러리인 판다스, 넘파이, 맷플롯립, 사이파이, 사이킷런을 사용하여 데이터 분석에 필요한 기초 지식을 쌓을 수 있도록 돕습니다. 또한 뷰티플수프, 리퀘스트 같은 유용한 다른 패키지도 함께 배울 수 있죠.

데이터 수집, 정제, 분석, 시각화, 검증 그리고 모델링까지 이 분야의 기술이 궁금하다면 바로 이 책으로 시작하세요!

동영상 강의도 함께 들으시면 책을 완독하는데 도움이 되실거에요! 🙂

한빛미디어의 혼공단에 참여해서 같이 공부하시면 더욱 좋습니다! 🙂