핸즈온 머신러닝

이 책은 아마존 베스트 셀러인 오렐리앙 제롱^{Aurélien Géron}의 ‘Hands-On Machine Learning with Scikit-Learn and TensorFlow‘의 번역서입니다.

이 책에는 머신러닝의 이론과 실용적인 가이드라인이 많이 포함되어 있습니다. 이 책이 딥러닝 전문가로 가는 좋은 출발점의 역할을 할 수 있다면 성공이라 생각합니다. 다시 한번 책을 만드는 데 도움을 주신 모든 분들에게 감사드립니다.

온라인/오프라인 서점에서 판매중입니다. [YES24], [교보문고], [한빛미디어], [리디북스]
672 페이지, 종이책: ~~33,000원~~—>29,700원, 전자책: 26,400
이 책의 1장과 2장을 ‘핸즈온 머신러닝‘ 페이지에서 읽을 수 있습니다. 넘파이 튜토리얼도 추가되었습니다.
이 책에 실린 코드는 깃허브에서 주피터 노트북으로 볼 수 있습니다. [github], [nbviewer]
이 책의 코드는 scikit-learn 0.19.1, 0.20.0, 0.21.1, TensorFlow 1.7, 1.8, 1.9, 1.10, 1.11, 1.12, 1.13 버전에서 테스트 되었습니다.
작업에 대한 간단한 후기를 여기에 적었습니다.
교보문고 Dev READIT 2018에 선택되어 이 책에 대한 칼럼을 썼습니다.

저자 오렐리앙도 아주 기뻐하네요. 🙂

고마워요 박해선! It was a real pleasure working with you, your many questions & excellent feedback were tremendously helpful, all versions of my book are better thanks to you. Now I just have to learn Korean! 😀 https://t.co/yNbKiMxJL6

— Aurélien Geron (@aureliengeron) April 17, 2018

이 페이지에서 책의 에러타와 scikit-learn과 tensorflow 버전 변경에 따른 바뀐 점들을 계속 업데이트 하겠습니다.

이 책에 대해 궁금한 점이나 오류가 있으면 이 페이지 맨 아래 ‘Your Inputs’에 자유롭게 글을 써 주세요. 또 제 이메일을 통해서 알려 주셔도 되고 구글 그룹스 머신러닝 도서 Q&A에 글을 올려 주셔도 좋습니다.

적바림(미처 책에 넣지 못한 내용을 추가하고 있습니다)

자주하는 질문
- p86의 test_set_check() 함수에서 0xffffffff 비트 연산은 왜 필요한가요? crc32()는 항상 양수를 반환하지 않나요?
- fetch_mldata() 함수가 작동하지 않습니다.
랜덤 포레스트에서 어떤 데이터 포인트가 부트스트랩 샘플에 포함되지 않을 확률
윈도우즈에 아나콘다, 텐서플로우 설치하기
결정 트리와 불순도에 대한 궁금증
경사하강법: tf.gradients
TF의 텐서와 상수, 변수, 플레이스홀더
AWS 스팟 인스턴스 + Deep Learning AMI
합성곱 풀링, 스트라이드 계산 가이드

감사합니다! 🙂

Outputs (aka. errata)

머신러닝 도서 메일링 리스트에 가입하시면 책의 에러타나 수정사항을 자동으로 수신할 수 있습니다.

1~10: 2쇄에 반영되었습니다.
11~48: 3쇄에 반영되었습니다.
49~62: 4쇄에 반영되었습니다.
63~70: 5쇄에 반영되었습니다.

(p506) 주석 21번에 옮긴이의 주석에서 “앞의 코드는 zero_state( ) 함수가 없는 것을 제외하고는 DeviceWrapper 클래스와 거의 동일합니다.”를 “앞의 코드는 셀 상태를 0으로 초기화하는 zero_state( ) 함수가 없는 것을 제외하고는 DeviceWrapper 클래스와 거의 동일합니다. DeviceWrapper 클래스는 텐서플로 1.2에서 tf.nn.rnn_cell.DeviceWrapper로 바뀌었습니다.“로 변경합니다.
(식 4-7, p305 9.6.1절 두 번째 목록, 식 10-2, 식 E-1) 수식에 있는 “(next step)” 윗첨자를 “(다음 스텝)”으로 바꿉니다.
(p585) 코드 실행시 경고 문구를 없애기 위해 페이지 중간에 위치한 q_value를 계산하는 코드에서 “keep_dims” 매개변수를 “keepdims“로 변경합니다. 넘파이(NumPy) API와 맞추기 위해 텐서플로 1.5에서 keep_dims 매개변수가 keepdims로 바뀌었고 향후 keep_dims는 삭제될 예정입니다.
(p11) 두 번째 문단에서 파이썬의 공식 튜토리얼 주소를 ‘https://docs.python.org/3/tutorial/‘에서 한글 문서 주소인 ‘https://docs.python.org/ko/3/tutorial/‘로 변경합니다.
(p73) <표기법> 사이드 노트에서 마지막에서 두 번째 목록의 끝에
$\hat{y}^{(i)}$ = $y^{(i)} = 2,000$ 을
$\hat{y}^{(i)}$ – $y^{(i)} = 2,000$ 으로 정정합니다.
(p90) 주석 25번에서 “매개변수를 True로 설정하면 넘겨진 데이터프레임 자체를 수정하고”를 “매개변수를 True로 설정하면 호출된 데이터프레임 자체를 수정하고”로 수정합니다.
(p95) CAUTION_ 박스의 두 번째 줄에서 매끄러운 문맥을 위해 “예를 들어 x가 0에 가까워지면 y가 증가합니다“를 “예를 들어 x가 0에 가까워지면 y가 증가하는 경우“로 바꿉니다.
(p107) 2.5.4 특성스케일링 아래 세 번째 문단에서 “이를 정규화^{normalization}라고 부릅니다.”의 끝에 누락된 소괄호를 “이를 정규화^{normalization}라고 부릅니다).”와 같이 추가합니다.
(p171) 주석 21번에서 “eta0, power_t 두 매개변수를 사용한”에서 “eta0, power_t 두 매개변수(기본값은 각각 0.01, 0.25)를 사용한”으로 내용을 추가합니다.
(p359) 주석 9번에서 “ELU 함수의 도함수는 z < 0 일 때 $\alpha(z)$ 이고”를 “ELU 함수의 도함수는 z < 0 일 때 $\alpha(\text{exp}(z))$ 이고”로 정정합니다.
(p130) 아래에서 5번째 줄에서 “1,077개를 ‘5 아님’으로 잘못 분류했고(거짓 양성^{false positive})”를 “1,077개를 ‘5 아님’으로 잘못 분류했고(거짓 음성^{false negative})”로 정정합니다.(me****ge 님)
(p135) NOTE의 4번째 줄에서 “반면 재현율은 임곗값이 내려감에 따라”를 “반면 재현율은 임곗값이 올라감에 따라”로 정정합니다.(me****ge 님)
(p175) 두 번째 줄에서 $\hat{y}=0.56x^2_1+0.93x_1+1$ 을 $\hat{y}=0.56x^2_1+0.93x_1+1.78$ 로 정정합니다.(me****ge 님)
(p180) 4.5.1절 두 번째 줄에서 $\alpha \sum^n_{i=1}\theta^2_1$ 을 $\alpha \sum^n_{i=1}\theta^2_i$ 로 정정합니다.(me****ge 님)
(p185) 식 4-12의 마지막에 $\theta^2_1$ 을 $\theta^2_i$ 로 정정합니다.(me****ge 님)
(p305) 주석 15번 첫 번째 줄에서 “경사 하강법에서 지역 최솟값으로 빠르게”를 “경사 하강법에서 전역 최솟값으로 빠르게”로 변경합니다.
(p88) 아래에서 3번째 줄에 “ceil 함수를 사용하여 반올림해서”를 “ceil 함수를 사용하여 올림해서”로 정정합니다. (wnghdcjfe 님)
(p340) 주석 23번 끝에 “텐서플로 1.3 부터는 tf.estimator 아래에 DNNClassifier를 포함하여 사전에 정의된 다양한 모델들이 추가되고 있습니다.“를 추가합니다.
(p228) 식 6-1 바로 위 문장의 수식에서 $1-(0/54)^2-(49/54)^2 \approx 0.168$ 를 $1-(0/54)^2-(49/54)^2-(5/54)^2 \approx 0.168$ 로 정정합니다.(me****ge 님)
(p256) 식 7-4에서 $\sum$ 기호 아래 첨자가 $i = 1$ 이 아니고 $j=1$ 입니다.(me****ge 님)
(p177) 첫 번째 문장에서 “단순 선형 회귀 모델([그림 4-15]의 직선)의 학습 곡선을 살펴봅시다.”를 “단순 선형 회귀 모델(직선)의 학습 곡선을 살펴봅시다(그림 4-15).”로 정정합니다.(me****ge 님)
(p181) 마지막 문장에서 “…가까워지는 것을 볼 수 있습니다. 값을 줄이면 모델의 분산은 줄지만..”을 “…가까워지는 것을 볼 수 있습니다. 즉, 모델의 분산은 줄지만..”으로 정정합니다.(me****ge 님)
(p459) 식 13-1에서 $x_{i',j',k'} \cdot w_{u,v,k',k}$ 를 $x_{i',j',k'} \times w_{u,v,k',k}$ 로 정정합니다.

24번~32번은 최근 텐서플로의 변경사항과 원서 깃허브에 추가된 내용을 반영한 것입니다.
(p104) 주석 41번을 “41. 옮긴이_ 사이킷런 0.20 릴리스에 추가될 CategoricalEncoder는 OrdinalEncoder와 새로운 OneHotEncoder로 리팩토링되었습니다. 새로운 클래스를 사용한 예는 깃허브 노트북을 참고해주세요.“로 변경합니다.
(p215) 그림 5-12에서 수직축에 쓰인 수식 $h=w^t \cdot x + b$ 를 $h=w^T \cdot x + b$ 로 수정합니다.
(p267) 연습문제 9의 세 번째 줄에서 “…이미지의 클래스입니다. 축하합니다.”를 “…이미지의 클래스입니다. 새로운 훈련 세트에 분류기 하나를 훈련시켜 보세요. 축하합니다.”로 변경합니다.
(p339) 10.2절의 두 번째 줄의 “DNNClassifier 파이썬 클래스” 뒤에 다음 주석을 추가합니다. “† 옮긴이_ DNNClassifier는 텐서플로 1.3버전부터 tf.estimator 아래에 포함되었습니다. tf.estimator를 사용한 예는 깃허브의 노트북을 참고하세요.” 그리고 위 18번 변경사항을 취소합니다.
(p341) 메모리 효율을 높이기 위해 마지막 코드 블럭에서 tf.int64 를 tf.int32 로 변경합니다.
(p430) “그래프에서 직접 훈련 데이터 읽기” 섹션의 첫 번째 문장 끝에 다음 주석을 추가합니다. “† 옮긴이_ 텐서플로 1.4에서 추가된 tf.data를 사용하는 예는 깃허브의 노트북을 참고하세요.“
(p586) 아래에서 세 번째 줄 중간에 “효율적인 deque 객체를 만들겠습니다.” 뒤에 다음 주석을 추가합니다. “† 옮긴이_ 넘파이 배열을 사용해 더 빠르게 구현한 예는 깃허브의 노트북을 참고하세요.“
텐서플로 1.4버전에서 tf.variance_scaling_initializer() 가 추가되었습니다. 책과 깃허브의 코드에서 tf.contrib.layers.variance_scaling_initializer() 를 tf.variance_scaling_initializer() 로 변경합니다.
- p357, p527, p528, p544, p562, p567, p583

텐서플로 1.7버전부터 tf.examples.tutorials.mnist 가 삭제될 예정이라는 경고가 발생합니다. MNIST 데이터를 로드하는 코드를 Keras로 변경합니다.

(p346) 첫 번째 코드 블럭에서

from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("/tmp/data/")

를

(X_train, y_train), (X_test, y_test) = tf.keras.datasets.mnist.load_data()
... # 스케일 조정
X_valid, X_train = X_train[:5000], X_train[5000:]
y_valid, y_train = y_train[:5000], y_train[5000:]

로 변경합니다. 그리고 세 번째 코드 블럭에서

with tf.Session() as sess:
  init.run()
  for epoch in range(n_epochs):
    for interation in range(mnist.train.num_examples // batch_size):
      X_batch, y_batch = mnist.train.next_batch(batch_size)
      sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
    acc_train = accuracy.eval(feed_dict={X: X_batch, y: y_batch})
    acc_val = accuracy.eval(feed_dict={X: mnist.validation.images,
                                       y: mnist.validation.labels})
    print(epoch, "Train accuracy:", acc_train, "Validation accuray:", acc_val)

를

with tf.Session() as sess:
  init.run()
  for epoch in range(n_epochs):
    # shuffle_batch() 함수 정의는 깃허브를 참고하세요
    for X_batch, y_batch in shuffle_batch(X_train, y_train, batch_size):
      sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
    acc_batch = accuracy.eval(feed_dict={X: X_batch, y: y_batch})
    acc_valid = accuracy.eval(feed_dict={X: X_valid, y: y_valid})
    print(epoch, "배치 데이터 정확도:", acc_batch, "검증 세트 정확도:", acc_valid)

로 변경합니다.

(p365) 코드 블럭에서

with tf.Session() as sess:
  init.run()
  for epoch in range(n_epochs):
    for interation in range(mnist.train.num_examples // batch_size):
      X_batch, y_batch = mnist.train.next_batch(batch_size)
      sess.run([training_op, extra_update_ops], 
               feed_dict={training: True, X: X_batch, y: y_batch})
    accuracy_val = accuracy.eval(feed_dict={X: mnist.validation.images,
                                            y: mnist.validation.labels})
    print(epoch, "Validation accuray:", accuracy_val)

를

with tf.Session() as sess:
  init.run()
  for epoch in range(n_epochs):
    # shuffle_batch() 함수 정의는 깃허브를 참고하세요
    for X_batch, y_batch in shuffle_batch(X_train, y_train, batch_size):
      sess.run([training_op, extra_update_ops], 
               feed_dict={training: True, X: X_batch, y: y_batch})
    accuracy_val = accuracy.eval(feed_dict={X: X_valid, y: y_valid})
    print(epoch, "검증 세트 정확도:", accuracy_val)

로 변경합니다.

(p372~373) 11.2.4절의 코드 블럭에서

n_batches = mnist.train.num_examples // batch_size
...
h2_cache = sess.run(hidden2, feed_dict={X: mnist.train.images})
...
shuffled_idx = np.random.permutation(mnist.train.num_examples)
...
y_batches = np.array_split(mnist.train.labels[shuffled_idx], n_batches)

를

n_batches = len(X_train) // batch_size
...
h2_cache = sess.run(hidden2, feed_dict={X: X_train})
...
shuffled_idx = np.random.permutation(len(X_train))
...
y_batches = np.array_split(y_train[shuffled_idx], n_batches)

로 변경합니다.

(p395) 코드 블럭에서

with tf.Session() as sess:
  init.run()
  for epoch in range(n_epochs):
    for interation in range(mnist.train.num_examples // batch_size):
      X_batch, y_batch = mnist.train.next_batch(batch_size)
      sess.run(training_op, feed_dict={X: X_batch, y: y_batch})

를

with tf.Session() as sess:
  init.run()
  for epoch in range(n_epochs):
    # shuffle_batch() 함수 정의는 깃허브를 참고하세요
    for X_batch, y_batch in shuffle_batch(X_train, y_train, batch_size):
      sess.run(training_op, feed_dict={X: X_batch, y: y_batch})

로 변경합니다.

(p496) 마지막 코드 블럭에서

for epoch in range(n_epochs):
  for interation in range(mnist.train.num_examples // batch_size):
    X_batch, y_batch = mnist.train.next_batch(batch_size)
    ...
    acc_train = accuracy.eval(feed_dict={X: X_batch, y: y_batch}) 
    acc_test = accuracy.eval(feed_dict={X: X_test, y: y_test}) 
    print(epoch, "훈련 정확도:", acc_train, "테스트 정확도:", acc_test)

를

for epoch in range(n_epochs):
  # shuffle_batch() 함수 정의는 깃허브를 참고하세요
  for X_batch, y_batch in shuffle_batch(X_train, y_train, batch_size):
    ...
    acc_batch = accuracy.eval(feed_dict={X: X_batch, y: y_batch})
    acc_valid = accuracy.eval(feed_dict={X: X_valid, y: y_valid}) 
    print(epoch, "배치 데이터 정확도:", acc_batch, "검증 세트 정확도:", acc_valid)

로 변경합니다.

(p528) 첫 번째 코드 블럭에서

for epoch in range(n_epochs):
  n_batches = mnist.train.num_examples // batch_size
  for iteration in range(n_batches):
    X_batch, y_batch = mnist.train.next_batch(batch_size)

를

for epoch in range(n_epochs):
  n_batches = len(X_train) // batch_size
  for iteration in range(n_batches):
    # shuffle_batch() 함수 정의는 깃허브를 참고하세요
    X_batch, y_batch = next(shuffle_batch(X_train, y_train, batch_size))

로 변경합니다.

(p532~533) 15.3.4절 코드 블럭에서

n_test_digits = 2
X_test = mnist.test.images[:n_test_digits]

with tf.Session() as sess:
  [...] # 오토인코더 훈련
  outputs_val = outputs.eval(feed_dict={X: X_test})

를

n_test_digits = 2
# X_test = mnist.test.images[:n_test_digits]

with tf.Session() as sess:
  [...] # 오토인코더 훈련
  outputs_val = outputs.eval(feed_dict={X: X_test[:n_test_digits]})

로 변경합니다.

(p545) 15.7.1절 코드 블럭에서

for epoch in range(n_epochs):
  n_batches = mnist.train.num_examples // batch_size
  for iteration in range(n_batches):
    X_batch, y_batch = mnist.train.next_batch(batch_size)

를

for epoch in range(n_epochs):
  n_batches = len(X_train) // batch_size
  for iteration in range(n_batches):
    # shuffle_batch() 함수 정의는 깃허브를 참고하세요
    X_batch, y_batch = next(shuffle_batch(X_train, y_train, batch_size))

로 변경합니다.

(p339) 10.2절 아래 네 번째 줄에서 “각각의 뉴런 수는 30개와 100개”를 “각각의 뉴런 수는 300개와 100개”로 정정합니다.(me****ge 님)
(p373) 11.2.5절 아래 세 번째 줄에서 “새로운 작업에 필요한 고주순“을 “새로운 작업에 필요한 고수준“으로 정정합니다.(me****ge 님)
(p523) 그림 15-1의 왼쪽에 쓰여진 “인코더“와 “디코더“의 위치가 서로 바뀌어야 합니다.(me****ge 님)
(p570) TIP 아래 문단 끝에 “비슷한 PG 알고리즘 (그리고 이 책의 범위를 벗어난 몬테카를로 트리 검색을 기반으로 했습니다.”에서 빠진 소괄호를 “비슷한 PG 알고리즘 (그리고 이 책의 범위를 벗어난 몬테카를로 트리 검색)을 기반으로 했습니다.”와 같이 추가합니다.(me****ge 님)
(p165) 식 4-5에서 $\sum_{i-1}^{m}$ 이 아니고 $\sum_{i=1}^{m}$ 입니다.(me****ge 님)
(p374) 주석 26번에서 CNKT가 아니고 CNTK입니다.(me****ge 님)
(p55) ‘믿을 수 없는 데이터의 효과’ 상자글 첫 문장에서 논문 링크 http://goo.gl/R5enIE 가 더이상 유효하지 않으므로 다음 주소로 http://goo.gl/KNZMEA 로 변경합니다.(임*경 님)
(p60, p61, p62) 60페이지 CAUTION 아래 두 번째 문장과, 61페이지 1.4.6절 목록 중 첫 번째 항목과, 62페이지 1.4.7절의 목록 중 세 번째 항목에서 “파라미터“를 혼돈을 줄이기 위해 “모델 파라미터“로 변경합니다.
(p61) 1.4.6절 목록 중 두 번째 항목에서 “특성 엔지니어링“이라 쓴 영어 표기를 “특성 공학“으로 수정합니다.
(p478) 연습문제 위에 있는 상자글의 첫 번째 줄에서 “예를 들어 이미지 분류에서는 업샘플링이 유용합니다.”를 “예를 들어 이미지 분할에서는 업샘플링이 유용합니다.”로 바로 잡습니다.(me****ge 님)
(p512) 네 번째 줄에서 “이들이 제한한 것은”을 “이들이 제안한 것은”으로 정정합니다.(me****ge 님)
(p91, 92) 그림 2-11과 2-12의 경도 축의 값이 모두 음수여야 합니다.
(p83) 다섯 번째 줄에서 “housing_media_age”를 “housing_median_age”로 정정합니다.
(p86) 마지막 문장 끝에 다음 주석을 추가합니다. “다음은 이를 구현한 코드입니다.<주석>옮긴이_ crc32() 함수의 결과에 비트 연산을 하는 이유는 파이썬 2와 호환성을 유지하기 위해서 입니다.</주석>“
(p322) NOTE_ 박스의 마지막 문장 “예를 들어 이전 코드에서 만들어진 …. 이름에 “relu_1“에서 “relu_5“까지 접두사를…”를 오해가 없도록 “예를 들어 앞의 코드에서 만들어진 …. 이름에 “relu_1/“에서 “relu_5/“까지 접두사를…”와 같이 수정합니다.
(p80) 첫 번째 코드 블럭에서 HOUSING_PATH와 HOUSING_URL을 설정 코드를 윈도우 환경을 위해 다음과 같이 수정합니다.(pistolet 님)
```
HOUSING_PATH = os.path.join("datasets", "housing")
HOUSING_URL = DOWNLOAD_ROOT + "datasets/housing/housing.tgz"
```
(p158) 주석 3에서 옮긴이의 주석을 “선형 최소 제곱법을 설명하는 위키백과 문서(https://goo.gl/Lf8VHJ)를 참고하세요.”에서 “정규 방정식의 증명은 위키백과 문서(https://goo.gl/WkNEXH)를 참고하세요.”로 수정합니다.
(p175) 주석 26에서 “interaction_only=False로 지정하면”을 “interaction_only=True로 지정하면”로 정정합니다.
(p466) 그림 13-9 아래 TIP 박스에서 “9 × 9 커널”을 “5 × 5 커널”로 정정합니다. 주석 24에서 “9 × 9 합성곱”을 “5 × 5 합성곱”으로, “9 × 9 필터는 81개의 파라미터”를 “5 × 5 필터는 25개의 파라미터”로 정정합니다.(박*찬 님)
(p215) 5.4.2절 첫 문장에서 “가중치 벡터 ||w||의 노름과 같습니다.”를 “가중치 벡터의 노름 ||w||와 같습니다.”로 정정합니다.
(p641) 마지막 줄에서 $\frac{\partial{f}}{\partial{y}}(3, 4)$ 를 $\frac{\partial{f}}{\partial{x}}(3, 4)$ 로 정정합니다.
사이킷런 0.20 버전 업데이트
- sklearn.preprocessing.Imputer 클래스는 사이킷런 0.22 버전에서 삭제될 예정입니다. 대신 0.20 버전에서 추가된 sklearn.impute.SimpleImputer 클래스로 변경합니다.
  - (p100) 두 번째 문단 시작 부분에 “사이킷런의 Imputer는 누락된 … 지정하여 Imputer의 객체를 생성합니다.”를 “사이킷런의 SimpleImputer는 누락된 … 지정하여 SimpleImputer의 객체를 생성합니다.”로 변경합니다. 첫 번째 코드 블럭에서
    from sklearn.preprocessing import Imputer
    imputer = Imputer(strategy=”median”)
    를
    from sklearn.impute import SimpleImputer
    imputer = SimpleImputer(strategy=”median”)
    로 변경합니다.
  - (p101) 주석 34의 첫 문장에서 ‘(예를 들면 Imputer(strategy=”median”) )’를 ‘(예를 들면 SimpleImputer(strategy=”median”) )’로 변경합니다.
  - (p108, 109) 파이프라인 정의 코드에서 ‘Imputer(strategy=”median”)’을 ‘SimpleImputer(strategy=”median”)’로 변경합니다.
- OneHotEncoder 클래스가 종전에는 훈련 데이터에 나타난 0~최댓값 사이 범위를 카테고리로 인식하여 원-핫 인코딩하지만 앞으로는 고유한 정수 값 또는 문자열을 원-핫 인코딩할 수 있습니다. 정수 특성과 문자열 특성이 함께 있는 경우에는 에러가 발생합니다. 경고 메세지를 피하고 고유한 값을 사용하는 방식을 선택하기 위해 categories 매개변수를 'auto'로 지정합니다.
  - (p103) 마지막 코드 블럭에서 encoder = OneHotEncoder()를 encoder = OneHotEncoder(categories='auto')로 변경합니다.
- 0.22 버전에서 RandomForestClassifier, RandomForestRegressor 모델의 n_estimators 기본값이 10에서 100으로 늘어납니다. 경고 메세지를 피하기 위해 명시적으로 트리 개수를 10으로 지정합니다.
  - (p114, p116) 코드 블럭에서 RandomForestRegressor()를 RandomForestRegressor(n_estimators=10)으로 변경합니다.
  - (p139, p244) 코드 블럭에서 RandomForestClassifier()를 RandomForestClassifier(n_estimators=10)으로 변경합니다.
- 공개된 훈련 데이터를 다운로드 받는 fetch_mldata 함수가 mldata.org 사이트의 잦은 에러로 openml.org 를 사용하는 fetch_openml 함수로 변경되었습니다.
  - (p124) mnist = fetch_mldata('MNIST original')을 mnist = fetch_openml('mnist_784', version=1)로 변경합니다. openml.org의 MNIST 타깃 데이터는 문자열로 저장되어 있으므로 mnist.target = mnist.target.astype(np.int)와 같이 정수로 바꾸는 것이 좋습니다.
- 사이킷런 0.22 버전에서 LogisticRegression 클래스의 solver 매개변수 기본값이 'liblinear'에서 'lbfgs'로 변경될 예정입니다. 경고 메세지를 피하고 출력 결과를 일관되게 유지하기 위하여 solver 매개변수를 'liblinear'로 설정합니다.
  - (p192, p244) LogisticRegression()을 LogisticRegression(solver='liblinear')로 변경합니다.
- SVC, SVR 클래스의 gamma 매개변수 옵션에 'auto'외에 'scale'이 추가되었습니다. 'auto'는 1/n_features, 즉 특성 개수의 역수입니다. 'scale'은 1/(n_features * X.std())로 스케일 조정이 되지 않은 특성에서 더 좋은 결과를 만듭니다. 사이킷런 0.22 버전부터는 gamma 매개변수의 기본값이 'auto'에서 'scale'로 변경됩니다. 서포트 벡터 머신을 사용하기 전에 특성을 표준화 전처리하면 'scale'과 'auto'는 차이가 없습니다. 경고를 피하기 위해 명시적으로 'auto' 옵션을 지정합니다.
  - (p213) 맨 아래 코드 블럭에서 SVR(kernel="poly", degree=2, C=100, epsilon=0.1)을SVR(kernel="poly", gamma='auto', degree=2, C=100, epsilon=0.1)로 변경합니다.
  - (p244) SVC()를 SVC(gamma='auto')로 변경합니다.
- LinearSVC의 verbose 매개변수가 0이 아닐 때 max_iter 반복 횟수가 부족하면 경고 메세지가 출력됩니다. 사이킷런 0.20 버전부터는 verbose 매개변수에 상관없이 max_iter 반복 안에 수렴하지 않을 경우 반복 횟수 증가 경고가 나옵니다. 경고 메세지를 피하기 위해 max_iter 매개변수의 기본값을 1,000에서 2,000으로 증가시킵니다.
  - (p206) LinearSVC(C=10, loss="hinge")를 LinearSVC(C=10, loss="hinge", max_iter=2000)으로 변경합니다.
(p468, p541, p543, p565) cross entropy의 번역으로 ‘크로스 엔트로피’와 ‘교차 엔트로피’를 혼용하여 사용했습니다. 일관성을 위해 ‘교차 엔트로피‘를 ‘크로스 엔트로피‘로 정정합니다.
(p243) 주석 1번에서 이항 계수 공식이 잘못 옮겨져 있습니다. $\frac{n}{k}p^k(1-p)^{(n-k)}$ 를 ${n \choose k}p^k(1-p)^{(n-k)}$ 로 정정하고 $\frac{1000}{1}0.51^1(1-0.51)^{(1000-1)}$ 는 ${1000 \choose 1}0.51^1(1-0.51)^{(1000-1)}$ 로 정정합니다.
(p243) 주석 1번에서 binom.cdf() 함수를 사용하는 방법을 올바르게 설명하지 못해 수정합니다. 1-scipy.stats.binom.cdf(499, 1000, 0.51) = 0.747을 from scipy.stats import binom; 1-binom.cdf(499, 1000, 0.51) = 0.747으로 변경합니다. 1-scipy.stats.binom.cdf(4999, 10000, 0.51) = 0.978을 1-binom.cdf(4999, 10000, 0.51) = 0.978으로 변경합니다.
(p169) 페이지 첫 문장에서 “천천히 냉각시키는 어닐링annealing(담금질) 과정”을 “천천히 냉각시키는 어닐링annealing(풀림) 과정”으로 변경합니다.(이*혁 님)
(p271) 주석 3번에서 “안쪽 사각형의 너비는“을 “안쪽 사각형의 면적은“으로 정정합니다.
(p285) 8.4절 두 번째 문단의 첫 문장에서 “복잡한 비선형 투영으로의 차원 축소를 가능하게 할“을 보다 명확한 표현인 “차원 축소를 위한 복잡한 비선형 투형을 수행할“로 바꿉니다.
(p74, p656) 2.2.3절 위에 있는 리스트의 첫 번째 항목과 찾아 보기에서 “Euclidian norm”을 “Euclidean norm”으로 정정합니다.
(p356) 표 11-1의 로지스틱과 하이퍼볼릭 탄젠트 공식이 서로 바뀌었습니다.(Kim **youn 님)
(p296) 첫 번째 문장 끝에서 “(9장 참조)”를 “(12장 참조)”로 정정합니다.(배*경 님)
(p445) TIP의 마지막 문장에서 여분의 복제 모델의 영문 표기를 “sparse replica”에서 “spare replica”로 정정합니다.(김*윤 님)
(p449) 12장의 연습 문제 1번에서 “CUDA_ERROR_OUR_OF_MEMORY”를 “CUDA_ERROR_OUT_OF_MEMORY”로 정정합니다.(김*윤 님)
(p469) 28번 주석에서 “상대적으로 뉴런의 출력( $a_i$ )이 줄어듭니다.”를 “상대적으로 뉴런의 출력( $b_i$ )이 줄어듭니다.”로 정정합니다.(서*우 님)
(p356) 식 11-1의 제목 “세이비어 초기화(로지스틱 활성화 함수를 사용했을 때)”를 “세이비어 초기화(하이퍼볼릭 탄젠트 활성화 함수를 사용했을 때)”로 정정합니다.

(p496) 32번 에러타가 충분히 반영되지 못했습니다.(J.Hoo 님)
페이지 중간 부분의 코드 블럭

from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("/tmp/data/")
X_test = mnist.test.images.reshape((-1, n_steps, n_inputs))
y_test = mnist.test.labels

를

(X_train, y_train), (X_test, y_test) = tf.keras.datasets.mnist.load_data()
... # 스케일 조정
X_valid, X_train = X_train[:5000], X_train[5000:]
y_valid, y_train = y_train[:5000], y_train[5000:]
X_valid = X_valid.reshape((-1, n_steps, n_inputs))

로 변경합니다.

(p116) 페이지 중간 코드에서 forest_reg = RandomForestRegressor(n_estimators=10)를 forest_reg = RandomForestRegressor()로 정정합니다.(이*영 님)
(p88) 원문의 popluation을 ‘모수’로 잘못 옮겼습니다. 본문에서는 캘리포리아 지역 ‘인구’로 주석에서는 ‘모집단’으로 정정합니다. 위에서 4번째 줄에서 “전체 모수는 계층이라는 동질의 그룹으로 나뉘고, 테스트 세트가 전체 모수를 대표하도록”를 “전체 인구는 계층이라는 동질의 그룹으로 나뉘고, 테스트 세트가 전체 인구를 대표하도록”로 정정합니다. 주석 24번에서 “샘플 수가 n이고 모수에서의 비율이 p일 때”를 “샘플 수가 n이고 모집단에서의 비율이 p일 때”로 정정합니다.
(p218) 세 번째 문단에서 “특성 가중치 $w_i=p_i$ (여기서 i=1, 2, …, m)을 담고 있습니다”를 “특성 가중치 $w_i=p_i$ (여기서 i=1, 2, …, n)을 담고 있습니다”로 정정합니다.(임*경 님)
(p250) 밑에서 3번째 줄에 RandomForestClassifer를 RandomForestClassifier로 정정합니다.(id***8 님)
(p468) 표 13-2에서 C7과 F8 사이에 최대 풀링 층이 추가되어야 합니다. “F8, 최대 풀링, 256, 6×6, 3×3, 2, VALID, –“입니다. C1 층의 패딩을 SAME에서 VALID로 정정합니다. 입력 층의 크기를 224×224에서 227×227로 정정합니다.(이*엽 님)
(p534) 그림 15-7 바로 아래에 있는 문장을 다음과 같이 바꿉니다. “앞의 다섯 개 특성에는 0에서 9까지 숫자의 다양한 특징이 복잡하게 섞여 있는 것 같습니다(이 특성들은 … 가져왔습니다)” (이*엽 님)
(p171) 21번 주석 학습률 $\eta^{(t)}$ 공식에서 분모가 $t^{powet\_t}$ 가 아니고 $t^{power\_t}$ 입니다.(조*기 님)

Your Inputs