Google IO 2016에서 선다 피차이 CEO의 키노트 말미에 발표한 TPU(Tensor Processing Unit)가 많이 회자되고 있습니다. 구글이 직접 칩셋을 만들기 시작했으니 Nvidia의 입장이 어떠할지 궁금하고 GPU의 가격이 좀더 낮아지지 않을까 하는 예상하는 사람들도 있었습니다.

며칠 전 대만에서 열린 컴퓨텍스(Computex) 전시회에서 젠슨 황 Nvidia 대표가 구글 TPU에 대해 언급한 내용이 보도 되었습니다. 젠슨은 구글의 TPU가 머신러닝의 훈련(training)과 추론(inferencing) 중 추론에 최적화되어 있다고 언급하고 대량의 데이터를 이용한 알고리즘 훈련 단계에서는 Nvidia GPU를 사용할 수 밖에 없음을 시사했습니다. 이는 Kevin Krewell이 언급한 내용을 보도한 기사에서도 같은 내용을 엿볼 수 있습니다. 추론단계의 연산은 훈련보다 복잡하지 않기 때문에 최적화하기 쉽다고 언급되어 있고 여전히 구글은 Nvidia로 부터 많은 양의 GPU를 구매하고 있다고 합니다.

그러나 어떤 내용에 근거해서 TPU가 추론단계에만 사용되는 프로세서라고 한 것인지는 찾지 못했습니다. 구글이 공식적으로 공개한 자료에는 그런 부분은 없는 듯 합니다. 다만 두 기사의 내용을 미루어 보아 상당히 믿을만하다고 보입니다. 다양한 웹 서비스를 제공하는 구글 입장에서는 추론에 드는 시간을 단축하여 사용자 경험을 높이는 쪽에 더 관심이 많았을 수 있습니다. Nvidia가 TPU에 대해 크게 걱정을 할 필요가 없는 것인지 아니면 그런 척하는 것인지, 또 앞으로 구글이 훈련단계에 까지 적용 가능한 프로세서를 만들어낼지 등등 많은 것이 궁금하네요.