1.3.6 지속될까?

1.3.5 딥러닝의 대중화 | 목차 | 2 시작하기 전에: 신경망의 수학적 구성 요소

 

회사가 투자를 하고 연구자들이 모이는 것이 당연한 어떤 특별한 점이 심층 신경망에 있는 것일까요? 아니면 딥러닝은 그저 유행이라 사라지게 될까요? 20년 후에도 심층 신경망을 사용하고 있을까요?

딥러닝의 현재 상태를 AI의 혁명이라고 정의할 수 있는 몇 가지 특징이 있습니다. 지금부터 20년 후에는 신경망을 사용하지 않을지도 모르지만, 딥러닝과 딥러닝의 핵심 개념에서 직접 파생된 무엇인가를 사용할 것입니다. 이 중요한 특징은 크게 세 가지 범주로 나눌 수 있습니다.

  • 단순함: 딥러닝은 특성 공학이 필요하지 않아 복잡하고 불안정한 많은 엔지니어링 과정을 엔드-투-엔드로 훈련시킬 수 있는 모델로 바꾸어 줍니다. 이 모델은 일반적으로 5~6개의 텐서 연산만을 사용하여 만들 수 있습니다.
  • 확장성: 딥러닝은 GPU 또는 TPU에서 쉽게 병렬화할 수 있기 때문에 무어의 법칙 혜택을 크게 볼 수 있습니다. 또 딥러닝 모델은 작은 배치batch 데이터에서 반복적으로 훈련되기 때문에 어떤 크기의 데이터셋에서도 훈련될 수 있습니다(유일한 병목은 가능한 병렬 계산 능력이지만 무어의 법칙 덕택에 빠르게 그 장벽이 사라지고 있습니다).
  • 다용도와 재사용성: 이전의 많은 머신 러닝 방법과는 다르게 딥러닝 모델은 처음부터 다시 시작하지 않고 추가되는 데이터로도 훈련할 수 있습니다. 대규모 제품에 사용되는 모델에는 아주 중요한 기능인 연속적인 온라인 학습online learning을 가능하게 합니다. 더불어 훈련된 딥러닝 모델은 다른 용도로 쓰일 수 있어 재사용이 가능합니다. 예를 들어 이미지 분류를 위해 훈련된 딥러닝 모델을 비디오 처리 작업 과정에 투입할 수 있습니다. 더 복잡하고 강력한 모델을 만들기 위해 이전의 작업을 재활용할 수 있습니다. 또 아주 작은 데이터셋에도 딥러닝 모델을 적용할 수 있습니다.26

딥러닝이 스포트라이트를 받은 지 겨우 몇 년밖에 되지 않았고 할 수 있는 모든 영역에 접목해 보지 못했습니다. 매달 새로운 사례와 이전의 제약을 허무는 향상된 기술이 등장합니다. 과학 혁명 뒤에는 일반적으로 시그모이드sigmoid 곡선27 형태로 진행됩니다. 초창기에는 매우 빠르게 진행되고 연구자들이 험난한 난관에 부딪히면서 점차 안정되어 나중에는 조금씩 향상됩니다. 2017년의 딥러닝은 시그모이드의 처음 절반 안쪽에 있는 것 같습니다. 앞으로 몇 년 동안 이 혁명은 훨씬 더 빠르게 진행될 것입니다.

 


 

26 역주 이미 학습된 모델의 층을 재사용하여 대부분을 구성하고 1~2개의 층만 새롭게 추가한다면 적은 수의 데이터셋으로도 규모의 모델을 만들 수 있습니다. 이런 경우 재사용되는 층의 가중치가 더 이상 학습되지 않게 동결시킬 수 있습니다. 5장과 7장에서 이에 대해 자세히 소개합니다.
27 역주 시그모이드 함수는 S 형태를 띤 곡선입니다. 그림 3-5를 참고하세요.

 

1.3.5 딥러닝의 대중화 | 목차 | 2 시작하기 전에: 신경망의 수학적 구성 요소

 

이 글은 도서출판 길벗에서 출간한  “케라스 창시자에게 배우는 딥러닝“의 1장~3장입니다. 이 책의 저작권은 (주)도서출판 길벗에 있으므로 무단 복제 및 무단 전제를 금합니다.

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Google+ photo

Google+의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

%s에 연결하는 중

This site uses Akismet to reduce spam. Learn how your comment data is processed.