Tag Archives: Pedro Domingos

AI == Deep Learning?

딥러닝(Deep Learning)은 인공지능(Artificial Intelligence)과 같은 건가요? 라고 누가 묻는다면 조금 멈칫거릴 것 같습니다. 두 단어를 모두 많이 쓰기도 하고 듣기도 했지만 차이에 대해선 깊에 생각해 본적이 없었던 것 같습니다. 아마도 다른 사람들도 이를 혼용해서 부르거나 각기 나름대로 구분해서 생각할 것 같은데요. KD너겟(KDnuggets)에서 이와 관련된 글이(Is “Artificial Intelligence” Dead? Long Live Deep Learning?!?) 실렸습니다. 페드로 도밍고스(Pedro Domingos) 교수를 비롯해서 7명의 전문가에게 나름대로 두 단어의 정의를 부탁했습니다.

ai-ml-dl

출처: KD너겟 홈페이지

사람마다 조금씩 바라보는 시각이 다르지만 대체적으로 큰 틀에서는 딥러닝은 머신러닝(Machine Learning)의 부분 집합이며 인공지능은 머신러닝을 포괄하는 큰 의미로 생각하고 있습니다. 따라서 딥러닝은 인공지능의 동의어도 아니고 인공지능을 대체하는 개념도 아닙니다. 최근의 성과에 힘입어 미디어에서 딥러닝과 인공지능을 혼용하여 사용하지만 딥러닝은 딥 뉴럴 네트워크(Deep Neural Networks)를 사용한 머신러닝의 한 분야입니다.

딥러닝이 주로 인공지능 분야에 활용되고 있지만 인공지능은 딥러닝 이외에도 강화학습(reinforcement learning), 몬테카를로 트리탐색(Monte Carlo tree search), 유전자 알고리즘(Genetic algorithm) 등과 같은 기술이 함께 사용되고 있다는 점을 설명하고 있습니다. 인공지능은 또 머신러닝과 상관없는 문제해결(Problem Solving), 검색(Search), 지식표현(Knowledge Representation) 등 많은 다른 분야와 연관되어 있다는 점을 페드로 도밍고스 교수가 지적하고 있습니다.

그는 딥러닝은 특별히 이미지(비전), 텍스트(언어), 음성 등의 분야에서 주로 사용되고 있으며 구조화 되지 않은 입력 데이터를 이용해서 예측을 하는 데는 여전히 일반적인 머신러닝 알고리즘인 앙상블(Ensemble) 메소드나 서포트 벡터 머신(SVM) 등이 좋은 선택이라고 말하고 있습니다.

트위터의 휴고 라로쉘(Hugo Larochelle)도 인공지능은 궁극적인 목표이고 딥러닝을 그에 다다르기 위한 수단 중 하나라고 정의하고 있습니다. 소울 해커스 랩(Soul Hackers Labs)의 CEO 카를로스 아구에타(Carlos Argueta)는 자연어 처리나 컴퓨터 비전에 대해 이야기하면 사람들이 하나 같이 ‘딥러닝을 사용하나요?’ 라고 묻는데 아주 피곤하다고 하네요. 🙂

(업데이트) 7월말에 엔비디아(Nvidia) 블로그에 이와 관련된 글(What’s the Difference Between Artificial Intelligence, Machine Learning, and Deep Learning?)이 실렸습니다. 이 글에서도 딥러닝은 인공지능이나 머신러닝 보다 최근에 각광받기 시작했으며 머신러닝의 한 분야임을 잘 설명하고 있습니다.

deep_learning_icons_r5_png-jpg

 출처: 엔비디아 블로그

Montreal DL Summer School Lectures!

이달 초에 몬트리올에서 진행됐던 딥러닝 서머스쿨의 동영상이 공개되었습니다. 강의자들을 보면 제프 딘(Jeff Dean), 요슈아 벤지오(Yoshua Bengio), 조경현 교수 등이 있습니다. 아직 발표자료와 동영상이 모두 매치되지는 않았습니다. 많은 사람들이 환영을 하는 만큼 놓칠 수 없는 자료 같습니다.

스탠포드 대학에서도 다음달 딥러닝 서머스쿨을 연다고 하는데요. 이 영상도 공개되었으면 하는 바램입니다. 그리고 9월 24~25일에 열리는 AI 온라인 컨퍼런스인 AI with the Best에 페드로 도밍고(Pedro Domingos) 교수가 합류했다는 소식입니다.

Pedro Domingos’s ML 2016 Lecture

워싱턴 대학교의 페드로 도밍고(Pedro Domingos) 교수가 2016년 4~5월에 진행한 머신 러닝(CSEP546) 수업 동영상을 유투브에서 볼 수 있고 mp4 파일로도 다운로드 받을 수 있도록 제공하고 있습니다. 강의 슬라이드과 과제등의 자료도 온라인에 그대로 공개되어 있습니다.

Facebook’s FAIR and AML

fastcompany.com에 페이스북의 FAIR(Facebook AI Research) 팀과 AML(Applied Machine Learning) 팀에 대한 기사가 게재되었습니다. FAIR는 얀 리쿤(Yann LeCun) 교수가 2014년 초에 페이스북에 합류하면서 만들어진 팀이고 AML은 Joaquin Candela가 리더로서 그 이후에 만들어 졌다고 합니다.

FAIR는 리서치와 개발을 7:3의 비율로 가지고 있어 좀 더 장기적인 연구를 수행하고 있고 AML은 그 반대의 비율로 페이스북 서비스에 적용할 제품을 위해 수개월 정도의 단기 개발을 주로 합니다. 페이스북은 AI 분야에 많은 투자를 하고 있고 주커버그의 최대 관심사이기도 합니다. 또 페이스북 전체적으로 오픈 소스에 기여하려고 노력한다고 합니다. 특히 뉴욕대학의 교수인 리쿤은 연구자가 결과물을 공개하지 않고 기업의 이익을 쫓을 경우 낙오가 되고 실패하게 된다고 말합니다. FAIR 그룹의 현재 최대 프로젝트는 애플의 시리, 구글의 어시스턴트, 아마존의 알렉사 같은 인공지능 비서를 위한 텍스트, 음성 인식 분야 입니다.

그런데 페이스북의 AI에 대한 미래 청사진이나 어떤 사람들이 연구에 참여하고 있는 지 보다 이 기사에서 더 눈에 띄는 것은 The Master Algorithm의 저자인 워싱톤 대학교의 페드로 도밍고스(Pedro Domingos) 교수의 말입니다. “They were a late comer, Companies like Google and Microsoft were far a head(페이스북은 뒤 늦게 시작했습니다. 구글이나 마이크로소프트가 많이 앞서 있습니다.)

구글은 2011년 구글 브레인 팀을 시작했습니다. 넉넉잡아도 페이스북과 3년정도의 차이인데 그 갭이 작지 않은 것 같습니다. 페이스북이 조급증을 버리고 AI의 강자로 자리매김할 수 있을지 기대해 봅니다.

MLConf 유투브 비디오

머신러닝 컨퍼런스 MLconf 는 일년에 몇차례씩 열리지만 모두 미국의 주요도시에서 하루씩 진행하는 터라 쉽게 참여하기는 어렵습니다. 다음 컨퍼런스는 5/20일에 시애틀에서 열립니다. 하지만 이전 컨퍼런스의 동영상을 모두 유투브에 공유해 주고 있습니다. 목록이 꽤 많으니 관심있는 주제를 찾아서 보시는 게 좋을 것 같습니다.

아래는 2015년 MLconf 아틀란타에서 워싱톤 대학교 Pedro Domingos 교수의 ‘The Five Tribes of Machine Learning, and What You Can Take from Each’ 영상입니다.