Tag Archives: Slim

New ConvNet Model Inception-ResNet-v2

image00

출처: 구글 리서치 블로그

구글이 리서치 블로그를 통해 새 콘볼루션 모델인 Inception-ResNet-v2를 발표했습니다. Inception v3 모델에 ResNet 장점을 흡수시킨 이 모델의 ILSVRC 테스트 결과가 기록을 갱신했다고 합니다. 위 그림은 이 네트워크를 그림으로 표현한 것으로 아래 그림은 중복부분을 간략하게 나타낸 버전입니다. 메모리와 연산 비용은 Inception v3에 비해 거의 두배가량 늘어났다고 합니다. ISLVRC 테스트 결과는 아래와 같습니다.

inception-resnet-v2-result

출처: 구글 리서치 블로그

이 모델에 대한 페이퍼는 여기에서 보실 수 있으며 슬림(Slim)으로 작성된 모델은 텐서플로우 깃허브 마스터 브랜치에 포함되어 있습니다. 텐서플로우로 학습시켜 놓은 체크포인트 파일도 다운로드 받으실 수 있습니다. 체크포인트 파일에 대한 간단한 사용방법은 슬림 안내 문서를 참고해 주세요. 이 정도면 가히 풀 서비스라고 할만 하네요.

Predefined models in TF Slim

텐서플로우 슬림(Slim)에 잘 알려진 콘볼루션 모델들이 추가될 예정입니다. 텐서플로우 버전 0.10 브랜치에는 현재 AlexNet v2, Overfeat, VGG11, VGG16 가 들어가 있고 마스터 브랜치에는 Inception v1, v2, v3 와 ResNet v1, v2 그리고 VGG19가 더 추가되어 있습니다.

케라스(Keras)가 VGG, Inception, ResNet 모델에 대한 파라메타를 함께 제공하는 것과는 달리 슬림에 포함된 것은 모델 정의(즉 그래프 구성) 부분입니다.(슬림도 훈련된 모델 데이터를 제공하고 있습니다. 아래 내용을 참고해 주세요.)

(업데이트) 구글 리서치 블로그에서 슬림(Slim)의 업데이트에 대해 공식적으로 발표를 하였습니다. 슬림이 contrib 디렉토리에 있기 때문에 서드파티 수준으로 여겼는데 조금 의외입니다. 슬림 패키지는 구글 브레인팀에서 직접 개발을 하고 있는 것 같습니다. 이름도 TF-Slim으로 정식 명칭을 사용했습니다. 발표 내용을 보면 콘볼루션 모델이외에도 다양한 기능들이 추가되었고 미리 훈련된(pre-trained) 모델 데이터도 텐서플로우 모델 깃허브에서 제공하고 있습니다.

OpenAI and ML Unconference

오늘 OpenAI에서 10월 7~8일에 머신러닝 언컨퍼런스(unconference)를 개최한다고 홈페이지를 통해 공지했습니다. 언컨퍼런스라고 하면 보통 페이퍼를 등록하는 위원회가 없이 참여자들이 자유스럽게 여러가지 주제에 대해 토론하고 발표하는 것을 말합니다. 이렇게 하는 이유는 컨퍼런스에서 페이퍼를 등록하고 준비하는 기간이 수개월이나 소요되어 머신러닝 분야의 발전속도에 따라가지 못하기 때문이라고 합니다. 일반적으로 컨퍼런스의 주요 목적중의 하나인 네트워킹에 중점을 두어 최근 동향과 연구를 다루려고 하는 것 같습니다. 아직 구체적인 스케줄이나 방식은 나오지 않았습니다만 대략 150명의 인원을 대상으로 하며 OpenAI 사무실에서 진행될 예정이라고 합니다. 미리 참여를 확보한 리스트에는 구글 브레인팀을 비롯해 여러 PhD 학생과 연구자들이 있습니다. 온라인으로 누구나 신청할 수 있습니다만 초청 대상이 되는 것은 PhD 학생이나 주요 연구자들이 대상이 될 것으로 보입니다. 혹 초짜라면 다른 컨퍼런스를 알아보라고 하네요. ㅠ.ㅠ

이 발표가 있기 며칠전 OpenAI의 새로운 팀원이 추가된 공지가 올라왔습니다. 새로운 멤버에 대해서 아는 바는 없지만 기술 저술가인 잭 클라크(Jack Clark)가 추가된 것이 독특합니다. 잭은 불룸버그나 비즈니스위크 등에 인공지능 관련 기사에서 종종 볼 수 있는데요. OpenAI가 연구자 이외에 저술가 혹은 정책가로 팀 구성을 확대하는 점이 관심을 끄네요. 특히 그는 ‘Import AI‘라는 인공지능 관련 뉴스레터를 발행하고 있습니다(이름이 재미있습니다. 잭이 파이썬을 얼마나 쓰는지는 모르겠습니다). 이메일을 등록하시면 최근 업계 동향을 받아 볼 수 있습니다.

스탠포드 PhD 학생이면서 OpenAI의 팀원인 안드레이 카패시(Andrej Karpathy)는 최근 트위터를 통해 OpenAI에서 사용하는 주요한 딥 러닝 프레임워크는 텐서플로우라고 밝혔습니다. 하지만 사용하는 사람들이 각각 다른 방법을 쓰고 있어서 어려움을 느끼고 있는 것 같습니다. Slim, PrettyTensor, Keras, TFLean(aka. skflow) 등등. 아마 래퍼 라이브러리를 쓰지 않는 사람까지 고려하면 코드 공유에 약간 장애가 되겠네요. 안드레이는 slim을 쓴다고 합니다. 🙂

케라스의 개발자인 구글의 프랑소와 숄레(François Chollet)가 가끔 트위터에 깃허브의 머신러닝 라이브러리 인기도를 조사해서 올리곤 합니다. 직감으로 알 수 있듯이 텐서플로우가 당연히 1위 입니다. 사실 이런 인기도 조사를 하는게 크게 의미가 있는 것이 아니고 프랑소와가 할만한 일도 아니라고 생각되는데요. 이런 트윗에 영 심기가 불편한 것은 토치를 사용하는 페이스북의 연구자들입니다. 숫자가 너무 차이가 나거든요. ㅠ.ㅠ