'누구나 딥러닝'의 시대가 오는 것일까.
몇 주 전 OpenAI에서 GPT-3라는 딥러닝 모델을 발표했다. 당시 딥러닝 관련 커뮤니티 반응은 대부분 500B의 데이터셋, 175B개의 파라미터라는 그 '크기' 얘기가 주를 이뤘다. 이러한 분위기에는 아마도' '그 정도로 엄청난 자원을 쏟아부어 만든 모델이니 당연히 잘 되겠지...'라는 생각들이 자리잡고 있었던 것 같다. 나도 그 중 하나였고...
그런데 이 영상을 보니 GPT-3는 단순히 규모를 키워 성능을 높인 모델 이상의 의의를 지니는 듯 하다. 기술적인 놀라움은 남세동님이 잘 설명해 주셨으니 난 이 모델이 가져올 '접근성의 변화'에 주목하고 싶다.
딥러닝 모델을 훈련시키려면 기본적으로 많은 컴퓨팅 자원과 시간이 소모된다. 특히 NLP 문제들을 인간 수준으로 푸는 딥러닝 모델들을 만들기 위해 그 규모는 점점더 커져왔다. 자연스럽게 이렇게 힘들게 만든 모델을 어떻게 하면 해당 태스크에만 사용하는게 아니라 다양한 유저와 다양한 문제들에도 이용할 수 있을까에 대한 시도들이 있었다. 그 결과 초기 end-to-end 모델에서, 워드임베딩 사전을 가져다 쓰는 방식으로, 또 프리트레인 된 네트워크를 가져다가 그대로 쓰는 feature-based approach나 해당 task 데이터에 맞게 모델을 튜닝 시키는 fine-tuning 방식으로 이어져왔다. (NLP에서 이를 제대로 구현한 모델이 나온게 불과 2년 전이다)
하지만 이 fine-tuning 방식조차 튜닝을 위해서는 (딥러닝 수준에서 보자면 적지만 그래도 꽤나 큰) 데이터와 일정 시간의 튜닝 과정을 거쳐야 했다. 좋은 컴퓨팅 자원을 가진 머신러닝 엔지니어가 최소 며칠은 꼬박 들여야 하는 작업이다.(물론 이 기간에는 가장 어렵고 중요한 데이터 수집 및 정제 단계는 빠져있다) 당연히 ML이라는 기술은 기업에서 풀어야할 문제, 좀 더 넓게는 ML엔지니어가 풀고 싶은 문제 수준에만 적용될 수 있었다.
그런데 GPT-3는 few-shot learning을 통해 ML 기술 적용 대상을 '프로그래밍을 전혀 모르는 일반인이 풀고 싶은 문제' 수준으로 단숨에 끌어내린다.
이 API는 명세서가 없다. 프로그래밍 지식이 전혀 없어도 '영어'만 할 줄 알면 나의 의도를 기계에게 전달할 수 있다. API 제작자가 사전에 고려하지 못한 task도 이용해 수행할 수 있는 범용성을 지닌다. 개인이 하고 싶은 작업에 대해 대여섯가지 사례만 잘 입력해주면 최고 수준의 ML 모델을 '개인적인' 문제에 적용해 볼 수 있는 시대가 열린 것이다.
과연 이 '설명서'가 필요없는 ML API가 가져올 미래는 어떠할까. 또 이를 사용할 수 있는 권리를 가진 회사/국가와 그렇지 않은 회사/국가의 간극은 얼마나 커질것인가. 냉전시대의 군비경쟁처럼 국가 존망을 두고 벌이는 ML전쟁이 정말 눈앞에 와있다.
기술적 측면에서의 놀라움을 느끼고 싶다면 남세동님의 글을, https://m.facebook.com/story.php?story_fbid=3177778368947674&id=100001466253230
이 모델을 조금이나마 이해해보고 싶다면 먼저 이상훈님의 글을 읽어보자. 아직은 초기 모델이라 잘하는 태스크와 잘 하지 못하는 태스크가 있다고 하니 앞으로 인간은 무엇을 학습하고 일해야 하는지에 대한 힌트를 얻을 수 있을수도... https://m.facebook.com/groups/255834461424286?view=permalink&id=1210069189334137