Transformer 모델의 시작: Attention is All You Need

바야흐르 현재 전세계는 AI chatGPT의 시대에 살고 있습니다. 하지만 AI라는 키워드는 구글의 알파고 부터 시작해 전혀 새로운 개념이 아니며 인공지능이라는 단어는 새롭지 않은데, 왜 굳이 GPT에 집중하는지를 팔로백 해보면 구글 brain에서 2017년도에 작성한 논문 ‘Attention Is All You Need’ 라는 논문을 발견하게 됩니다.

자연어 처리(NLP) 분야에서는 주로 RNN(Recurrent Neural Networks)이나 LSTM(Long Short-Term Memory) 같은 순차적 모델이 사용되었습니다. 이러한 모델들은 문장을 단어 단위로 하나씩 처리하곤 해서 번역 같은 작업을 진행하는데 시간이 많이 걸리고, 때로는 문맥을 정확하게 파악하지 못하는 문제가 있었습니다. 상상해보세요, 단어를 하나씩 천천히 읽는 친구가 있다고 생각해보세요. 그 친구는 전체 문맥을 놓치기 쉽죠.

트랜스포머 모델은 복잡한 구조 없이도 뛰어난 성능을 보여주어 AI 분야에 혁신을 가져왔습니다. 예를 들어, "나는 학교에 간다"라는 문장에서 "나는"과 "간다"가 중요한 정보라면, 주목 메커니즘은 이 부분에 더 많은 중점을 둘 것입니다. 이 메커니즘은 문장의 전체적인 의미를 파악할 때, 각 단어가 얼마나 중요한지를 계산하여 그 중요도에 따라 가중치를 부여합니다. 이렇게 하면 모델은 중요한 정보를 더 잘 파악하고, 이를 바탕으로 더 정확한 번역이나 문장 분석을 할 수 있게 됩니다.주목 메커니즘은 특히 긴 문장이나 복잡한 문장 구조에서 더욱 빛을 발하며, 이로 인해 더 빠르고 정확한 결과를 얻을 수 있습니다.

이 논문에서는 "Attention Mechanism"이라는 새로운 개념이 소개되었습니다. 이 기술은 모델이 문장의 여러 부분에 동시에 '주목'하여 더 빠르고 정확하게 정보를 처리할 수 있게 해줍니다. 이건 마치 여러분이 텍스트 메시지를 읽을 때 중요한 부분만 빠르게 스캔하는 것과 비슷합니다. 이 논문 덕분에 Transformer 모델이 개발되어 현재 많은 NLP 애플리케이션에서 사용되고 있습니다. 그 예시론 chatGPT, chat Generative Pre-trained Transformer, 의 모델이 나왔으며 지금의 AI 혁신이 시작 되었습니다.

구글에서 AI의 혁신을 가져왔지만, 퇴사한 저자들은 어디로?

구글의 혁신적인 페이퍼는 AI 발전에 이바지를 했지만, 올해 8월 기준으로 해당 논문을 작성한 저자들은 모두 구글을 퇴사한 상태 입니다. 총 8명의 저자들, 구글을 퇴사한 이후 다들 어디로 갔을까요?

AI는 그만, 다른 분야로

모든 창업자가 AI의 한 우물만 파진 않았습니다. 저자들중 Jakob Uszkoreit 과 Illia Polosukhin는 AI가 아닌 전혀 다른 블록체인 과 바이오 산업에 뛰어들었습니다.

Jakob Uszkoreit: 바이오 기술로 간다!

Jakob Uszkoreit는 AI에서 벗어나 바이오 기술에 특화된 스타트업인 Inceptive Nucleics을 창업했습니다. 이 회사는 'Biological Software' 개념을 중심으로, 합성 분자를 이용하여 복잡한 기능을 수행할 수 있는 새로운 약물과 생물기술을 개발하는 것을 목표로 하고 있습니다. 회사의 연구팀은 다양한 전문 분야에서 온 과학자, 머신러닝 연구자, 엔지니어, 그리고 기업가로 구성되어 있습니다. 그들은 시리즈 A까지 투자를 받았으며 총 1억 2천만 달러를 유치하는 등의 성과를 보이고 있습니다.

Illia Polosukhin: 그래서 NEAR 사요?

Illia Polosukhin은 블록체인 플랫폼인 NEAR Protocol을 설립했습니다. 이 플랫폼은 개발자와 사용자 친화적인 환경을 제공하며, 이더리움과 경쟁하는 디앱(분산 애플리케이션) 플랫폼입니다. NEAR 토큰은 트랜잭션 수수료와 저장 공간에 사용되며, Proof-of-Stake 블록체인과 샤딩 기술을 활용해 확장성을 높이고 있습니다. 현재 마켓 캡은 10억 달러를 유지하고 있으며, 시리즈 D까지 투자를 받았으며 총 5억 3870만 달러를 유치했습니다.

AI 한 우물만 판다

Łukasz Kaiser: openAI 로 이직

Łukasz Kaiser는 인공지능 분야에서 주목받는 학자와 엔지니어로서, 독일의 아헨라인베스트팔렌공과대학교에서 박사 학위를 취득한 뒤 2013년부터 구글에서 시니어 소프트웨어 엔지니어로 7년 9개월 동안 활약했습니다. 이 기간에 그는 트랜스포머 모델을 중심으로 꾸준한 연구를 수행하며 다양한 인공지능 응용분야에서 그 모델이 핵심적인 역할을 할 수 있도록 기여했습니다. 그러나 그의 끊임없는 탐구와 비전은 여기서 그치지 않았습니다. 이러한 배경을 바탕으로, 그는 OpenAI로 이직했으며, 비록 공식적으로 그의 역할이 명확하게 밝혀진 것은 아니지만, 그의 깊은 트랜스포머 모델에 대한 이해와 이전의 연구 경험은 ChatGPT의 혁신적인 성능에 결정적으로 기여했을 것으로 믿어 의심치 않습니다.

Ashish Vaswani & Niki Parmar: Adept AI 창업후 새로운 스타트업 창업

Ashish Vaswani와 Niki Parmar는 현재 Adept AI Labs를 창업후 현재 새로운 스타트업을 창업중입니다. Adept AI Labs는 ACT-1이라는 트랜스포머 기반의 AI 툴을 개발하여 인터넷과의 상호작용 방식으로 움직이는 AI 툴입니다. 구글 크롬 익스텐션으로 작동하며, 사용자가 특정 웹페이지에 접속하자마자 개인 비서가 되어줍니다. 예를 들어, 부동산 사이트에 들어가 4명 가족이 살 수 있는 집을 50만 달러 이하로 찾아달라고 하면, ACT-1은 트랜스포머 메커니즘으로 이를 가능케 합니다.

최근에 공개된 Persimmon-8B는 100억 매개변수와 Apache 라이선스를 특징으로 하며, 16K의 컨텍스트 크기로 LLaMA2의 4배, GPT-3와 MPT 등의 8배에 달하는 놀라운 성능을 보입니다. 더욱 놀라운 점은, 이 모델은 LLaMA2의 0.37배의 데이터로 학습되었음에도 LLaMA2와 동등한 성능을 보이며, 7만 개의 미사용 임베딩과 독특한 C++ 및 Python 추론 코드를 통해 멀티모달 확장과 유연성을 제공합니다.

이런 엄청난 성과를 거둔 Adept AI Labs는 최근 시리즈 B 투자 , 총 4억 1500만 달러의 투자를 유치하였으며, 두 창립자는 현재 해당 회사를 퇴사한 상태이며 스텔스 스타트업 (*기업이 제품이나 서비스 개발을 대중과 경쟁사로 부터 숨기는 스타트업)을 창업한 상태입니다.

Noam Shazeer: character.ai, 버추얼 챗봇 서비스 창업

Noam Shazeer 는 구글을 퇴사한 후 'Character AI'라는 스타트업을 창업했으며 시리즈 A, 총 1억 9300만 달러 투자를 유치 했습니다. 이 회사는 character 기반의 챗봇 서비스 플랫폼을 제공하며, 이를 통해 사용자는 일론 머스크, 버추얼 유튜버와 같은 유명 인물 혹은 가상 캐릭터와의 가상 채팅을 즐길 수 있습니다. 이러한 서비스는 가상과 현실이 뒤섞이는 현재의 디지털 트렌드에 매우 적합하며, 사람들이 특정 인물이나 캐릭터와의 인터랙션을 통해 더 깊은 경험을 원하는 사회적 수요를 충족시킵니다.

Aidan N. Gomez: 비영리 단체 Cohere AI 창업

Aidan N. Gomez가 창업한 'Cohere AI'는 다양한 분야에서 활용되는 텍스트 기반 인공지능 기술을 제공하는 비영리 단체입니다. 대화형 채팅 기능부터 제품 설명, 블로그 포스트 및 기사 생성, 그리고 검색과 콘텐츠 관리, 의도 인식을 위한 텍스트 분석까지, cohere ai는 텍스트 데이터를 중심으로 한 다양한 응용 분야에서 막강한 성능을 자랑합니다. 현재 Cohere AI는 시리즈 C 투자, 총 4억 3500만 달러 이상의 자금을 유치했습니다.

Lilon Jones: 도쿄 AI 리서치 랩, Sakana AI 에 합류

Llion Jones는 거의 12년 동안 구글에서 일한 뒤 Attention is All You Need 저자중 마지막으로 회사를 떠나 도쿄에서 David Ha와 함께 Sakana AI라는 AI 리서치 랩을 설립했습니다. Jones는 구글의 규모와 관료주의가 자신이 원하는 연구를 제약한다고 느껴 회사를 떠났으며, 이제는 자연에서 영감을 받은 새로운 방식의 AI 연구에 주력하고자 합니다. 그는 OpenAI에 대한 비판적인 견해도 공개적으로 밝혔으며, 그의 연구가 OpenAI의 ChatGPT와 DALL-E 같은 프로젝트에 영향을 미쳤다고 공개적으로 주장합니다.

'Attention Is All You Need' 이후의 여정

"Attention Is All You Need"라는 논문은 자연어 처리(NLP) 분야에 큰 변화를 가져왔습니다. 이전에는 RNN과 LSTM 같은 순차적 모델이 주로 사용되었는데, 이런 모델들은 문장을 하나씩 처리하기 때문에 처리 속도가 느리고 문맥을 제대로 파악하지 못하는 경우도 많았습니다. 트랜스포머 모델과 주목 메커니즘은 이러한 문제를 해결하고 더 빠르고 정확한 자연어 처리를 가능하게 했습니다.

구글에서 이 논문을 작성한 저자들은 대부분 구글을 떠났는데, 그들은 AI 분야 뿐만 아니라 다른 분야에서도 혁신을 이루고 있습니다. 예를 들어, Jakob Uszkoreit는 바이오 기술 분야의 스타트업을 창업했고, Illia Polosukhin은 블록체인 플랫폼을 설립했습니다. 물론, 일부 저자들은 AI 분야에서 계속 활약하고 있습니다. Łukasz Kaiser는 OpenAI로 이직했고, Ashish Vaswani와 Niki Parmar는 새로운 스타트업을 창업하고 있습니다.

이렇게 볼 때, "Attention Is All You Need" 논문은 단순히 NLP나 AI 분야에만 영향을 미치지 않고, 그 저자들 역시 다양한 분야에서 새로운 가능성을 모색하고 있습니다. 이는 AI와 연관된 기술이 여러 분야에 걸쳐 광범위한 영향을 미치고 있음을 잘 보여주는 사례라고 생각됩니다.