Вчера, 17 июня, информационное издание Reuters со ссылкой на свои источники сообщило, что Ноам Шазир (Noam Shazeer), вице-президент по разработке программного обеспечения в Google и один из руководителей подразделения Gemini, покинет компанию Google, чтобы присоединиться к OpenAI. Это довольно неожиданная новость, так как всего два года назад поисковой гигант заплатил 2,7 миллиарда долларов за то, чтобы Шазир вместе с командой исследователей, с которой он создал стартап Character.AI, вернулся в Google и возглавил подразделение, отвечающее за большие языковые модели Gemini.
Собственно, многие считают, что именно Ноам Шазир сыграл ключевую роль в развитии Gemini, которая всего за несколько лет существенно сократила отставание от лидеров рынка вроде ChatGPT от OpenAI и Claude от Anthropic. Кроме того, стоит напомнить, что господин Шазир работал в компании Google с 2000 года — он отвечал за алгоритмы поисковой системы, Google AdSense и другие проекты компании, а в 2017 году выступил одним из соавторов статьи Attention Is All You Need, в которой описывались трансформеры. Именно эта статья стала катализатором бума искусственного интеллекта — первые LLM были основаны на идеях, описанных в публикации.
Также Ноам Шазир приложил руку к формированию архитектурных решений, которые легли в основу передовых больших языковых моделей современности. Например, он причастен к разработке Mixture of Experts — архитектуры нейросети, в которой для генерации ответа используется не вся информация модели, а лишь несколько специализированных подсетей-экспертов. Это позволило существенно ускорить обработку информации, снизить время ожидания генерации первого токена и предоставить возможности для масштабирования LLM от миллиардов до триллионов параметров.
Ещё он придумал архитектуру T5 — Text-to-Text Transfer Transformer. Идея данного решения в том, что любая задача, которую ставят перед нейросетью, представляет из себя преобразование из одного текстового контента в другой. Это архитектурное решение легло в основу современных ИИ-моделей компании Google, позволив поисковому гиганту быстро догнать конкурентов по рынку. Но, видимо, теперь заниматься разработкой передовых решений Ноам Шазир будет уже в другой компании, хотя детали его «трансфера» пока что не озвучиваются. Но для OpenAI, которая в последнее время переживает не лучшие времена, это отличная новость на фоне IPO.
