Яндекс адаптировали для программистов: ответы Stack Overflow прямо в выдаче и не только
Сегодня, 20 сентября, сотрудники компании «Яндекс» рассказали о существенном апгрейде своей поисковой системы при помощи новейшей нейросети CS YATI, которая была обучена на различной документации, написанной для IT-специалистов, а также на оценках специалистов в области программирования. Соответственно, теперь поисковая выдача для разработчиков и специалистов по машинному обучению будет гораздо более качественной, плюс процесс навигации по различным запросам стал удобнее и отнимает меньше времени на поиск нужного контента. Например, представители «Яндекса» сообщают, что новая модель нейросети учитывает в полтора раза больше данных с каждой страницы, чем предыдущая версия под названием YATI. И, видимо, лучше всего нейросеть будет работать на английском языке, что вполне логично.
«Известно, что львиная доля программистских запросов — это запросы на английском языке. CS YATI обучалась в основном на англоязычных источниках. Мы не просто усовершенствовали поиск для программистов: в процессе мы ещё и улучшили поиск по англоязычным источникам», — Алексей Гусаков, руководитель управления машинного интеллекта и исследований Яндекса.
Для того, чтобы добиться столь внушительного результата, новой версии нейросети дали проанализировать огромное количество поисковых запросов и веб-сайтов, которые демонстрировались в поисковой выдаче по всевозможным запросам, напрямую связанным с программированием. Благодаря этому нейросеть научилась лучше оценивать качество контента и релевантность выдачи по конкретному запросу, что должно существенно упростить жизнь пользователю. В «Яндексе» даже заявили, что всего нейросеть пропустила через себя целые терабайты документов, связанных с программированием, а также историю поиска экспертов в этой области.
В конечном итоге CS YATI научилась даже предсказывать, по какой именно ссылке кликнет программист, чтобы выдавать наиболее релевантный контент. Но на этом важные улучшения не заканчиваются — компания существенно улучшила так называемые обогащённые ответы с проекта Stack Overflow, который программисты из самых разных сфер используют для поиска важной информации или ответов на свои вопросы буквально постоянно. Теперь пользователю не придётся переходить по ссылке в поисковой выдаче — поиск будет «вытягивать» данные с вопросом, лучшим ответом на него и комментариями, которые могут быть полезными программисту, прямо в выдачу поиска.
