«Яндекс» обновил поиск по картинкам, добавив возможность одновременно анализировать изображение и текстовое описание страницы. Раньше система обрабатывала эти данные отдельно, из-за чего могла упускать связь между содержимым картинки и окружающим её текстом.
«Алгоритмы поиска по картинкам „Яндекса” научились одновременно анализировать изображение и текст на странице. Новая технология позволяет улучшить результаты в тех случаях, когда текст в описании картинки противоречит самому изображению», — поделились в «Яндексе».
Основой стала фирменная мультимодальная технология. Сначала разработчики обучили большую модель, а затем на её основе создали несколько компактных моделей для разных этапов обработки информации. Часть наиболее ресурсоёмких вычислений выполняется заранее, поэтому новый подход не увеличивает время ответа поисковой системы.
После обновления поиск стал учитывать изображение и текст в комплексе, что позволило точнее определять содержание страницы и находить подходящие изображения. В компании отмечают, что благодаря этому в верхней части поисковой выдачи стало заметно больше релевантных результатов.
Обновлённая технология уже используется в поиске «Яндекса» и должна помочь пользователям быстрее находить изображения, соответствующие не только визуальному содержимому, но и контексту страницы.
