Компании Яндекс и Microsoft разработали и уже применили IndexNow — новый протокол, который позволяет веб-мастерам быстро уведомлять поисковые системы о необходимости проиндексировать веб-страницу. На практике это означает, что поисковики будут быстрее узнавать об изменениях на сайтах и отображать это в поисковой выдаче.
Сейчас у всех поисковых систем есть так называемый поисковый бот — он с определённой периодичностью индексирует уже существующие и новые сайты, чтобы зафиксировать возможные изменения на веб-страницах и отобразить это в поисковой выдаче. Под понятие «изменения» попадает создание нового контента, а также редактирование или удаление существующего. Как правило, обход поискового бота занимает от нескольких дней до недель.
Протокол IndexNow позволяет веб-сайтам мгновенно информировать поисковые системы об изменениях — грубо говоря, они «приглашают» поискового бота на веб-страницу, сообщая, что на ней произошли изменения. Разработка также призвана создать более открытый интернет: как только одна поисковая система получает запрос по IndexNow, все остальные поисковики с поддержкой этого протокола также становятся уведомлены. В будущем поисковые системы планируют ограничить стандартный обход поисковым ботом тех сайтов, которые отправляют запросы по IndexNow.
