Microsoft Bing и российская поисковая система Яндекс в понедельник объявили о новом протоколе, предназначенном для ускорения поисковых обновлений веб-сайтов.
Называется ИндексСейчас, протокол использует API, чтобы веб-сайты могли легко уведомлять поисковые системы о создании, обновлении или удалении контента. Как только поисковые системы получают уведомления об обновлениях, они могут быстро сканировать и отражать изменения веб-сайта в своем индексе и результатах поиска.
«Обеспечение своевременной доступности информации для искателей имеет решающее значение», — объяснила Microsoft в своем блоге Bing.
«Однако исторически, — продолжил он, — одна из самых больших проблем для владельцев веб-сайтов заключалась в том, чтобы поисковые системы быстро обнаруживали и учитывали их последние изменения на веб-сайте. На то, чтобы новые URL-адреса были обнаружены и проиндексированы в поисковых системах, могут уйти дни или даже недели, что приведет к потере потенциального трафика, клиентов и даже продаж».
Microsoft утверждает, что IndexNow — это инициатива как для более эффективного, так и для открытого Интернета.
В нем поясняется, что, сообщая поисковым системам, был ли изменен URL-адрес, владельцы веб-сайтов дают четкий сигнал, помогая поисковым системам расставить приоритеты при сканировании этих URL-адресов. Это ограничивает потребность в поисковых обходах для проверки того, изменился ли контент.
Кроме того, поиск открыт, потому что, уведомляя одну поисковую систему, веб-сайт уведомляет все поисковые системы, которые приняли IndexNow.
Отсутствие стандартов
«IndexNow — хорошая идея, потому что она упрощает процесс индексации нового контента», — заметил Грег Стерлинг, вице-президент по анализу рынка в Убераллпроизводитель решений для локального маркетинга, базирующийся в Берлине.
«Это также гарантирует, что новый контент будет проиндексирован быстро или немедленно», — сказал он TechNewsWorld.
В настоящее время не существует стандарта для обновления поисковых систем, пояснил Джон Александр, вице-президент по управлению продуктами в Акамай Технологиипоставщик сетевых услуг доставки контента в Кембридже, штат Массачусетс.
«Тысячи различных сканеров пытаются отслеживать изменения на веб-сайтах в Интернете», — объяснил он TechNewsWorld.
«Поскольку Akamai обслуживает очень много таких сайтов, мы видим это воочию, — продолжил он. «Это огромная работа, которая создает огромную нагрузку на веб-сайты и потребляет огромное количество энергии, что оказывает дополнительное воздействие на окружающую среду».
«Мы предпочитаем открытый стандарт, позволяющий всем одинаково обновлять поисковые системы», — добавил он.
Посещения впустую
Поисковые системы сканируют Интернет в поисках информации в течение многих лет, но, похоже, это первый раз, когда была предпринята крупная инициатива, направленная на повышение эффективности процесса.
«Я не могу говорить о мотивах, побудивших Microsoft и Яндекс создать это, но это кажется запоздалым», — сказал Стерлинг.
Александр пояснил, что для некоторых сайтов краулеры составляют половину трафика на сайте, и он все время растет.
«Это можно было решить в любой момент за последние 20 лет», — сказал он. «Наконец-то мы достигли критического момента, когда масштабы и неэффективность требуют лучшего решения».
Сканеры не только потребляют пропускную способность на веб-сайтах, но и тратят ее впустую.
Блогеры Cloudflare Абхи Дас и Алекс Кривит отметили в блоге компании, что после изучения того, как часто боты повторно посещают страницы, которые не изменились, они пришли к выводу, что 53 процента трафика поискового робота тратится впустую на такие посещения веб-сайтов.
Подсказки сканера
Cloudflare — компания из Сан-Франциско, занимающаяся веб-производительностью и безопасностью. У него есть программа Crawler Hints, позволяющая поисковым системам быть в курсе изменений на веб-сайтах своих клиентов.
Поисковые системы используют сложную сеть ботов для сканирования постоянно меняющегося контента в Интернете, чтобы люди могли найти актуальный и своевременный контент, пояснила компания в пресс-релизе. Сегодня примерно 45 процентов интернет-трафика приходится на поисковые роботы и поисковые роботы.
Чтобы повысить эффективность сканеров в Интернете, Cloudflare запустила Crawler Hints — простой способ сигнализировать разработчикам ботов об изменении или добавлении контента на сайт, чтобы они могли более эффективно выбирать, что сканировать.
Более того, продолжилось, владельцы веб-сайтов смогут повысить производительность сайта, уменьшив ненужный трафик ботов и предоставляя своевременный контент, что в конечном итоге поможет улучшить рейтинг в поиске.
Теперь Cloudflare использует стандарт IndexNow, чтобы предоставлять Crawler Hints основным поисковым системам.
«Быстрый, надежный веб-сайт и своевременные результаты поиска лежат в основе любого растущего бизнеса, будь то стартап или компания из списка Fortune 500», — заявил в пресс-релизе генеральный директор Cloudflare Мэтью Принс.
«С самого начала мы работали, чтобы помочь нашим клиентам предоставить им скорость, надежность и безопасность, необходимые для ведения бизнеса», — продолжил он. «Сегодня мы делаем еще один шаг вперед, работая с Microsoft и другими основными поисковыми системами, чтобы помочь любому владельцу веб-сайта снизить неэффективность, а также предоставить своим пользователям надежный, актуальный и своевременный онлайн-опыт».
Преимущества для бизнеса
Интернет-бизнес должен извлечь выгоду из IndexNow, отметил Стерлинг, поскольку поисковые системы могут быстро сообщать об изменениях ассортимента и информации о ценах.
«Розничные продавцы смогут быстрее оповещать поисковые системы о новых продуктах, ценах и описаниях теперь, когда они сообщают поисковым системам об обновлениях, а не ждут, пока они скопируют информацию», — добавил Александр. «Это означает предоставление более актуальной информации потенциальным клиентам».
Веб-сайты также должны увидеть изменения к лучшему от нового протокола. «Все веб-сайты, которые участвуют, должны получить пользу, но особенно веб-сайты с чувствительным ко времени контентом, который регулярно обновляется или изменяется, например, сайты с событиями и списками вакансий», — сказал Стерлинг.
«Это также дает издателям больше контроля над тем, что индексируется, чем раньше», — отметил он.
Небольшие веб-сайты также могут воспользоваться преимуществами протокола, поскольку их изменения будут регистрироваться быстрее. «Я обнаружил, что с моими небольшими сайтами я могу неделями ждать, пока Google придет и проверит карту сайта на наличие изменений. Индексация новых страниц может занять больше месяца», — написал на Reddit Колин Макдермотт, основатель SearchCandy, компании по поисковому маркетингу и связям с блогерами в Манчестере, Великобритания.
Небольшие поисковые системы также могут получить выгоду от IndexNow, поскольку сканирование является дорогостоящим и ресурсоемким. «Вместо того, чтобы прибегать к методу грубой силы и сканировать каждый фрагмент текста на каждом сайте, поисковые системы уведомляются о том, что нового», — пояснил Александр. «Это заметно более быстрый, более эффективный и действенный процесс для появления свежего, релевантного контента».
Гугл не интересует
Однако крупнейшая поисковая система из всех не получит преимуществ от IndexNow. Google решил не участвовать в инициативе.
«Интересно, что Google отказался от участия, — сказал Стерлинг. «Компания может занять выжидательную позицию».
«Они также могут полагать, что участие поставит Bing и, возможно, другие движки в более равное положение и уменьшит их преимущество перед конкурентами», — добавил он.
«Я предполагаю, что единственная причина, по которой Google не вмешался, заключается в том, что они слишком вложили средства в свой собственный API индексации, которому уже почти 3 года (но он все еще предназначен только для работы на сайтах для работы и потокового вещания)», — написал Макдермотт.
Google не ответил на наш запрос прокомментировать эту историю.
