что такое краулинговый бюджет
Краулинговый бюджет: что это, как определить, повысить и оптимизировать
Краулинговый бюджет – это число страниц, которые краулер (робот поисковика) способен просканировать за определенный промежуток времени. Обычно seo оптимизаторы считают за сутки.
Например, если Googlebot за один день может обойти 30 страниц, то его краулинговый бюджет за месяц составит 900 страниц. Другими словами, это лимит документов, которые краулер собирается и может обойти на вашем сайте за один день.
Владельцев небольших сайтов данный вопрос вообще не должен беспокоить, а крупные веб-ресурсы и порталы, ежедневно пополняющиеся десятками новых страниц, могут страдать от того, что поисковые роботы просто обходят их стороной. Все потому, что они не успевают индексировать часто обновляющейся в большом количестве контент.
Как определить краулинговый бюджет?
Приблизительный краулинговый бюджет можно определить, посмотрев через логи сервера, как часто поисковый бот заходит к вам на сайт.
А так же через сервис Google Search Console и Яндекс Вебмастер. Где тоже можно увидеть примерную статистику посещений роботов ваш сайт.
Как повысить краулинговый бюджет?
На рост краулинговово бюджет влияет 3 фактора:
Увеличивая эти показатели, вы улучшаете краулинговый бюджет. И если на первых два фактора вы можете влиять самостоятельно, то третий фактор не зависит от вас.
Многие вебмастера считают, что увеличение краулингового бюджета зависит от частоты публикаций контента на сайте. Но это не совсем так, если вы будете ежесуточно публиковать по 100 статей в день, а три фактора которые мы описали выше не будут изменяться, то вы увеличите его несущественно. Так что это косвенный фактор, но никак не основной
Оптимизация краулингового бюджета
Бывает и такое, что краулинговый бюджет у сайта большой, но в связи с нерациональным использованием сайта, он тратится не на те ресурсы. В таком случае улучшить расход краулингового бюджета возможно несколькими путями.
Проверьте доступ ботов к документам
Найдите и устраните недействительные ссылки
Битые ссылки тратят время краулингового бюджета на определение их недействительности, чтобы ощутить их влияние на краулинговый бюджет их конечно должно быть огромное количество. Но все же, лучше добиваться того, чтобы их не было даже в маленьком количестве на сайте.
Используйте редиректы разумно
На любую ссылку, перенаправляющую пользователя с одного сайта на другой, тратится краулинговый бюджет. Если ресурс содержит огромную цепочку из 301 или 302 редиректов, боты с большой вероятностью не дойдут до целевой страницы и не включат ее в индекс. Поэтому лучше уменьшить число переадресаций насколько это возможно, не применяя более двух подряд перенаправлений.
Минимизируйте использование мультимедийных файлов
Когда-то пауки Google не умели индексировать HTML, JavaScript и Flash. Сейчас такой проблемы у Googlebot нет, но еще далеко не все поисковики научились работать с каждым файлом мультимедиа. Лучше не популярные форматы мультимедиа не применять на важных страницах, от которых вы ожидаете высокие позиции в результатах выдачи.
Представители Google даже рекомендуют для таких файлов создавать аналоги в текстовом формате, чтобы его можно было с легкостью найти и занести в базу данных. Здесь вы найдете полный список файлов, индексируемых Google.
Настройте Sitemap
Карта сайта полезна не столько для пользователей, сколько для краулеров, так как облегчает поиск контента. Файл XML Sitemap должен содержать всегда актуальную информацию. Удалите отсюда все, что негативно сказывается на юзабилити сайта:
Контролируйте динамические URL-адреса
Боты воспринимают динамические УРЛы, ссылающиеся все на одну страницу, как разные. Это ведет к перерасходованию краулингового бюджета. Не пренебрегайте данной проблемой. В Search Console в разделе Параметры URL есть функция настройки адресов. Тут можно указать поисковику, как именно генерировать URL с конкретным параметром, тем самым избежав повторную обработку одного и того же контента на ресурсе.
Структурируйте внутренние ссылки продуманно
Хотя внутренние ссылки и не сильно сказываются на сканировании, их правильная структура поможет паукам отыскивать материалы без лишнего расходования краулингового бюджета.
Да и для пользователя хорошая структура внутренних ссылок явно ощущается, ведь так он сможет перейти на любую ключевую страницу ресурса всего в 2-3 клика. Благодаря этому посетитель будет проводить на сайте больше времени, что положительно скажется на поведенческих факторах и, как следствие, на ранжировании.
Применяйте фиды
XML, Atom и RSS-ленты позволяют отсылать пользователям новые публикации на почту – им даже не нужно заходить на сайт с целью проверки обновлений. RSS-ленты – один из эффективнейших способов привлечения трафика. Но кроме того их часто посещают краулеры поисковых систем.
Увеличивайте число внешних ссылок
Внешние ссылки взаимосвязаны с числом заходов на ресурс роботов. Это было доказано в процессе эксперимента, проводимого Йоханом Кутарнюком.
На графике мы видим, что число внутренних ссылок практически везде одинаковое, а внешних – уменьшается. И где меньше внешних ссылок, там и реже бывали боты.
Взаимосвязь между посещениями и внешними ссылками составила аж 0,978, тогда как с внутренними – 0,171.
Важно! Краулинговый бюджет также распределяется между вашими соседями по хостингу. И чем их больше, тем меньше способность ботов сканировать суммарное количество страниц ресурсов, находящихся на конкретном хостинге.
Вопросы-ответы по краулинговому бюджету
В рамках общения с вебмастерами, Google отвечал на вопросы связанные с краулинговым бюджетом.
Вопрос: Сказывается ли на краулинговом бюджете скорость загрузки ресурса? Что по поводу ошибок сканирования?
Ответ: Снижение скорости загрузки сайта положительно сказывается на пользовательском опыте, вместе с тем увеличивается скорость обхода. А для краулера поисковой системы быстрый ресурс говорит о нормальном функционировании сервера. Проще говоря, Googlebot сможет собрать больше материала за одинаковое число соединений. Однако чрезмерное количество ошибок 5XX провоцирует замедление сканирования.
Поэтому стоит постоянно посещать Search Console и мониторить раздел Ошибки сканирования, чтобы контролировать количество ошибок и держать их в допустимых пределах.
Вопрос: А расходует ли краулинговый бюджет директива nofollow?
Ответ: Вообще все УРЛы, посещаемые роботом, так или иначе расходуют краулинговый бюджет. И если ссылка скрыта от индексирования, она все-равно с большой долей вероятности будет сканироваться, если на какой-либо странице того же или другого веб-ресурса ей не приписана директива nofollow.
Вопрос: Сканирование – это один из факторов ранжирования?
Ответ: Если страница попадет в индекс быстрее, это не значит, что она «взлетит» в позициях результатов выдачи. У Google не одна сотня факторов, которыми он руководствуется при составлении рейтинга сайтов, но сканирование отыгрывает здесь далеко не основную роль, хоть без него страницы и не попадут в поиск.
Вопрос: Тратится ли краулинговый бюджет на встроенный контент (CSS, JavaScript) и альтернативные URL-адреса (AMP, hreflang)?
Ответ: – Да. При сканировании ресурсов Googlebot учитываются все УРЛы, в том числе и альтернативные. Аналогичная ситуация происходит и со встроенным контентом.
Вопрос: Есть ли у меня возможность управлять поисковым роботом Google посредством директивы crawl-delay?
Ответ: Нет. Данная директива не обрабатывается краулером.
Оцените эту статью. Чтобы мы могли делать лучший контент! Напишите в комментариях, что вам понравилось и не понравилось!
Рейтинг статьи: 5 / 5. Кол-во оценок: 7
Пока нет голосов! Будьте первым, кто оценит эту статью.
Краулинговый бюджет: что это и как сказывается на индексации сайта
Какой владелец сайта или его оптимизатор не хочет, чтобы проект завоевал популярность и стабильно входил в топ поисковой выдачи? Однако сделать это далеко не так просто. Казалось бы, наполняй сайт качественным контентом и все будет отлично. Рано или поздно пользователи обязательно оценят ресурс по достоинству.
Впрочем, помимо живых людей, необходимо еще и понравиться поисковым системам. В частности, не только придерживаться «правил игры», установленных Google или Яндекс, но и оптимизировать сайт для поисковиков.
Например, не стоит забывать о таком понятии, как краулинговый бюджет, ведь именно он по большей мере отвечает за то, сколько страниц ресурса окажется в поисковой выдаче. Итак, что это такое и как с ним эффективно работать?
Что это
Данный термин изначально связан с работой поисковых роботов компании Google, ведь именно она впервые использовала его, чтобы объяснить принцип попадания страниц в индекс. Фактически, если оперировать SEO-терминологией, «краулинг» – это сканирование поисковым ботом страниц ресурса, чтобы проиндексировать их и сформировать выдачу.
Почему тогда рядом с ним упоминается еще и «бюджет»? Дело в том, что поисковые роботы не сканируют весь сайт целиком, а обходят лишь некоторое количество страниц за условную единицу времени. То есть речь идет о некоем лимите, который уникален для каждого сайта и рассчитывается на базе целого ряда критериев.
В чём важность краулингового бюджета
Довольно часто существование краулингового бюджета по факту игнорируется, выносится за скобки, ведь есть еще множество других более важных параметров, которые требуют первоочередного внимания. Но так ли это? Да, для владельцев небольших сайтов заморачиваться нет смысла – достаточно оптимизировать ресурс и все будет априори хорошо по умолчанию. А вот в случае крупных проектов ситуация диаметрально противоположная. Как следствие, может оказаться, что существенная часть страниц не попала в индекс, ведь до них никак не доберутся поисковые роботы.
Рассмотрим это на примерах. Предположим, существует некий большой интернет-магазин, который еще и постоянно пополняется новым ассортиментом. И все бы хорошо, но краулинговый бюджетданного сайта составляет 100 страниц ежесуточно. При этом на ресурсе каждый день добавляется их в два-три раза больше. Что итоге? Поисковые роботы физически не могут обойти весь сайт, что негативно сказывается на индексации.
Вторая проблема связана с тем, что в индексе нередко оказываются малозначимые страницы в ущерб важным. Скажем, там будет какой-то конкретный товар, тогда как вся категория – нет. Со временем такие проблемы будут накапливаться, пока не перерастут в сложности индексации сайта в целом.
Где увидеть информацию о краулинговом бюджете
Можно ли как-то узнать лимит для конкретного сайта? Да, однако лишь ориентировочный. Впрочем, для понимания ситуации этого более чем достаточно. Первым делом необходимо зайти в Google Search Console и отыскать как там пункт «Статистика сканирования». Откроется отдельное окно с графиками. Ориентироваться следует на показатель, сколько в среднем страниц сайта сканирует поисковик ежедневно. Это и будет искомый бюджет.
Отметим, что данная величина не постоянна. В зависимости от ряда факторов, к примеру, популярности ресурса, лимит может как увеличиваться, так и сокращаться.
Оптимизация сайта
На что стоит направить усилия, чтобы улучшить ситуацию? Как уже говорилось выше, под краулингом подразумевается индексация. Следовательно, чем больше с ней проблем, тем менее эффективно расходуется бюджет. Поэтому необходимо серьезно поработать над внутренней оптимизацией.
Переходим к конкретике. Что можно сделать? В частности, чтобы оптимально расходовать краулинговый бюджет, нужно:
Большинство пунктов из перечня выше не требуют детальных пояснений, ведь и так очевидны. К примеру, вполне логично, что скорость загрузки сайта будет напрямую влиять на количество проиндексированных страниц, ведь чем она выше, тем быстрее сканирование.
Аналогично с редиректами. Каждый из них – трата краулингового бюджета, поэтому задумайтесь, нужны ли на сайте все имеющиеся переадресации. Мусорные ссылки и дубли лучше всего заблокировать посредством sitemap.xml. Также следует указать поисковым роботам, что приоритет при сканировании стоит отдавать новым и измененным страницам, а не тем, содержание которых осталось таким же, как и ранее.
Довольно интересным и перспективным выглядит и задействование динамического рендеринга. Данная разработка Google позволяет разграничить отображение контента: для поисковых роботов это html-версия, для пользователей – JavaScript-версия страницы. Это должно улучшить ситуацию с индексацией.
Что такое краулинговый бюджет и стоит ли SEO-специалистам беспокоиться о нем?
Поделиться этой статьей
Выделение больших ресурсов на сканирование не означает, что вы будете ранжироваться лучше, но если ваши страницы не будут просканированы и проиндексированы, вы вообще не сможете ранжироваться.
Большинству сайтов не нужно беспокоиться о краулинговом бюджете, но есть несколько случаев, в которых вам может быть полезно его проверить. Давайте рассмотрим некоторые из этих случаев.
Когда следует беспокоиться о бюджете сканирования?
Обычно вам не нужно беспокоиться о краулинговом бюджете для популярных страниц. Реже сканируются более новые страницы, на которые ведет мало ссылок и которые мало изменяются.
Краулинговый бюджет может быть проблемой для новых сайтов, особенно с большим количеством страниц. Ваш сервер может поддерживать частое сканирование, но поскольку ваш сайт новый и, вероятно, еще не очень популярен, поисковая система может не захотеть сканировать ваш сайт достаточно глубоко. В основном это несовпадение ожиданий. Вам нужно, чтобы ваши страницы сканировались и индексировались, но Google не знает, стоит ли их индексировать, и может решить не сканировать столько страниц, сколько нужно вам.
Краулинговый бюджет также может быть проблемой для крупных сайтов с миллионами страниц или сайтов, которые часто обновляются. В целом, если много ваших страниц не сканируются и не обновляются так часто, как вам хотелось бы, то вы можете попытаться ускорить сканирование. Мы поговорим о том, как это сделать, дальше в статье.
Как отслеживать активность краулеров
Если вы хотите увидеть обзор активности краулера Google и любых выявленных во время сканирования проблем, лучше всего посмотреть Статистику сканирования в Google Search Console.
В нем представлены различные отчеты, которые помогут вам выявить изменения в поведении краулеров, проблемы со сканированием и предоставят дополнительную информацию о том, как Google сканирует ваш сайт.
Вам определенно нужно проверить любые отмеченные статусы сканирования, подобные этим:
В этих отчетах также есть метки времени, когда страницы сканировались в последний раз.
Если вы хотите увидеть операции всех ботов и пользователей, вам потребуется доступ к логам. В зависимости от хостинга и настроек у вас может быть доступ к таким инструментам, как Awstats и Webalizer, как показано здесь, на общем хосте с cPanel. Эти инструменты показывают некоторые агрегированные данные из ваших логов.
Для более сложных настроек вам потребуется получить доступ и сохранить данные из необработанных логов. Возможно, из нескольких источников. Вам также могут понадобиться специализированные инструменты для более крупных проектов, такие как ELK Stack (Elasticsearch, Logstash, Kibana), который позволяет хранить, обрабатывать и визуализировать логи. Также существуют инструменты анализа логов, такие как Splunk.
Что идет в счет краулингового бюджета?
Все URL-адреса и запросы идут в счет вашего краулингового бюджета. Сюда входят альтернативные URL-адреса, такие как страницы AMP или отдельная мобильная версия на поддомене, hreflang, CSS и JavaScript, в том числе запросы XHR.
Эти URL-адреса могут быть найдены путем сканирования и анализа страниц или из множества других источников, включая карты сайта, RSS-каналы, добавление URL-адресов для индексации в Google Search Console или использование API индексирования.
Существуют также различные роботы Google, которые используют один краулинговый бюджет. Вы можете найти список различных роботов Google, сканирующих ваш веб-сайт, в отчете “Статистика сканирования” в GSC.
Google регулирует способы сканирования
У каждого веб-сайта свой краулинговый бюджет, состоящий из разных входных данных.
Спрос на сканирование
Спрос на сканирование — это то, какой объем вашего сайта хочет сканировать Google. Более популярные страницы и страницы, подвергшиеся значительным изменениям, будут сканироваться чаще.
Популярные страницы или страницы, на которые указывает большое количество ссылок, обычно получают приоритет перед другими страницами. Помните, что Google должен каким-то образом расставить приоритеты для сканирования ваших страниц, а ссылки — это простой способ определить, какие страницы вашего сайта более популярны. Но учитывается не только ваш сайт, а все страницы на всех сайтах в Интернете, для которых Google должен расставить приоритеты сканирования.
Вы можете использовать отчет Лучшие по ссылкам в Сайт Эксплорере, чтобы определить, какие страницы будут сканироваться чаще. Он также показывает, когда Ahrefs последний раз сканировал ваши страницы.
Есть еще понятие застоя. Если Google обнаружит, что страница не меняется, они будут сканировать ее реже. Например, если они просканируют страницу и не увидят никаких изменений через день, они могут подождать три дня перед следующим сканированием, затем увеличить это время до десяти дней, 30 дней, 100 дней и т. д. Нет установленного периода ожидания между сканированиями, но со временем время между сканированиями увеличивается. В то же время, если Google видит большие изменения на сайте в целом или перемещение сайта, они обычно увеличивают частоту сканирования, по крайней мере, временно.
Ограничение частоты сканирования
Предел частоты сканирования — это объем сканирования, который поддерживает ваш сайт. У веб-сайтов есть определенный объем сканирования, который они могут обеспечить, прежде чем возникнут проблемы со стабильностью сервера, такие как замедление работы или ошибки. Большинство краулеров прекратят сканирование, если начнут замечать эти проблемы, чтобы не навредить сайту.
Google будет корректировать их работу в зависимости от состояния сканируемого сайта. Если сайт хорошо переносит сканирование, это ограничение будет увеличено. Если на сайте возникают проблемы, Google уменьшит частоту его сканирования.
Я хочу, чтобы Google сканировал мой сайт чаще
Вы можете сделать несколько вещей, чтобы убедиться, что ваш сайт поддерживает увеличенный объем сканирования и увеличить спрос на сканирование вашего сайта. Давайте рассмотрим несколько вариантов.
Ускорьте свой сервер/увеличьте ресурсы
Google сканирует страницы, по сути, загружая ресурсы, а затем обрабатывая их на своей стороне. Скорость загрузки вашей страницы, как ее воспринимает пользователь, работает по-другому. На краулинговый бюджет влияет то, насколько быстро Google сможет подключиться и загрузить ваши ресурсы, что больше связано с сервером и ресурсами.
Больше ссылок, внешних и внутренних
Помните, что спрос на сканирование обычно основывается на популярности или количестве ссылок. Вы можете увеличить свой бюджет, увеличив количество внешних и/или внутренних ссылок. С внутренними ссылками проще, так как вы контролируете сайт. Вы можете найти рекомендации внутренних ссылок в отчете Возможности для ссылок в Аудите сайта, в котором вы также найдете руководство, объясняющее, как все это работает.
Исправьте неработающие и перенаправленные ссылки
Сохранение активных ссылок на неработающие или перенаправленные страницы вашего сайта окажет небольшое влияние на краулинговый бюджет. Как правило, такие страницы, на которые есть ссылки, имеют довольно низкий приоритет, потому что они, вероятно, не менялись какое-то время, но устранение любых проблем полезно для обслуживания веб-сайта в целом и немного поможет вашему краулинговому бюджету.
Вы можете легко найти неработающие (4xx) и перенаправленные (3xx) ссылки на своем сайте в отчете Внутренние страницы в Аудите сайта.
Наличие неработающих или перенаправленных ссылок в карте сайта можно проверить в отчете Все проблемы “3XX редирект в карте сайта” и “4XX в карте сайта”.
Используйте GET вместо POST, когда можете
Этот вариант немного более технический, поскольку включает в себя методы HTTP-запросов. Не используйте запросы POST там, где работают запросы GET. По сути, GET (получение) и POST (отправка) — противоположные запросы. Запросы POST не кешируются, поэтому они влияют на бюджет сканирования, в то время, как запросы GET можно кешировать.
Используйте API индексирования
Если вам нужно, чтобы страницы сканировались чаще, проверьте, можете ли вы использовать API индексирования Google. В настоящее время такая возможность есть только для нескольких сценариев использования, таких как сайты вакансий или прямые трансляции.
У Bing также есть API индексирования, доступный каждому.
Что никак не поможет
Иногда люди используют некоторые вещи, которые на самом деле никак не помогают с краулинговым бюджетом.
Я хочу, чтобы Google сканировал мой сайт реже
Есть всего пара хороших способов снизить частоту сканирования Google. Есть несколько других регулировок, которые технически вы могли бы сделать, например, замедлить работу вашего веб-сайта, но я бы не рекомендовал эти методы.
Медленная, но гарантированная регулировка
Главный элемент управления, который Google предоставляет нам для снижения частоты сканирования, — это ограничитель частоты в Google Search Console. Вы можете снизить частоту сканирования с помощью этого инструмента, но это может занять до двух дней.
Быстрая, но рискованная регулировка
Если вам нужно более быстрое решение, вы можете воспользоваться корректировками частоты сканирования Google, основанными на состоянии вашего сайта. Если вы покажете Googlebot статус-код 503 Service Unavailable или 429 Too Many Requests на страницах, они будут сканировать их реже или могут временно прекратить сканирование. Однако вам не стоит использовать это дольше нескольких дней, иначе Google может начать удалять эти страницы из индекса.
Заключение
Опять же, я хочу еще раз напомнить, что краулинговый бюджет — это не то, о чем нужно беспокоиться большинству людей. Если у вас есть основания для беспокойства, я надеюсь, что это руководство было полезно.
Обычно я обращаю на него внимание только тогда, когда есть проблемы со страницами, которые не сканируются и не индексируются, мне нужно объяснить кому-то, почему не следует беспокоиться об этом, или я случайно замечаю что-то, что меня беспокоит, в отчете о статистике сканирования в Google Search Console.
Краткий ликбез: что такое краулинговый бюджет и как его оптимизировать
20.09.2019 Время прочтения: 4 минуты
Что такое краулинговый бюджет?
Краулинг (англ. crawling) в терминологии SEO — это сканирование поисковым роботом страниц сайтов, их индексация для формирования поисковой выдачи.
Краулинговый бюджет — это лимит, который выделяется каждому сайту на это сканирование. То есть это ограничение числа страниц, которые поисковой робот может проиндексировать в заданный временной промежуток.
Этот термин ввела компания Google, поэтому его соотносят в первую очередь с деятельностью Googlebot.
Краулинговый бюджет рассчитывается для каждого сайта отдельно, исходя из его пользовательского спроса и доступности сервера.
Кому и зачем нужно уметь им управлять?
Владимир Суматохин, технолог SEO-эксперт компании SEO.RU:
«Краулинговый бюджет часто остается без внимания. Если вы владеете небольшим сайтом или оптимизируете его, то причин для беспокойства нет. Но если у вас крупный проект, то оптимизация краулингового бюджета жизненно необходима, поскольку окажет влияние на ранжирование сайта в поисковых системах. В противном случае может оказаться, что часть вашего сайта не проиндексирована и не участвует в поиске».
Зачем оптимизировать бюджет на индексацию? Чтобы не растрачивать его впустую.
Смотрите: Google определяет бюджет на индексацию вашего сайта — допустим, это 200 страниц в сутки. Может показаться, что это много, но если ваш веб-ресурс — это огромный интернет-магазин с постоянно обновляемым ассортиментом, то 200 только новых страниц на вашем сайте может появиться за 1 день. А есть и другие страницы, которые тоже нужно выводить в поисковую выдачу. Робот может не обойти все за раз.
Другая частая проблема: в индекс попадают страницы по низкочастотным запросам, а по высокочастотным — пролетают. Например, страница с брелоком в виде розового игрушечного крокодила попадет в топ, а раздел со всем ассортиментом брелоков — нет.
Поэтому без оптимизации краулингового бюджета начнутся проблемы с индексацией всего сайта: если у поискового робота на определенной странице закончится бюджет, то остальные для него просто перестанут существовать.
Где посмотреть краулинговый бюджет своего сайта?
Вся история про лимит индексации завязана на Google, поэтому самый удобный способ — это посмотреть статистику обхода в Google Search Console.
Для этого нужно открыть меню «Прежние инструменты и отчеты», а затем кликнуть на «Статистику сканирования»:
Графики со статистикой откроются в новом окне. Среди них нам важен первый — «Количество сканированных страниц в день». То число страниц, которое Googlebot в среднем сканирует за день, и есть краулинговый бюджет сайта:
Это не абсолютная и постоянная величина — эта цифра может увеличиваться и уменьшаться, но как примерный показатель работает.
Как оптимизировать краулинговый бюджет?
Краулинг — это индексация, поэтому весь лимит быстро тратится именно из-за ошибок индексации. В рамках SEO-продвижения сайта их нужно исправлять.
Эти файлы помогают поисковым роботам правильно индексировать ваш сайт, строить его иерархию и видеть, как организован контент.
Что конкретно сделать:
Чем меньше загружается сайт, тем быстрее его просканирует бот: в рамках одинакового числа соединений он сможет проанализировать большее количество страниц.
Когда роботу нужно пройти 100500 переадресаций, чтобы добраться до страницы, он может остановиться на 100499 и просто не достичь этого URL. Каждый редирект — это траты вашего бюджета на индексацию. Убедитесь, что имеющиеся редиректы на вашем веб-ресурсе действительно необходимы.
А именно: используйте уникальные и разнообразные анкоры с ключевыми словами и добавляйте ссылки на тематически соответствующие страницы.
Это относительно новая разработка все того же Google, которая для поискового робота создает HTML-версию сайта, а для пользователя — вариант на JavaScript. Это облегчает и ускоряет индексацию.
Экспериментальные данные говорят о весьма заметной связи между количеством посещений сайта поисковым роботом и числом внешних ссылок: чем больше ссылок, тем чаще Googlebot наведывается на площадку.