что такое битые ссылки на сайте
Чем опасны битые ссылки на сайте, как их искать и что делать дальше
Едете до указанного адреса, а там… пустой офис, гараж или вообще будка с трансформатором. Обидно? Ещё как. Вот с битыми ссылками примерно так же.
Битая ссылка (broken link) — ссылка, которая ведёт на несуществующую страницу. При переходе по ней пользователь видит сообщение об ошибке. Например, такое:
Ошибка 404 или Not Found — стандартный код ответа сервера. Он сообщает, что по заданному адресу HTML-страницы не существует, запрошенные данные найти не удаётся.
Пишущий интернет-маркетолог, автор-фрилансер. Помогает развивать и продвигать блоги, делает контент для внешних площадок. Пишет об интернет-маркетинге, реже о финансах и бизнесе.
Откуда берутся битые ссылки
В процессе продвижения сайта приходится постоянно вносить изменения: удалять устаревшие статьи, объединять разделы в интернет-магазине, переименовывать URL. И чем сложнее ресурс, тем легче что-то забыть и допустить ошибки.
Например, страница имела адрес «site.ru/page123», а получила «site.ru/price-list». При этом не было настроено перенаправление с первого URL на второй. Значит, все ссылки, ведущие на «site.ru/page123», станут битыми. При попытке перехода по ним пользователь увидит в браузере ошибку 404.
Broken links появляются также в результате банальных опечаток. Копирайтер при написании статьи может случайно вставить в текст ссылки лишний символ, что тоже сделает её нерабочей. Сервер не догадается интуитивно, что «site.ru/statya-» — это вроде похоже на «site.ru/statya» и, значит, можно открыть её.
В общем, битые ссылки — не проделки хакеров или злых конкурентов, а вполне естественное явление.
Чем опасны ссылки, ведущие не туда
Битые ссылки, скорее всего, ухудшают продвижение в поисковых системах. Для поисковых роботов они могут быть признаком некачественного, неудобного для пользователей, устаревшего ресурса. Правда, пока нет подтверждённых данных, что битые ссылки напрямую влияют на ранжирование.
Тем не менее битые ссылки однозначно влияют на поведение на сайте. Допустим, пользователь хочет почитать статью, кликает и видит ошибку. Он может вернуться назад, воспользоваться меню или поиском по сайту — а может просто уйти.
А вот поведенческие показатели (отказы, количество просмотров страниц, продолжительность посещения) уже играют значительную роль в SEO. Исследование компании «Ашманов и партнёры» показывает корреляцию с топом или позициями и в Google, и в Яндексе.
Какие инструменты подойдут для проверки битых ссылок
Если сайт с большим количеством страниц, невозможно вручную проверять каждую и кликать по всем имеющимся ссылкам. Для поиска лучше использовать специальные инструменты. Это можно сделать с помощью официальных вебмастеров:
Если хотите быть на «ты» с инструментами вебмастеров и системами веб-аналитики, приглашаем на онлайн-курс « SEO-специалист с нуля до PRO ». Подходит новичкам в поисковом продвижении, интернет-маркетологам, владельцам бизнеса.
SEO-специалист с нуля до PRO
Один из самых полных и профессиональных курсов по SEO в Рунете, созданный на основе стандартов и компетенций экспертов компании Ingate. Вы освоите профессию
SEO-специалиста с нуля. Узнаете, как работают поисковые системы, научитесь собирать семантику, познакомитесь с сервисами «Яндекс.Вебмастер», Google Search Console.
Как избавиться от битых ссылок
Ссылки, ведущие на несуществующие страницы, можно просто удалить. Если в тексте опечатка, то нужно внести правки. Это легко сделать самому через панель управления сайтом или делегировать тому, кто отвечает за наполнение и редактирование контента, — вебмастеру, контент-менеджеру или верстальщику.
Но даже если на сайте не будет битых ссылок, пользователи всё равно будут видеть код ответа 404. Написать URL с ошибкой могут и в соцсетях, и на сторонних ресурсах. И всегда есть вероятность, что пользователь опечатается, когда захочет напрямую зайти на ваш сайт. Чтобы уменьшить процент отказов и негатив в таких случаях, лучше оформить страницу 404 нестандартно. Дайте задание копирайтеру и дизайнеру, а разработчика попросите настроить переадресацию.
Поисковые системы совершенствуют алгоритмы ранжирования и стараются выводить в результатах поиска наиболее качественные ресурсы, отвечающие запросам пользователей. Соответственно, владельцы сайтов вкладывают много сил, чтобы именно их ресурсы занимали наивысшие позиции. Давайте представим, что вы ищете беговые кроссовки из последней коллекции известного бренда. Вы кликаете по нужной ссылке в результатах поиска и попадаете не на страницу магазина с желаемым товаром, а на экран с печальной надписью «404 Not Found», «Страница не найдена», «Нет такой страницы» и все в таком духе.
Страница 404 на примере Google
Такая ситуация может случиться и при переходе по внутренним ссылкам сайта. Давайте разберемся, почему так происходит и как с этим бороться.
Что такое битые ссылки
Битая ссылка – это гиперссылка на страницу, адрес которой был изменен или она была удалена с сайта. Иными словами, по данному адресу страницы больше нет, и при запросе к серверу он возвращает код ответа 4xx Client Error: чаще всего «404 Not Found» и в редких случаях – «410 Not Found» (окончательное удаление адреса из индекса поисковых систем).
На несуществующие страницы могут вести ссылки на самом сайте (внутренние битые ссылки) или размещенные на сторонних ресурсах (внешние битые ссылки). Одна из базовых задач по оптимизации веб-ресурса заключается в регулярной проверке на наличие битых ссылок и их устранение.
Как появляются битые ссылки
Причинами появления ссылок на несуществующие адреса являются:
Рассмотрим их подробнее.
Удаление неактуального контента
Часто возникают ситуации, когда какие-то товары, услуги, а иногда и целые разделы сайта становятся неактуальными: например, в случае обновления ассортимента. Многие владельцы сайтов просто удаляют такие страницы. При этом они забывают, что на них могут вести внутренние или внешние ссылки. После удаления страниц они автоматически станут нерабочими, притом что часть этих страниц могла бы ранжироваться в поисковых системах на хороших позициях.
В итоге пользователь перейдет по такой гиперссылке и увидит экран с ошибкой:
Хорошо, когда страница 404 содержит дополнительное пояснение о том, что страница была перемещена или удалена
Поэтому важно следить, чтобы внутри сайта не оставалось нерабочих ссылок. А при удалении по возможности заранее настраивать 301-й редирект на актуальную или максимально близкую по содержанию страницу.
301 Редирект — это способ постоянного перенаправления поисковых систем и посетителей сайта на адрес, который отличается от изначально запрашиваемого.
Изменение адреса/структуры
Контент-менеджеры сайтов часто не имеют технических навыков. Из-за этого возникают ситуации, когда они пытаются изменить заголовок страницы или название ссылки на страницу из меню. Из-за особенностей движка сайта или случайной ошибки меняется URL-адрес страницы. Это означает, что по старому адресу страница стала недоступной и все ссылки на нее автоматически будут отдавать 404-ю ошибку.
Например, была страница с адресом https://site.ru/novosti/novost-1/, а после правок заголовка контенщиком адрес изменился на https://site.ru/novosti/samaya-svezhaya-novost-1/.
Другая ситуация – изменение адреса из-за смены родительского раздела. Она происходит, когда вы меняете структуру, переносите страницу из одного раздела в другой. Например, на сайте в разделе «Обувь» изначально было деление по типу обуви: ботинки, кроссовки, туфли и т. д., а потом уже на мужские, женские, детские. Соответственно, товар имеет привязку:
Вы решили сделать сначала деление по полу, а потом уже по типу обуви. Следовательно, адрес товара в разделе приобретет вид https://site.ru/obuv/muzhskaya/krossovki/tovar1/.
Или же решили добавить дополнительные подкатегории по сезону: https://site.ru/obuv/krossovki/muzhskie/zimnie/tovar1/
Во всех этих случаях происходит одно и то же: по изначальному адресу страница перестает существовать, все ссылки на нее становятся битыми.
При изменении структуры сайта или исправлении адреса страницы не забывайте обязательно настраивать 301 редирект со старого адреса на новый, а внутренние ссылки сайта заменять на актуальные.
Технические ошибки на стороне сервера
К появлению 404-х ошибок на сайте могут приводить и некорректные настройки веб-сервера. Например, когда движок сайта использует ЧПУ (человекоподобный URL), а сервер не настроен на переадресацию входящих запросов. Или когда при переходе сайта на защищенный протокол не было настроено перенаправление с http на https. Также причиной ошибок может служить кэширование страниц на стороне сервера перед выдачей клиенту.
Случайные ошибки и человеческий фактор
Никто не застрахован от ошибок. Достаточно опечатки в одну букву, чтобы получить нерабочую гиперссылку. Поэтому каждый раз после обновления контента важно проверять работоспособность перелинковки.
Программы для проверки битых ссылок на сайте
Как часто нужно проводить поиск битых ссылок и с помощью чего это делать? Мы рекомендуем регулярные проверки, не реже 1 раза в месяц. Если контент вашего ресурса обновляется часто, проверки можно проводить более регулярно: например, для новостных сайтов раз в неделю.
Рассмотрим наиболее популярные программы для поиска битых ссылок:
Онлайн сервисы проверки битых ссылок на сайте
Проверка битых ссылок в «Яндекс.Вебмастере» и «Google Search Console»
Нельзя не сказать про отслеживание внутренних и внешних битых ссылок на сайте с помощью сервисов «Яндекс» и Google для вебмастеров. В панелях «Яндекс.Вебмастер» и Google Search Console вы сможете увидеть страницы с 404-й ошибкой, которые были исключены из индекса, проанализировать, что явилось причиной их появления и принять решение о необходимости их исправления.
Так это выглядит в «Яндекс.Вебмастере»:
Проверяем 404-е страницы в разделе «Страницы в поиске» меню «Индексирование»
А вот так в Google Search Console:
Проверяем 404-е страницы в разделе «Покрытие» меню «Индекс»
Как исправить битые ссылки
Для исправления битых ссылок рекомендуется следующее:
При настройке 301 редиректа, последовательные переадресации не должны иметь более 3 переадресаций — это снижает передаваемый вес и замедляет скорость загрузки страниц.
Не забывайте проводить регулярные проверки на работоспособность внутренних ссылок, это повышает доверие к ресурсу ваших посетителей и поисковых систем.
Опасны ли битые ссылки и нужно ли с ними бороться?
Влияют ли битые ссылки на ранжирование интернет-ресурса? Напрямую – нет, потому что не существует такого фактора ранжирования, когда за подобные ссылки вы однозначно получите понижение позиций. Однако это не значит, что битые ссылки на сайте никак не скажутся на результатах вашего продвижения.
Битые ссылки можно сравнить с дверью, за которой пользователь натыкается на кирпичную стену. Это явно не добавляет ему расположения к сайту. А что если таких ссылок достаточно много и посетитель за одно посещение сталкивается с несколькими из них или ваша страница 404 ничего об это не говорит, а представлена в стандартном варианте?
Для рядового пользователя написанное будет ничем не лучше иероглифов по понятности
После такого большинство посетителей просто закроет вкладку и покинет сайт раз и навсегда, так как вы не открыли перед ним другие «двери». Упущенный клиент, упущенная выгода, прерванная сессия повлекут за собой ухудшение поведенческих факторов. А поведенческие факторы, в свою очередь, имеют весомое значение для ранжирования интернет-ресурса в поисковых системах.
Оформление страницы 404-ой ошибки в стиле сайта (с наличием меню, выводом дополнительных блоков или ссылок для привлечения и удержания) поможет не потерять потенциального клиента.
Чем вредят сайту битые ссылки? Поиск ссылок 404 и способы их исправить
В статье:
Представим, что веб-мастер написал статью и поставил ссылку на Википедию. Страницу удалили, веб-мастер об этом не знает, ссылка на его сайте все еще стоит, но теперь ведет на страницу 404. Или представим веб-мастера, который переместил товар в новую категорию или настроил ЧПУ, но забыл сделать редиректы со старых URL. Теперь старые ссылки на товары ведут на несуществующие страницы.
Такие ссылки, ведущие в никуда, называют битыми. Они могут быть внутренними — ведущими на страницы своего сайта, или внешними — на страницы стороннего проекта.
Битые ссылки — это гиперссылки, которые ведут на несуществующие файлы или страницы ресурса.
Страницы отдают серверу код ответа 404 Not Found — он означает, что сам сервер найден, но документа по такому адресу не существует, имя файла в коде и на сервере не совпадает. К примеру, файл на сервере удалили или переместили, и теперь он доступен по новому адресу.
Если таких ссылок на сайте много, становится интересно, может ли это негативно повлиять на SEO и позиции сайта. Разберемся, что об этом говорят представители ПС.
Чем вредны битые ссылки на сайте
Битые ссылки вредят SEO: уводят посетителей, ухудшают поведенческие факторы и увеличивают отказы. Пользователь надеялся получить дополнительную информацию, а по ссылке ошибка — ожидания не оправдались. Если он перешел на страницу, где 404, он может совсем закрыть вкладку с сайтом и пойти к конкурентам.
Такие ссылки участвуют во внутренней перелинковке и нарушают распределение ссылочного веса, перетягивая на себя часть авторитетности донора.
Битым ссылкам часто приписывают лишний негатив. В статьях про краулинг встречается информация, что битые ссылки отрицательно влияют на краулинговый бюджет — ресурсы, которые ПС выделяет на сканирование сайта. Пишут, что краулер потратит лимиты на бесполезный обход битых ссылок и из-за этого проигнорирует важные страницы.
По словам Джона Мюллера, сотрудника Google, это не так: 4хх ошибки не приводят к снижению краулингового бюджета. Бот повторно сканирует эти страницы, чтобы убедиться, что они закрыты, но делает это не в ущерб остальным страницам.
Еще Джон Мюллер отмечает, что неважно, сколько страниц с ошибками 404 есть на сайте, фактом своего наличия они не могут снизить рейтинг остальных страниц.
4хх ошибки не крадут бюджет краулера.
Но это касается не всех страниц 4хх. В блоге Google перечисляют страницы, которые негативно влияют на распределение бюджета, и среди них есть «мягкие страницы ошибок», то есть 404 SOFT.
404 SOFT возникают, если для несуществующей страницы сервер должен ответить кодом 404 или 410, а вместо этого отвечает HTTP-кодом ответа 200 OK. В таком случае краулер воспринимает страницу как обычно, сканирует ее и тратит краулинговый бюджет вместо обхода действительно важных страниц.
Ошибки 404 SOFT тратят краулинговый бюджет.
Большое количество страниц 404 точно не принесет никакого положительно эффекта, а навредить может, поэтому лучше их исправить. Найти страницы 404 помогут специальные сервисы и инструменты.
Как искать битые ссылки
Для совсем небольших сайтов можно обойтись ручным способом — пролистать все страницы и посмотреть все ссылки на сайте или посмотреть ссылки из выдачи ПС по запросу «site: вашсайт.ру»
Сервисы могут показывать неточные результаты, так что комбинируйте несколько инструментов, чтобы найти как можно больше страниц с ошибками.
Google Search Console
Страницы с ошибками консоль отображает в разделе «Сканирование» — «Ошибки сканирования».
Ошибки URL, скриншот с сайта devaka.ru
В консоли перечислены ссылки на момент последнего обхода сайта краулером, поэтому в режиме реального времени отследить ссылки не получится.
Удобно отслеживать 404 ошибки можно с помощью Google Tag Manager. Как это сделать — в руководстве.
Яндекс.Вебмастер
Сервис отображает битые ссылки в разделе «Внутренние ссылки» — «Неработающие внутренние ссылки на сайте». Он покажет примеры внутренних неработающих ссылок по данным последнего обхода сайта ботом Яндекса.
Битые ссылки в Метрике, скриншот SEO блиц vc.ru/u/166702-seo-blic
Online Broken Link Checker
Англоязычный онлайн-инструмент для проверки битых ссылок. Бесплатно проверяет до 3000 страниц, смотрит только HTML-документы, то есть ссылок на изображения, видео и другое мультимедиа не будет.
Результаты проверки сайта
Если вам нужно просканировать больше страниц, проверить подпапки (URL-адреса с /) или отдельные страницы, экспортировать результаты в MS Excel, авторы инструменты предлагают связаться с ними.
Netpeak Spider
Русскоязычная программа для анализа ссылок на сайте. Есть бесплатная версия со всеми функциями, но без возможности копировать, экспортировать и сохранять отчёты.
Спайдер анализирует неограниченное количество URL на предмет битых ссылок, картинок, редиректов, а также имеет дополнительные возможности — формирование интерактивных отчётов, интеграции с GA, GSC и Яндекс.Метрика, мульти-доменное сканирование, проверка AMP и разметки и многое другое. Стоит 374,40 долларов в год.
Xenu’s Link Sleuth
Бесплатная англоязычная программа для анализа ссылок на сайте. Инструмент захватывает корневую страницу и проверяет ее, переходя на отдельные ссылки для поиска ошибок. Есть настройка работы программы с фильтрами и количеством одновременных потоков проверки.
Настройка программы
После завершения проверки Xenu’s Link Sleuth генерирует HTML-отчет с результатами.
Пример результата работы программы
Работает бесплатно, но проверка больших ресурсов занимает довольно много времени.
Screaming Frog
Англоязычная программа для анализа ссылок на сайте. Есть бесплатная версия с проверкой 500 страниц.
Пример анализа сайта программой
Платный тариф открывает неограниченное количество страниц для анализа и дополнительные возможности — формирование отчетов, интеграцию с GA, сканирование и проверка AMP и разметки и другие. Стоит 149 евро в год.
Broken Link Checker, плагин для WordPress
Плагин отслеживает ссылки на страницах сайта — в блоге, комментариях и меню — и оповещает веб-мастера через панель инструментов или по электронной почте о том, что ссылка стала битой. Настройки позволяют работать с этими ссылками — запрещать поисковым ботам переходить по ним, менять и исправлять ссылки внутри плагина, не редактируя сам пост.
Пример работы плагина, скриншот oddstyle.ru
Доступен бесплатно, есть русификация.
Расширение Check My Links для Google Chrome
Оно подходит для проверки конкретных страниц, позволяет наглядно увидеть местоположение ссылок и их вид.
После установки расширения в браузере в правом верхнем углу появится иконка. Перейдите на нужную страницу, где будете анализировать ссылки, и кликните на иконку. Расширение проверит ссылки, выведет счетчик и подкрасит ссылки цветами. Ссылки, ведущие на страницы 404, будут красными.
Пример работы расширения
Расширение работает бесплатно, но подходит для небольших сайтов или работы с конкретными страницами.
Как проверить код ответа сервера на странице
Узнать, какой код ответа возвращается по URL, к примеру, можно с помощью инструмента проверки URL в консоли веб-мастера.
Проверка URL в консоли
На странице может быть 404, потому что на ней слишком мало контента, ссылки на ней ведут на недоступные ресурсы, запрещенные к доступу в robots.txt. Или ресурсов наоборот слишком много, они много весят и слишком долго обрабатываются.
Проверить внешние ссылки на сайт можно с помощью сервиса Анализ сайта. Он посчитает их количество, оценит доли SEO- и естественных ссылок, а новые ссылки соберет в список и покажет анкоры.
Проверка ссылок сайта
Что делать с битыми ссылками и несуществующими страницами
Итак, с помощью сервисов вы нашли ссылки, которые ведут на недоступные страницы. Варианты дальнейших действий зависят от самой ссылки.
Внешняя битая ссылка
Ссылка с вашего сайта ведет на сайт партнера, но конечная страница не работает. Найдите такие ссылки и удалите, если содержание не пострадает, или замените на актуальные. Если это коммерческая ссылка, которую нельзя удалить и заменить, свяжитесь с партнером и скажите о проблеме с его ресурсом.
Кстати, на поиске ссылок на страницы 404 на чужих сайтах базируется один из методов получения обратных ссылок. Веб-мастеры отслеживают трафиковые статьи по своей теме, находят в материале ссылки, которые ведут на 404, и пишут свои посты на эту тему. Потом они пишут автору блога и предлагают заменить битую ссылку на их материал. Выигрывают обе стороны: веб-мастер получает ссылку на свой сайт, а автор блога закрывает битую ссылку хорошим материалом и не отправляет пользователей читать несуществующую страницу.
Внутренняя битая ссылка
Что делать с битыми ссылками внутри своего сайта, варианты:
Что делать с недоступными страницами
Даже если вы удалите все ссылки на несуществующие страницы, они все равно будут появляться — пользователь ошибется в адресе, произойдет технический сбой или что-то еще, поэтому рекомендуем сделать настройку.
Страница с ошибкой должна возвращать код ответа 404 (недоступно) или 410 (удалено), но не 220 ОК. Код 410 сервер посылает, если ресурс удален и недоступен, а расположение копии неизвестно. Если документ может быть восстановлен, то лучше передать 404.
Стандартная страница 404 побуждает закрыть вкладку. Настройте свою страницу 404, чтобы возвращать пользователей на сайт и направлять на целевые страницы. Разместите на ней навигацию к работающим разделам сайта, ссылку на главную или что-то смешное и интересное. Это позволит вернуть пользователей к работе с сайтом и оставить хорошее впечатление о компании.
Страница 404 сайта Airbnb предлагает другие разделы сайта 
На сайте Github со страницы с ошибкой можно использовать поиск, войти в учетную запись, перейти в другие разделы сайта
Страница 404 сайта HeadHunter отправляет к полезным разделам сайта
Страница 404 у Blizzard в шутку обвиняет «Спасибо, вы сломали нам страницу» и предлагает перейти к другим разделам
Страница 404 сайта 9GAG предлагает скачать приложение, если сайт недоступен
Глаза на странице сайта hakim.se/404 следят за курсором, есть ссылка на главную
Следующий шаг — разобраться со страницами, которых не существует. Ссылки на них все еще могут быть в индексе ПС, поэтому их нужно удалить.
Как удалить несуществующие страницы из индекса
Удалить страницы из индекса можно через панели веб-мастеров Яндекс и Google.
Чтобы страница удалилась из индекса, сервер при обращении к ней должен возвращать ошибку 404. Если страница существует, но не должна участвовать в поисковой выдаче, закройте ее от индексации правилами robots.txt или мета-тегом noindex.
При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.