Что такое битые ссылки и причина их появления?

30 Ноября 2018

СОДЕРЖАНИЕ

Что такое битые ссылки и причина их появления?

Почему битые ссылки – это плохо?

Откуда берутся битые ссылки

Как найти битые ссылки с помощью Яндекс Вебмастера и Google Search Console

Поиск битых ссылок с помощью программы Xenu Link Sleuth

Проверка битых ссылок программой Screaming Frog SEO Spider

Проверка битых ссылок онлайн-сервисом Broken Link Checker

Проверка битых ссылок онлайн-сервисом SeoTo.Me

Почему подборка сервисов получилась такая маленькая

Поиск ссылок в WordPress с помощью плагинов

Выводы

Каждый пользователь хотя бы 1 раз в своей жизни сталкивался с ситуацией, когда кликаешь по ссылке (причем неважно, из поисковой выдачи или на каком-то и сайтов), а затем видишь сообщение «Страница не найдена» (иногда сопровождается злосчастным числом 404). Т.е. фактически ссылка ведёт в никуда. Такие ссылки в SEO-среде принято называть «битыми».

Почему битые ссылки – это плохо?

Битые ссылки – это всегда плохо. Вот серьезно, какие у них плюсы? Напишите, пожалуйста, в комментариях, а то мы не в курсе. А вот минусов у битых ссылок очень много:

  • негативные поведенческие факторы, т.е. люди видят, что пришли на страницу, которая не существует, развернулись и ушли, не пробыв на сайте и 5 секунд, а это приравнивается к «отказу»;
  • поисковые системы, зафиксировав отказы, с каждым разом по чуть-чуть да по чуть-чуть, а все-таки пессимизируют сайт;
  • даже если «битая» ссылка является «мёртвой» (т.е. по ней никто не кликает), это всё равно плохо, поскольку накопление битых ссылок может навести поисковые системы на мысль, что сайт заброшен, следовательно, они могут вообще выкинуть сайт из поисковой выдачи;
  • бестолково расходуется краулинговый бюджет (кто не в курсе – это количество страниц, которое поисковый робот должен обойти за 1 сеанс), как следствие, затрудняется индексирование сайта.

Битые ссылки – это те самые паразиты, которые имеют свойство периодически появляться и с которыми нужно бороться, не откладывая в «долгий ящик». Чем меньше на сайте битых ссылок – тем лучше. А в идеале их не должно быть вообще. Следовательно, их нужно либо исправлять, либо удалять, либо принимать какие-то другие меры по их лечению/ампутации.

И несмотря на то, что представители Яндекса не дают внятного ответа на вопрос «влияют ли битые ссылки на продвижение сайта?», а представители Google дают отрицательный ответ, мы-то с Вами знаем, что на самом деле ответ положительный.

Откуда берутся битые ссылки

Причин появления битых ссылок может быть очень и очень много. Рассмотрим несколько основных причин:

  • Вы сами удалили страницу или файл. В самом удалении страницы нет ничего плохого, но если на эту страницу размещены ссылки на других страницах, то эти ссылки как раз и становятся битыми. То же самое касается и удаления файлов. В данном случае самым правильным решением будет удаление битых ссылок с сайта.
  • Изменилась структура сайта, т.е. одни разделы объединились, другие – разделились, а третьи – переместились. Следовательно, адреса этих разделов изменились со старых на новые. Да, мы не спорим, любой движок скорректирует меню сайта самостоятельно, однако, он не будет исправлять ссылки, которые находятся где-нибудь в середине текста. Ровно то же самое можно сказать про ситуации, когда сайт переходит с УРЛ на ЧПУ (Человеко-Понятные УРЛы). Для решения этой проблемы есть 2 подхода: либо ручное исправление адресов, либо настройка 301 редиректа (переадресации) со старых адресов на новые (для этого на сайте вообще не придется ничего исправлять).
  • Человеческий фактор. Тут всё просто – сам вебмастер допустил ошибку, когда закреплял ссылку на анкорный фрагмент текста. Например, случайно удалил последний символ ссылки. Варианты решения предложены в предыдущем пункте.

Всё вышесказанное относится и ко внутренней перелинковке, и к обратным ссылкам (т.е. к ссылкам, ведущих с других сайтов на Ваш).

Обратите внимание, что настройка 301 редиректа в таких случаях является крайней мерой и допускается только тогда, когда нет возможности исправить ссылки вручную. Ручное исправление занимает больше времени и усилий, но зато код Вашего сайта не захламляется кучей условий переадресации (избыточное количество условий может спровоцировать так называемую «циклическую» переадресацию, т.е. с первого адреса на второй, со второго на третий, а с третьего на первый). Плюс к этому переадресация затормаживает загрузку документа примерно на 0,4-0,5 секунды, а это иногда критично.

Также стоит отметить, что ЧПУ значительно упрощают процедуру обработки битых ссылок. Каким образом? Очень просто.

Допустим, у Вас есть битая ссылка вида site.xyz/?page_id=15122464. Что это вообще за страница? Куда она должна вести? Непонятно.

Другой пример - у Вас есть битая ссылка вида site.xyz/notebooks/dell-5565-a10-8gb-1tb-hd, по которой сразу же становится понятно, что это карточка товара ноутбука Dell 5565, плюс некоторые его характеристики. И после того возможны два варианта:

  • «А, так ноутбуки же в другой раздел переехали!» - поэтому ссылку исправляем;
  • «А, так эта модель не выпускается уже!» - поэтому удаляем.

Как найти битые ссылки с помощью Яндекс.Вебмастера и Google Search Console

Самое первое, чем действительно имеет смысл воспользоваться – штатные «кабинеты» от Google и Яндекс – Search Console и Вебмастер соответственно. Мы их по старой доброй русской традиции называем «вебмастерские».

Начнем с Google Search Console. Разумеется, мы не будем говорить, что нужно в ней зарегистрировать Ваш сайт, потому что это и так понятно. Важно другое – информация о битых ссылках будет Вам доступна только, если:

  • сайт зарегистрирован в Search Console хотя бы несколько месяцев, т.е. робот Google уже обошел Ваш сайт несколько раз;
  • битые ссылки действительно есть;
  • оба пункта являются обязательными.

Кстати, к Яндекс.Вебмастеру это тоже относится.

Итак, заходим в консоль, выбираем «Сканирование» — «Ошибки сканирования» и переходим на вкладку «Не найдено»:

Однако, тут следует акцентировать внимание на одном очень важном моменте – консоль будет показывать не только битые внутренние ссылки, но и обратные. Следовательно, не факт, что ошибки именно на Вашем сайте. Однако, это в любом случае уже «тревожный звоночек».

Вы можете кликнуть по любой битой ссылке, чтобы получить более подробную информацию. Например, после клика можно перейти на вкладку «Ссылающиеся домены», чтобы увидеть список страниц, на которых была обнаружена данная битая ссылка.

Еще раз – если это внутренние ссылки, то Вы их должны исправить самостоятельно. Если обратные (т.е. с других сайтов) – либо связывайтесь с владельцами сайтов, чтобы они сами исправили, либо (если отказываются, или не выходят на связь) настраивайте 301 редирект с битого адреса на действующий. О том, как настраивать 301 редирект у нас есть отдельная статья с примерами кода [закрепить ссылку https://stokrat.org/blog/dolbim-didzhital/kak-nastroit-redirekty-na-sayte/].

С Google Search Console, будем считать, разобрались, поэтому переходим к Яндекс.Вебмастеру. ВАЖНО – использовать вебмастерские Яндекса и Google для поиска битых ссылок имеет смысл только «в паре», поскольку данные могут отличаться. Например, битьё, которое нашел Яндекс, может упустить из виду Google и наоборот.

Итак, заходим в Яндекс.Вебмастер, в левом меню выбираем «Ссылки» — «Внутренние ссылки». Откроется окно, в котором будет выпадающее меню.

В этом меню можно выбрать причину, по которой Яндекс считает эту ссылку нерабочей.

Обратите внимание, что битые ссылки помечаются кодом 404, а закрытые от индексирования – n/a.

Как видите, ничего сложного в использовании штатных сервисов Google и Яндекса нету.

Поиск битых ссылок с помощью программы Xenu Link Sleuth

Со штатными инструментами поиска битых ссылок разобрались, переходим к программному обеспечению и онлайн-сервисам. Начать мы решили с бесплатной программы Xenu Link Sleuth.

Скачали, установили, запустили, затем «File» — «Check URL» - откроется окошко, в которое потребуется ввести адрес Вашего сайта. Адрес сайта желательно вводить полностью, т.е. с http/https (в зависимости от того, по какому из двух протоколов будет работать сайт), с www (если оно присутствует) и т.д. Это необходимо для того, чтобы в таблицу не попадали лишние редиректы. После ввода адреса необходимо поставить галочку «Check external links» - это необходимо для того, чтобы программа проверила на работоспособность не только внутреннюю перелинковку, но и исходящие ссылки.

Всё – нажимаем ОК и ждём, когда программа завершит сканирование.

Мы не будем сейчас рассказывать про весь функционал данной программы, просто скажем, что после того, как сканирование будет закончено, Вам необходимо будет отсортировать результаты по столбцу “Status”.

Все битые ссылки окажутся в самом верху (а если кликните на заголовок столбца еще раз – они окажутся внизу).

Однако, у данной программы есть один минус – она почему-то работает не со всеми сайтами. Например, сканирование вполне может завершиться вот так:

Разумеется, такое сканирование нельзя назвать полным. Иногда проблема решается путем добавления замыкающего слэша в адрес, т.е. вместо https://stokrat.org вводим https://stokrat.org/. Однако, имейте в виду, что данная фишка работает не всегда.

Второй минус – программа не всегда правильно распознает кодировку, из-за чего может возникнуть белиберда, как на скриншоте ниже.

Третий минус Xenu заключается в том, что она лопатит вообще всё подряд, поэтому иногда в ошибки вылезает и то, что на самом деле ошибками не является.

Наличие в самом начале адреса viber:// и sms:// Вас ни на какие мысли не наводит? В данном случае ссылки предназначены для того, чтобы делиться материалами с помощью СМС и мессенджера Viber. Соответственно, они ОШИБОЧНО признаны битыми.

Отсюда следует вывод – ссылки, которые Xenu признаёт битыми, Вам придется перепроверить самостоятельно. Да, это дико неудобно, но зато бесплатно.

Проверка битых ссылок программой Screaming Frog SEO Spider

И начнём с минусов этой программы. Точнее – с минуса. Тот факт, что Frog и Xeno не имеют русскоязычного интерфейса, мы просто замнём. Минус с нее только один – цена. Если Вы сейчас стоите – лучше сядьте. Сели? Точно? Уверены? Цена составляет целых 150 фунтов, а это целых 13000р в год. Да, цена адски кусается. Но самое неприятное в том, что это цена… ГОДОВОЙ лицензии.

Да, мы не спорим, ее можно использовать и в бесплатном режиме, т.е. без покупки лицензии, однако, в этом случае Вы не сможете просканировать более 500 элементов за 1 раз.

Теперь к плюсам. Главный плюс в том, что Screaming Frog полностью лишена тех минусов, о которых мы рассказали про Xenu.

Итак, скачали, установили, запустили. Первым делом заходим в меню Mode и ставим галочку Spider – это необходимо для того, чтобы перевести программу в сканирование сайта. Затем указываете просто имя домена (можно даже без http/ https, www, замыкающего слэша и т.д.) и нажимаете Start.

После того, как сканирование будет завершено, нажимаете на заголовок столбца Status Code, чтобы отсортировать по коду ответа (200 – всё нормально, 404 – не существует). Как вариант, можете отсортировать по столбцу Status, это не изменит ровным счетом ничего. Как видите, у нас нашлось несколько битых ссылок, поэтому нам будет чем заняться.

ВАЖНО!!!

Мы бы рекомендовали дополнительно проверять еще и страницы с кодом ответа 301, поскольку (в зависимости от настроек сайта) бывает вот такая история:

Т.е. происходит 301-перенаправление на страницу об ошибке 404.

Более того, некоторые вебмастера предпочитают настраивать «мягкую» ошибку 404 - в этом случае страница ошибки остаётся той же, но код ответа будет не 404, а 200. В этом случае ни Xenu, ни Screaming Frog могут вообще не показать «nof found» и 404 соответственно. В этом случае придется копаться там, где красуется «moved permanently» с числом 301.

Проверка битых ссылок онлайн-сервисом Broken Link Checker

Ссылка на сервис - https://www.brokenlinkcheck.com/broken-links.php

Однако, у сервиса есть пара минусов:

  • в бесплатном режиме может просканировать не более 3000 объектов (следовательно, для больших сайтов бесплатный режим не подходит);
  • некоторые битые ссылки могут быть не распознаны им как битые.

Работает сервис очень просто – указываете доменное имя сайта, вводите капчу. Обратите внимание на переключатель.

В верхнем положении сервис просто покажет список ссылок, которые нужно исправить.

Например, в таком режиме сервисом было найдено 10 ссылок.

В нижнем положении сервис делает то же самое, но добавляет в список ссылки даже в том случае, если они уже есть. Следовательно, Вы не просто получаете список битых ссылок, но еще и получаете возможность узнать, сколько раз одна и та же ссылка повторяется на сайте.

Обратите внимание, что справа от ссылок есть столбец, в котором есть ссылка URL и ссылка SRC. Нажав на первую, Вы попадёте на ту самую страницу, где и была обнаружена ошибка. Нажав на вторую, Вы увидите html-код той самой страницы, а также Вам будет подсвечено, в каком именно фрагменте располагается битая ссылка.

Как видите, сервис прост и полезен несмотря на ограниченный режим.

Проверка битых ссылок онлайн-сервисом SeoTo.Me

Адрес сервиса - https://seoto.me/

А вот теперь мы рассмотрим, пожалуй, самый демократичный сервис. Мы не будем сейчас говорить, что кроме поиска битых ссылок, он умеет еще много чего, потому что это и так понятно. Весь функционал затрагивать не будем, поскольку нас в рамках данной статьи интересует только битьё.

Регистрируетесь, логинитесь, создаёте новый проект, вводите имя домена, запускаете сканирование. Как только сканирование будет завершено, у проекта появится соответствующая пометка.

Заходим в проект, выбираем в верхнем меню Ссылки, а далее сами решайте, какие ссылки Вы хотите просмотреть – внутренние или внешние (сервис их разделяет).

Затем пред Вами предстанет список битых ссылок. В данном случае – внутренних (хотя тут не принципиально, схема одна и та же).

Обратите внимание, что если нажать на (go), то Вы перейдёте по битой ссылке, а если кликните по адресу, то получите подробную информацию.

Во-первых, Вы получите подробный http-ответ:

Во-вторых, Вы получите адреса страниц, на которых размещена конкретно эта битая ссылка, а также анкорные тексты, на которых она закреплена.

В-третьих, если кликнуть на адрес этой страницы, то Вы получите самую развёрнутую информацию по ссылкам конкретно на этой странице – сколько их, какие коды ответа они отдают (200, 301, 404 и т.д.), а также анкорные тексты, на которые закреплены ссылки.

На данном скриншоте мы видим 3 переадресации (помечены кодом 301), 5 битых ссылок (404) и 4 рабочие ссылки (200).

Как видите, сервис реально ультраполезен. Теперь о цене – 500р/мес за 1 сайт. НО:

  • это не значит, что Вам придется платить 500р за каждое сканирование, в платном режиме можно сканировать сайт хоть по 10 раз в день, никто слова злого не скажет;
  • можно сканировать и в бесплатном режиме, однако, в этом случае 70% информации будет скрыто, если сервис нашел на Вашем сайте 100 битых ссылок, то Вы увидите только 30.

Почему подборка сервисов получилась такая маленькая

Да, мы не спорим, сервисов по выявлению битых ссылок гораздо больше, однако у большинства из них проблемы:

  • либо за 1 заход они ограничиваются сканированием 1 страницы;
  • либо они предоставляют далеко не всю нужную информацию (например, показывают битые ссылки, но не показывают, на каких они страницах были найдены);
  • либо они значительно дороже, чем тот же SeoTo.Me.

Например, сервис https://badlinks.ru/. Обойдёмся без комментариев, просто посмотрите, насколько ограничена бесплатная проверка и взгляните на расценки.

Т.е. мало того что Вам надо будет сначала посчитать, сколько страниц у Вас на сайте (или не считать, а доплачивать), что уже взрывает мозг своим неудобством, так с добавок к этому тут есть еще один момент, который не все уловили. Если сервис SeoTo.Me берет 500р/мес за 1 сайт вне зависимости от количества страниц и полностью снимаются ограничения на количество сканирований в пределах месяца, то в случае с BadLinks.ru идёт оплата за 1 проверку. Да, мы не спорим, на BadLinks.ru есть и расценки на регулярное сканирование, однако, годовая подписка будет оптимальным вариантом далеко не для всех. Да и объем предоставляемой в бесплатном режиме информации однозначно идет в пользу SeoTo.Me, поэтому им мы и ограничились, т.к. это и есть самый оптимальный вариант для поиска и устранения битых ссылок (разумеется, если у Вас не WordPress).

Поиск ссылок в WordPress с помощью плагинов

WordPress прославился тем, что почти любая задача решается путем установки плагина. Поиск битых ссылок, как Вы уже догадались, не входит в список задач, которые нельзя решить плагинами.

Для поиска битых ссылок Вам будет достаточно установить бесплатный плагин Broken Link Checker. Он хорош тем, что Вы сможете сказать ему «сканируй сайт с [такой-то периодичностью]». Также он позволяет удалять/исправлять битые ссылки прямо «в своем интерфейсе». Т.е. Вам не потребуется лезть на страницу, а потом копаться в коде, чтобы найти и исправить/удалить битую ссылку.

Мы сейчас не будем рассказывать о том, где и как скачать этот плагин, ибо если у Вас WordPress – значит Вы это и так знаете. Итак, скачали, установили, активировали. После этого плагин сразу же начнет сканировать сайт на предмет битья. В любой момент Вы можете зайти в админку, затем в «Настройки» — «Проверка ссылок» и увидеть, сколько битых ссылок плагин уже нашел, сколько объектов уже просканировано, а сколько объектов еще «на очереди».

Здесь же можно указать интервал проверок (в данном примере – 72 часа) и даже запросить уведомления на электронную почту, если битые ссылки все-таки будут обнаружены.

Также стоит отметить, что в правом меню админки (точнее – в меню «Инструменты») появится пункт «Неправильные ссылки». Собственно, именно там и можно будет их либо исправить, либо удалить.

Т.е. плагин будет крайне полезен абсолютно всем владельцам сайтов на WordPress, поскольку он в разы сокращает затраты сил и времени на поиск и исправление битья.

Что касается остальных движков, никаких однозначных рекомендаций дать не можем, поскольку для каких-то вообще не удалось найти ничего вменяемого, для каких-то – удалось, но они платные, причем неплохо так платные – 20-50$. Поэтому пока что ограничимся WordPress’ом.

Выводы

Итак, мы выяснили, что у битых ссылок есть куча минусов, но нет вообще никаких плюсов.

Также мы выяснили, что их поиск и исправление может отнять, скажем так, не один час работы, особенно если сайт очень крупный, а битых ссылок вылезло очень много.

Именно поэтому мы рекомендуем проверять сайт на битые ссылки хотя бы раз в неделю, а если таковые имеются – экстренно их исправлять. Лучше ежемесячно исправлять вновь образующиеся битые ссылки, чем терпеть целый год, а потом исправить разом всё. Второй вариант отнимет у Вас гораздо больше сил и времени, чем первый.


Подпишитесь на обновления
Лучшей оценкой нашего труда является ваша подписка на новые публикации. Мы очень постараемся быть интересными и обещаем не спамить.
 

Комментарии к статье
seoonly.ru 30.11.2018
Скриминг фрог решает)

(0)
Читайте также