Сео-хак #1 — анализ обратных ссылок на несуществующие страницы сайта.

Ссылки на несуществующие страницы — какая от них польза?

Для большого, старого и довольно популярного (читай — посещаемого) сайта, за которым не следила пристально команда оптимизаторов, всегда будет характерным наличие многих удаленных в прошлом страниц. А в интернете могут быть немало ссылок, оставленных на эти страницы. И предприняв нехитрые шаги, можно получить некоторый профит от таких ссылок.
Можно конечно сделать и редирект всех несуществующих страниц (и я иногда так делаю, смотрите инструкцию тут), но это будет не совсем правильным в рамках стандартов. Несуществующие страницы должны отдавать 404 ответ сервера (без всяких предварительных редиректов, это важно!) и показывать контент, уведомляющий пользователя о ситуации «..бла-бла, страницы не существует..».

Алгоритм работы

  • найти все обратные ссылки и их назначение на сайте;
  • проанализировать ответ сервера для всех страниц назначения ссылок;
  • выявить страницы, не существующие более на сервере (они должны отдавать у вас 404, если у вас не так, сначала настройте все по правилам);
  • настроить 301 редирект всех таких страниц на нужные назначения (глобально — можно все на главную).

Приступим.

Ведь все анализируют обратные ссылки, правда? На рынке есть множество сервисов, от платных и полуплатных, до полностью бесплатных: Linkpad (https://www.linkpad.ru/), Open Site Explorer от Moz.com (http://moz.com/researchtools/ose/), majestic.com, www.backlinkwatch.com, Ahrefs.com (этот платный, но там есть за что платить и многие сео-агенства используют его в своей работе).

Некоторые из ресурсов даже имеют специальный функционал по показу ссылок на 404 страницы:
brokenlink-redirects1

Но огорчу — данные их не всегда бывают точными и полными, именно поэтому необходимо анализировать все страницы, на которые вы найдете ссылки.
Не лишним будет после анализа внешних ссылок и проанализировать кеш гугла на наличие в нем страниц, которые могли остаться с заветных времен. Обязательно проанализируем также и эти страницы.

Итак, с помощью указанных выше сервисов (можно использовать все и результат объединить) вы собрали весь список своих обратных ссылок и их назначений. Составте список уникальных страниц, на которые стоят обратные ссылки.
Полученный список нужно проанализировать на предмет ответа сервера — если 200, все нормально, если 404, то попадает в наш спиосок на редирект. Готового решения, которое бы сделало это четко, без лишних действий и быстро, я не нашел, поэтому пришлось создать такое решение (программы, типа Xenu, TrafficTravis, Screaming Frog Seo Spider, Netpeak Spider не сканируют выборочный список — они сканируют либо весь сайт, переходя по его ссылкам, либо отдельную директорию, либо страницы в кеше Google. Но страниц не линкованных с сайта или не присутствующих в ОСНОВНОМ кеше Гугла они не найдут).

Linkscanner

Встречайте — Linkscanner (ооочень ранняя «альфа»).

Программа (на данном этапе) позволяет загрузить в нее список ваших страниц и провести анализ. Она проверяет ответ сервера для данной страницы, если происходит редирект, то она следует по редиректам до 5-го. Если редиректов больше, далее проверка не идет, если меньше, то программа отдает ответ сервера для последней страницы в цепочке редиректов.

Далее, выгружаем результаты в CSV, открываем в редакторе таблиц (Excel, LibreOffice Calc) и фильтруем все страницы с ответами 404, 410. Вот именно эти страницы и необходимо перенаправить на главную или куда-либо еще, для того, чтоб ваши пользователи, кликнувшие на ссылку на чужом сайте, не приземлились на странной и непонятной несуществующей странице. Плюс — передача ссылочного веса в нужное место. Чего мы и добивались, собственно.

Программа будет далее дорабатываться, в планах дополнить проверку текущего Google PR и Moz PageAuthority для сканируемых страниц. Но это пока планы…