Xenu Link Sleuth это один из наиболее полезных инструментов в поисковой оптимизации. Хотя эта программа изначально предназначалась для поиска битых ссылок на сайте, с помощью неё можно решать ряд других задач, проводя аудит внутренней структуры сайта и находя в нем слабые места:

– Искать битые (неработающие) ссылки на заданном ресурсе.
Вы написали сотню статей, во многих были ссылки на другие ресурсы или какие-нибудь документы, изображения, но уследить за работоспособностью всех этих ссылок вручную невозможно. В данном случае очень удобно использовать Xenu Link Sleuth, как свободный софт, простой в настройке и использовании.

– Составлять карту сайта.
Для динамических сайтов составить карту не составляет проблемы, однако, для статических HTML ресурсов создавать карту сайта вручную весьма долго и трудоемко. Xenu решает эту задачу за несколько минут в зависимости от размера сайта и скорости Интернет-соединения.

– Искать страницы с большим временем отдачи.
Зная, какие страницы на вашем сайте отдаются с большой задержкой, можно проанализировать причину подобного поведения и оптимизировать время отдачи, что положительно скажется как на посетителях, так и на поисковых системах.

– Найти неуникальные тайтлы.
Каждый тайтл на странице должен быть уникален, тогда ни одна из них не будет находиться в дополнительных результатах поиска и фильтроваться, как дублированный контент. Поэтому важно знать, на каких страницах сайта тайтлы повторяются.

– Найти страницы с большим уровнем вложенности.
Все страницы на сайте по возможности должны находиться не далее, чем в двух-трех кликах от главной. Чем дальше находится страница, тем сложнее до неё добраться как пользователям, так и поисковым системам. Если у вас нашлись подобные страницы, являющиеся важными, но находящиеся далее, чем в 3-х кликах от главной, стоить принять какие-либо меры для улучшения навигации. Возможно, некоторые из дальних страниц вам уже не нужны, xenu легко позволяет их найти.

– Искать страницы с максимальным количеством исходящих ссылок.
Как упоминалось раннее, все исходящие ссылки на сайте должны тщательно модерироваться, так как от них зависит заслуженное доверие от поисковых систем (по принципу: "Скажи мне кто твой друг и я скажу кто ты!”) а также присвоение сайту различного рода фильтров. Если вы заметили резкое падение позиций в поисковике, тогда первым делом необходимо проверить все исходящие ссылки, так как возможно, если виноваты не вы, то хакеры, разместившие на вашем ресурсе свои спам-ссылки.

– Посмотреть какие из страниц имеют наибольшее и наименьшее количество внутренних ссылок на себя.
Проверьте вашу внутреннюю перелинковку в численном виде. Какие из страниц заслужили больше внимания, а какие меньше (исходя из внутренних ссылок)?

– Найти картинки с отсутствующим атрибутом alt.
Атрибут alt является важным при оптимизации сайта или отдельных страниц под определенные запросы. Проверьте, возможно, вы упустили описание для важных на вашем сайте изображений, добавив которое, вы улучшите позиции в поиске, либо вас будут находить по поиску по изображениям.

Результаты решения этих задач, как видно, могут быть использованы для оптимизации, поэтому, сделаем небольшой обзор программы Xenu Link Sleuth, чтобы её пользователей не пугал английский интерфейс.

Ксену является свободным продуктом и эту программу можно скачать по этой ссылке. При запуске перед вами откроется очень простое окно, важная часть которого изображена на скриншоте.

Чтобы начать аудит какого-либо сайта, выберите пункт меню "File » CheckURL”. В появившемся окне необходимо ввести адрес сайта и выделить чекбокс "Check external links” (проверять внешние ссылки).

В программе предусмотрено множество настроек, доступных в пункте меню "Options » Preferences”.

Parallel threads устанавливает количество синхронных (параллельных) запросов.
Apply to all jobs позволяет сохранять настройки для всех проектов.

Далее, отчет позволяет включать в себя:
Broken links, ordered by link — Битые ссылки, отсортированные по адресу;
Broken links, ordered by page — Список битых ссылок, отсортированных по страницам;
Broken local links — Битые внутренние ссылки;
Redirected URLs — Адреса с 301/302 редиректом;
Ftp and gopher URLs — ФТП и другие не HTTP адреса;
Valid text URLs — Список рабочих текстовых ссылок;
Site Map — Карта сайта;
Statistics — Статистика;

Файл отчета работы Xenu очень большой и содержит в себе всю необходимую информацию. К примеру, статистика мониторинга моего блога показала следующие результаты:

В результате аудита, на сайте найдены ряд моментов, на которые стоит обратить внимание для оптимизации. Единственный недостаток программы — отображение русских заголовков страниц в неправильной кодировке.

Сразу же после окончания проверки ссылок сайта, в главном окне появится детальная таблица, где данные можно отсортировать по каждому из столбцов: адрес ссылки, возвращаемый статус, mime-тип, размер, заголовок, уровень вложенности, кол-во внешних и внутренних ссылок, время отдачи страницы. Вот эту таблицу вам и надо использовать. Если что-то будет не понятно по работе или использованию программы, можете спрашивать в комментариях, постараюсь ответить.