Подробное руководство по анализу лог-файлов для SEO



В лог-файл сайта записывается каждый запрос к вашему серверу, и анализ этой информации может дать представление о том, как поисковые системы сканируют сайт и его страницы.

В этом руководстве мы рассмотрим, как проводить анализ лог-файла и для чего его можно использовать в SEO, в частности, рассмотрев:

• Что такое анализ лог-файлов.
• Для чего используется анализ лог-файлов.
• Как сделать анализ лог-файла.

Что такое анализ лог-файлов

Анализ лог-файлов – это техническая задача SEO, которая позволяет точно увидеть, как робот Google и другие поисковые роботы взаимодействуют с вашим сайтом. Файл журнала сайта дает ценную информацию, которая может улучшить вашу SEO-стратегию или решить проблемы, связанные со сканированием и индексированием веб-страниц.

Что такое лог-файл и какая в нем содержится информация

Лог-файл сайта хранится на вашем сервере и записывает информацию о выполненных запросах. Каждый раз, когда пользователь или бот посещает страницу сайта, в лог-файл вносится запись для каждого загруженного ресурса. Журнал показывает, как именно пользователи, поисковые системы и другие сканеры взаимодействуют с сайтом.
Вот пример того, как выглядит файл журнала сайта:



В лог-файле вы найдете следующие данные:

• URL-адрес запрашиваемой страницы или ресурса.
• Код состояния HTTP запроса.
• IP-адрес сервера запросов.
• Метка времени обращения (время и дата).
• Агент пользователя, отправляющий запрос (например, Googlebot).
• Метод запроса (GET / POST).

Вы также можете найти IP-адрес клиента, время, затраченное на загрузку ресурса, и реферер.

Если вы впервые просматриваете файл журнала сайта, нельзя отрицать, что он может сбивать с толку. Однако, понимая, для чего используется анализ лог-файлов и как это делать, вы сможете получить действительно ценную информацию.

Для чего используется анализ лог-файлов

Есть несколько различных данных, которые вы, как SEO-специалист, можете получить из файла журнала вашего сайта:

• Как часто робот Googlebot сканирует сайт, какие страницы сканируются не так часто (и сканируются ли они вообще).
• Наиболее часто сканируемые страницы и папки.
• Расходуется ли краулинговый бюджет сайта на нерелевантные страницы.
• URL-адреса с параметрами, которые сканируются без необходимости.
• Перешел ли сайт на mobile-first indexing.
• Конкретный код состояния, используемый для каждой страницы сайта и поиска проблемных мест.
• Является ли страница слишком большой или медленной.
• Поиск статических ресурсов, которые сканируются слишком часто.
• Поиск часто сканируемых цепочек переадресации.
• Внезапное увеличение или уменьшение активности краулера

.
Как сделать анализ лог-файла
Теперь, когда мы рассмотрели некоторые данные, которые можно получить с помощью анализа лог-файлов, давайте рассмотрим, как это сделать.

Вам понадобится:

• Файл журнала сервера вашего веб-сайта
• Доступ к анализатору файлов журнала Semrush

Хотя вы можете преобразовать .log в .csv, просто переименовав файл, что означает, что его можно будет открыть и проанализировать в Excel или Google Sheets, использование специального инструмента делает анализ проще и быстрее. Это означает, что вы можете потратить больше времени на поиск решений любых обнаруженных проблем, а не на интерпретацию данных вручную.

В качестве альтернативы можно использовать анализатор лог-файлов от Semrush.

Где взять лог-файл

Прежде чем вы сможете проанализировать файл журнала вашего сайта, необходимо получить его копию.

Файлы журнала хранятся на вашем сервере, к которому понадобится доступ, чтобы загрузить копию. Если у вас нет такого уровня доступа, обратитесь к своему веб-разработчику или ИТ-команде и попросите предоставить данный файл или поделиться копией.

Перейти к файлу журнала можно через панель управления сервером, либо через командную строку, либо с помощью FTP-клиента (если у вас его еще нет, Filezilla бесплатна и рекомендуется).

Общие настройки сервера можно найти в следующих местах:

• Apache: /var/log/access_log.
• Nginx: logs/access.log.
• IIS: %SystemDrive%\inetpub\logs\LogFiles.

Стоит учесть, что получить файл журнала сайта не всегда так просто. Проблемы, с которыми можно столкнуться, включают:

• Обнаружение, что лог-файлы отключены администратором сервера и недоступны.
• Нежелание клиентов или других внутренних групп предоставлять лог-файлы или доступ к ним.
• Огромные размеры файлов.
• Лог-файлы, в которых хранятся только недавние данные.
• Проблемы, вызванные CDN.

Тем не менее, у всех этих проблем есть решения, над которыми обычно можно работать вместе с разработчиком или администратором сервера.

Рассмотрим анализатор лог-файлов Semrush

Если у вас нет опыта, чтобы провести аудит вручную, то анализатор лог-файлов Semrush –это идеальный способ получить представление о том, как поисковые системы сканируют сайт.

Мы рекомендуем использовать инструмент по следующим причинам:

Анализировать файл журнала вручную утомительно. Если вы не обладаете высокой квалификацией в техническом анализе веб-сайтов, это может оказаться сложной задачей, которая может вас запутать. Если нужен самый быстрый способ проанализировать лог-файл и понять, как боты от Google взаимодействуют с вашим сайтом, этот инструмент для вас.

Использование данного инструмента делает анализ файла журнала быстрым и понятным.

Вот простой и понятный пошаговый процесс:

1. Убедитесь, что ваш лог-файл имеет правильный формат

Перед использованием инструмента, необходимо убедиться, что ваш лог-файл имеет правильный формат. Правильным форматом является access.log. Инструмент также поддерживает варианты форматов журналов W3C, Kinsta и комбинированные варианты формата журнала.

Правильный формат файла «Combined Log Format» использует следующую структуру:


Где:

• h – хост / IP-адрес, с которого был сделан запрос к серверу.
• l – идентификатор клиента, обычно остается пустым (в файле представлен дефисом (-)).
• u – имя пользователя, обычно остается пустым (в файле обозначается дефисом (-)).
• t – время и часовой пояс запроса к серверу.
• r – тип запроса, его содержание и версия.
• s – код статуса HTTP.
• b – размер запрашиваемого объекта (в байтах).
• Referer – URL-адрес источника запроса, часто остается пустым (представлен дефисом (-) в файле).
• User-Agent – HTTP-заголовок, содержащий информацию о запросе (клиентское приложение, язык и т. д.).

Максимальный размер загрузки составляет 1 ГБ.

2. Загрузите лог-файл в инструмент



Вы можете либо перетащить свой лог-файл(ы) в инструмент, либо просмотреть его на компьютере, чтобы подготовиться к проведению анализа. Убедитесь, что ваши файлы журнала не содержат никаких личных данных. Для анализа потребуются только данные GET, но не данные POST (в них можно найти конфиденциальную информацию).

3. Запустите анализатор лог-файлов



После загрузки файла журнала, либо добавьте еще один файл (в тех случаях, когда данные, которые вы хотите проанализировать, разделены на два или более файлов), либо нажмите «Запустить анализатор лог-файлов».

4. Проанализируйте данные вашего лог-файла

После анализа файла журнала вы увидите два основных отчета:

• Действия Googlebot.
• Хиты по страницам.

Взглянув на активность Googlebot, можно получить представление о ежедневном количестве обращений различных ботов (bots), увидеть разбивку различных кодов состояния (Status Codes) и просмотреть частоту запросов различных типов файлов (File Type).

Боты:



Коды состояния:



Типы файлов:



Эти данные можно использовать, чтобы понять:

• Сколько раз в день роботы поисковых систем сканируют ваш сайт.
• Разбивку различных кодов состояния HTTP, обнаруженных за день.
• Разбивку различных типов файлов.

Эти сведения относятся ко всему сайту, но чтобы получить конкретную информацию о том, как Googlebot и другие сканеры получают доступ к содержимому ваших сайтов, просмотрите отчет «Просмотры по страницам».



Здесь вы увидите статистику по конкретным страницам. Посмотрите, какие страницы или папки вашего сайта имеют наибольшее или наименьшее количество обращений от ботов (сортировка по столбцу «Bot Hits») или какие из них сканируются чаще всего.