Server log файлы — полная запись каждого запроса к серверу сайта. Посещение пользователя, заход Googlebot, попытка взлома — всё в логах. Для SEO-специалиста это очень ценный источник, потому что логи показывают, как Googlebot реально работает на сайте. Search Console даёт общий вид, логи — точную хронику каждой минуты.
Что такое логи и где они
Каждый запрос к серверу пишется в лог. Apache — access.log (/var/log/apache2/access.log), Nginx — access.log (/var/log/nginx/access.log). В каждой строке: IP, дата/время, метод, URL, статус, размер, и главное — User Agent.
User Agent показывает, кто пришёл. Для пользователя — название браузера. Для Googlebot — Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html). По этому идентификатору отделяете заходы Googlebot.
Почему лог-анализ важен для SEO
Search Console даёт общую статистику Googlebot, лог-анализ — постраничную точность. Какие страницы Googlebot читает часто, а какие вообще нет? Когда впервые прочитана новая страница? Какие ошибки на каких страницах?
Это золото при оптимизации crawl budget. Если Googlebot тратит время на низкокачественные страницы, лог-анализ это покажет. Faceted navigation может съедать budget — без логов вы это не узнаете точно.
Инструменты для работы с логами
Screaming Frog Log File Analyser (Windows/Mac, $200/год). Загружаете лог — программа показывает: самые читаемые страницы, распределение User Agent, статус-коды, динамику.
Энтерпрайз: Botify, JetOctopus ($500-2000/мес) — real-time анализ. Бесплатно: GoAccess (CLI open-source) или AWK/grep в терминале.
Главные данные из лог-анализа
Первое — Googlebot crawl frequency. Какие страницы каждый день, какие раз в неделю, какие раз в месяц? Высокая частота — Google считает страницу важной и обновляемой.
Второе — crawl errors (4xx, 5xx). 404 — сломанные ссылки. 500 — серверные проблемы. Срочно чинить.
Третье — orphan pages. Googlebot читает, но в структуре сайта на них никто не ссылается. Старые URL, тестовые страницы, ошибки структуры.
Поиск crawl waste
Главная польза — найти, где Googlebot тратит время впустую. E-commerce: 80% времени на /products?color=...&sort=... комбинации, 20% на основные. Это очевидный waste — дубли параметров.
Решение: Disallow этих параметров в robots.txt или настройка \"URL parameters\" в GSC. Googlebot перенаправляется на основные страницы, индексация ускоряется.
Стратегия хранения и аудита логов
Логи быстро становятся большими — месячный может быть гигабайтами. Стратегия: 7 дней активных, 30 дней архивных, старше — сжатые архивы. Для анализа обычно хватает 7-30 дней.
Частота: новый сайт — ежемесячно, стабильный — раз в 3 месяца, e-commerce — ежемесячно. Сохраняйте результаты в Google Sheets для отслеживания трендов.
Атаки тоже видны в логах
Помимо SEO, логи ценны для безопасности. Боты-взломщики оставляют следы. Много запросов к wp-login.php, admin.php — brute force. Запросы к .git, .env, config.php — поиск секретов.
Часто атаки выдаёт User Agent (имя бота) или высокая скорость с одного IP. Fail2ban анализирует логи в real-time и блокирует атакующие IP.
Практика Сайт.uz
Сайт.uz каждые 3 месяца аудитит логи через Screaming Frog Log File Analyser. Смотрим: Googlebot тратит больше времени на блог (соответствует ли это стратегии), нет ли 404, нет ли orphan pages.
Последний аудит (январь 2026): время Googlebot 60% блог, 25% продукты, 15% категории. Сбалансировано и соответствует бизнес-приоритетам. Важных 404 нет. 3 orphan page найдены и подключены. Аудит подтверждает здоровую crawl-стратегию.