Значительная часть запросов к сайту приходит не от людей, а от программ. Одни из них полезны: поисковые системы индексируют страницы, сервисы мониторинга проверяют доступность. Другие копируют цены, подбирают пароли или ищут уязвимые плагины. Если сайт без видимой причины тормозит или ресурсы хостинга неожиданно заканчиваются, первым делом стоит заглянуть в access-лог веб-сервера (access.log). В этой статье пройдём весь путь: от чтения строки лога до выявления бот-трафика и его ограничения.
Что записано в строке лога
Большинство серверов используют формат «combined». В каждой строке есть IP-адрес клиента, время, запрошенная страница, код ответа, размер ответа, страница, с которой пришёл переход, и User-Agent — то, как клиент себя представил. В строке ниже один IP запрашивает 187-ю страницу каталога и называет себя ботом.
203.0.113.45 - - [12/Oct/2026:14:03:21 +0500] "GET /katalog/?page=187 HTTP/1.1" 200 18342 "-" "Mozilla/5.0 (compatible; ExampleBot/2.1)"
В awk поля разделяются пробелами: $1 — IP-адрес, $4 — время, $7 — запрошенный путь, $9 — код ответа. User-Agent стоит в кавычках, поэтому его удобнее выделять, разбивая строку по кавычкам.
Самые активные IP-адреса и User-Agent
Первый шаг — найти адреса, отправившие больше всего запросов. Обычный посетитель делает за день несколько десятков запросов, поэтому десятки тысяч запросов с одного IP почти всегда означают автоматическую программу.
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20
Затем сделайте такой же подсчёт по User-Agent. Так видно, какие боты открыто себя называют: поисковые системы, SEO-сервисы, краулеры компаний, работающих с искусственным интеллектом, и другие.
awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -20
Для подозрительного IP полезно посмотреть распределение запросов по минутам. Человек открывает 2–3 страницы в минуту, бот — сотни, и на графике это выглядит как ровная непрерывная линия.
grep '203.0.113.45' access.log | awk '{print substr($4, 2, 17)}' | sort | uniq -c | sort -rn | head
Ищем сканеры и подборщиков паролей
У вредных ботов есть характерный след: они ищут файлы, которых на сайте нет, и получают много ответов 404. Запросы вида /.env, /phpmyadmin/, /wp-config.php.bak — не случайность, а работа автоматических сканеров уязвимостей. На сайтах WordPress множество POST-запросов к wp-login.php и xmlrpc.php говорит о попытках подбора пароля.
awk '$9 == 404 {print $7}' access.log | sort | uniq -c | sort -rn | head -20
grep -c 'POST /wp-login.php' access.log
grep -E 'POST /(wp-login\.php|xmlrpc\.php)' access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
Пример: замедление сайта университетского журнала
Допустим, научный журнал ташкентского вуза работает на example.uz и каждый день после обеда на несколько часов замедляется. Анализ лога показал, что большая часть запросов идёт с нескольких IP-адресов, которые последовательно скачивают все форматы каждой статьи из архива. В User-Agent указано название неизвестного краулера, а robots.txt он игнорирует. После блокировки этого диапазона и ограничения скорости запросов для остальных ботов сайт вернулся к обычной скорости, а реальные читатели никаких изменений не заметили.
Как отличить настоящий Googlebot от поддельного
Строку User-Agent может написать любая программа, поэтому слово «Googlebot» ещё не значит, что это Google. Надёжная проверка — двухшаговый DNS-запрос: сначала получают обратную запись IP-адреса, она должна заканчиваться на googlebot.com или google.com. Затем делают прямой запрос по этому имени и убеждаются, что он возвращает тот же IP. Bing и другие крупные поисковики тоже описывают способ проверки своих краулеров в официальной документации.
host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Если обратная запись указывает на другой домен или прямой запрос возвращает иной IP, перед вами программа, которая выдаёт себя за Googlebot. Её блокировка никак не повредит позициям в поиске.
Ограничиваем ботов: robots.txt, .htaccess и Nginx
Добросовестные боты соблюдают правила robots.txt, поэтому ненужные SEO-краулеры мягче всего останавливать через него. Вредные боты этот файл не читают, для них нужна блокировка на уровне сервера. На shared-хостинге с Apache это делается в .htaccess: первая часть отклоняет запросы по User-Agent, вторая — по IP.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (ExampleBot|BadCrawler) [NC]
RewriteRule .* - [F,L]
<RequireAll>
Require all granted
Require not ip 203.0.113.45
</RequireAll>
Если на VPS работает Nginx, эффективнее не блокировать отдельные IP, а ограничить частоту запросов. Настройка ниже даёт одному IP 5 запросов в секунду и запас в 20 запросов на короткий всплеск; всё сверх этого получает ответ 503. Обычный посетитель почти никогда не упирается в этот предел, а агрессивный бот сразу замедляется.
# внутри блока http { ... }
limit_req_zone $binary_remote_addr zone=perip:10m rate=5r/s;
# внутри server { ... } или location
location / {
limit_req zone=perip burst=20 nodelay;
}
Где взять логи на shared-хостинге
На shared-хостинге access- и error-логи обычно доступны в разделе логов панели ISPmanager или в отдельном каталоге аккаунта. Их можно скачать и выполнить приведённые команды на своём компьютере в терминале Linux или в WSL. Если логи найти не удаётся или атака ботов исчерпывает лимиты хостинга, напишите тикет в техподдержку из кабинета sayt.uz — анализ можно провести вместе. Разовой чистки недостаточно: если раз в неделю просматривать список самых активных IP и User-Agent, новую проблему удаётся заметить заранее.