Сайт научного журнала кажется местом, куда заходит немного людей: несколько сотен читателей в день, пара авторов и редакторов. Но с сайтами на OJS часто происходит одно и то же — сайт внезапно замедляется, страницы не открываются, на хостинге заканчиваются ресурсы, а в статистике появляются десятки тысяч просмотров, далёких от реальности. Причина в большинстве случаев не люди, а боты. Разберём, почему OJS так привлекательна для ботов, как найти источник проблемы и как ограничить его, не закрыв доступ полезным поисковым системам.
Почему именно сайты на OJS страдают от ботов
У каждой статьи в OJS несколько страниц: аннотация, PDF, иногда HTML-версия и экспорт цитирования в разных форматах. Отдельные страницы создаются для каждого номера, автора и ключевого слова. Страница поиска и вовсе генерирует бесконечное число адресов в зависимости от параметров запроса. Для обычного бота это бесконечный лабиринт: он идёт по ссылкам одна за другой и открывает тысячи похожих страниц.
Тяжелее всего поиск. Каждый поисковый запрос запускает полнотекстовый поиск по базе и требует куда больше ресурсов, чем обычная страница статьи. Если бот открывает несколько страниц поиска в секунду, PHP-процессы и подключения к базе быстро заканчиваются. Когда на одном сервере размещено много журналов, волна ботов на один журнал может задеть и соседние сайты. В последние годы проблему усилили краулеры, собирающие данные для моделей искусственного интеллекта.
Сначала диагностика: найдите реальный источник в логах
Прежде чем блокировать, нужно понять, кто именно создаёт нагрузку, иначе можно случайно закрыть доступ читателям или Google. Журнал доступа сайта (access log) есть в разделе логов панели ISPmanager, либо его можно запросить у техподдержки. Эти команды покажут самые активные IP-адреса и User-Agent:
# IP-адреса с наибольшим числом запросов
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20
# самые активные User-Agent
awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -20
# число запросов к странице поиска
grep -c "/search" access.log
Обычно картина сразу становится ясной: несколько ботов отправляют большую часть всех запросов. Например, на сайте медицинского журнала в Андижане причиной замедления может оказаться один SEO-краулер, который без остановки открывает страницу поиска с разными ключевыми словами. Когда картина понятна, и меры принимать проще.
Шаг первый: robots.txt
Большинство добросовестных ботов, включая поисковые системы, соблюдают правила файла robots.txt. Логично закрыть в нём поиск, страницы входа и регистрации, а также экспорт цитирования, который порождает множество повторяющихся ссылок: от их индексации пользы нет. Страницы статей и PDF при этом обязательно должны оставаться открытыми. Закрывать ли краулеры ИИ — решение редакции; в примере ниже закрыты два из них.
User-agent: *
Disallow: /index.php/*/search
Disallow: /index.php/*/login
Disallow: /index.php/*/user/register
Disallow: /index.php/*/citationstylelanguage/
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
Учтите: robots.txt — это просьба, а не обязательство. Вредоносные и агрессивные боты его вообще не читают. Директиву Crawl-delay, которую поддерживают некоторые системы, Google игнорирует, так что полагаться на неё не стоит.
Шаг второй: блокировка агрессивных ботов через .htaccess
Ботов, которые не подчиняются правилам, нужно останавливать на уровне сервера. На виртуальном хостинге проще всего сделать это в файле .htaccess в корне сайта. Блок ниже возвращает ответ 403 на запросы с перечисленными User-Agent. Разместите его в самом начале файла, до собственных правил OJS, и дополните список ботами, которых видите в своих логах.
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Bytespider|PetalBot|MJ12bot|DotBot|DataForSeoBot) [NC]
RewriteRule .* - [F,L]
</IfModule>
Не раздувайте список. Даже если какой-то бот помечен как «вредный» в публичных списках, он может относиться к полезному для вашего журнала сервису. После каждого изменения несколько дней следите за логами и проверяйте, что скорость сайта и доступ обычных читателей не пострадали.
На VPS: ограничение частоты запросов в Nginx
Бот может подменить User-Agent, поэтому блокировки по имени недостаточно. Если у вас собственный VPS, модуль limit_req в Nginx позволяет ограничить частоту запросов с каждого IP-адреса. Человек этого почти не заметит — он не выполняет десятки поисков в минуту, — а бот сразу замедлится. В примере ниже ограничена только страница поиска; строку proxy_pass приведите в соответствие с тем, как PHP подключён на вашем сервере.
# в блоке http {}
limit_req_zone $binary_remote_addr zone=ojs_search:10m rate=30r/m;
# в блоке server {}
location ~ ^/index\.php/[^/]+/search {
limit_req zone=ojs_search burst=10 nodelay;
limit_req_status 429;
proxy_pass http://127.0.0.1:8080;
}
После изменения проверьте синтаксис командой nginx -t и перезагрузите службу. Запросы сверх лимита получают код 429, что означает «слишком много запросов».
Не заблокируйте Google и Google Scholar
Самая большая ошибка для научного журнала — сделать защиту настолько жёсткой, что статьи пропадут из поиска. Некоторые вредоносные боты представляются как Googlebot, поэтому имени верить нельзя — нужно проверять IP. Настоящий краулер Google при обратном DNS-запросе отвечает именем в домене googlebot.com или google.com, и это имя снова указывает на тот же IP:
host 66.249.66.1
# ответ должен оканчиваться на googlebot.com, затем обратная проверка:
host crawl-66-249-66-1.googlebot.com
Если в логах много запросов с именем «Googlebot», но из чужих сетей, их безопасно блокировать по IP. Настоящие адреса Google не блокируйте никогда. После включения защиты несколько недель следите в инструментах для веб-мастеров, не появились ли ошибки индексации.
Статистика и постоянный контроль
Боты портят не только работу сервера, но и статистику журнала: число просмотров и скачиваний искусственно растёт, а в отчёты попадают неверные цифры. Новые версии OJS исключают известных ботов из статистики, но этот список охватывает не всех, поэтому ограничения на уровне сервера всё равно нужны. Состав ботов со временем меняется: на место заблокированного сегодня краулера завтра придёт другой. Если раз в месяц просматривать логи и обновлять правила, сайт будет работать стабильно. Если сайт заметно тормозит, а причину найти не удаётся, обратитесь в техподдержку sayt.uz — мы поможем определить источник нагрузки со стороны сервера.