Илмий журнал сайти одатда кам одам кирадиган жой бўлиб кўринади: кунига бир неча юз ўқувчи, бир нечта муаллиф ва муҳаррир. Аммо OJS сайтлари кўпинча шундай ҳолатга тушади — сайт бирдан секинлашади, саҳифалар очилмайди, хостингда ресурс лимити тугайди, статистикада эса ҳақиқатдан узоқ ўн минглаб кўришлар пайдо бўлади. Сабаби аксарият ҳолларда одамлар эмас, ботлар. Ушбу мақолада OJS нега ботлар учун "мазали" нишон эканини, муаммони қандай аниқлаш ва фойдали қидирув тизимларини тўсмасдан уни қандай чеклашни кўриб чиқамиз.
Нега айнан OJS сайтлари ботлардан кўп азият чекади
OJS'да ҳар бир мақоланинг бир нечта саҳифаси бор: аннотация, PDF файл, баъзан HTML версия ва турли форматлардаги иқтибос экспорти. Ҳар бир сон, ҳар бир муаллиф ва ҳар бир калит сўз бўйича ҳам алоҳида саҳифа ҳосил бўлади. Қидирув саҳифаси эса сўров параметрларига қараб чексиз миқдорда манзил яратади. Оддий бот учун бу тугамайдиган лабиринт: у ҳаволаларни бирин-кетин кузатиб, минглаб ўхшаш саҳифаларни очади.
Энг оғири — қидирув. Ҳар бир қидирув сўрови базада тўлиқ матнли қидирувни ишга туширади ва оддий мақола саҳифасидан анча кўп ресурс талаб қилади. Бот секундига бир неча қидирув саҳифасини очса, PHP жараёнлари ва база уланишлари тез банд бўлади. Бир серверда кўплаб журнал жойлашган бўлса, битта журналга келган бот тўлқини қўшни сайтларга ҳам таъсир қилиши мумкин. Сўнгги йилларда сунъий интеллект моделлари учун маълумот йиғадиган краулер ботлар кўпайиб, бу муаммони янада кучайтирди.
Аввал ташхис: логлардан ҳақиқий манбани топинг
Блоклашдан олдин ким айнан юк бераётганини аниқлаш керак, акс ҳолда тасодифан ўқувчиларингизни ёки Google'ни тўсиб қўйишингиз мумкин. Сайтнинг кириш логи (access log) ISPmanager панелининг логлар бўлимида бўлади ёки уни техник ёрдамдан сўраш мумкин. Қуйидаги буйруқлар энг фаол IP манзиллар ва User-Agent'ларни кўрсатади:
# eng ko'p so'rov yuborgan IP manzillar
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20
# eng faol User-Agent'lar
awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -20
# qidiruv sahifasiga kelgan so'rovlar soni
grep -c "/search" access.log
Натижада одатда манзара аниқ бўлади: бир нечта бот умумий сўровларнинг катта қисмини юбораётган бўлади. Масалан, Андижондаги тиббиёт журнали сайтида секинлашув сабаби битта SEO-краулер экани маълум бўлиши мумкин, у қидирув саҳифасини турли калит сўзлар билан тўхтовсиз очиб турган бўлади. Шундай аниқ манзара бўлса, чораларни ҳам аниқ кўриш осон.
Биринчи қадам: robots.txt
Кўпчилик ҳалол ботлар, жумладан қидирув тизимлари, robots.txt файлидаги қоидаларга амал қилади. Унда қидирув, кириш ва рўйхатдан ўтиш саҳифаларини, шунингдек кўплаб такрорий ҳаволалар ҳосил қилувчи иқтибос экспортини ёпиш мантиқан тўғри, чунки уларнинг индексланишидан фойда йўқ. Мақола саҳифалари ва PDF файллар эса очиқ қолиши шарт. Сунъий интеллект краулерларини ёпиш ёки очиқ қолдириш — журнал таҳририятининг қарори; қуйидаги мисолда улардан иккитаси ёпилган.
User-agent: *
Disallow: /index.php/*/search
Disallow: /index.php/*/login
Disallow: /index.php/*/user/register
Disallow: /index.php/*/citationstylelanguage/
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
Эътибор беринг: robots.txt фақат илтимос, мажбурият эмас. Зарарли ва тажовузкор ботлар уни умуман ўқимайди. Баъзи тизимлар қўллайдиган Crawl-delay кўрсатмасини Google эътиборга олмайди, шунинг учун унга таяниб қолманг.
Иккинчи қадам: .htaccess орқали тажовузкор ботларни блоклаш
Қоидага бўйсунмайдиган ботларни сервер даражасида тўхтатиш керак. Умумий хостингда бунинг энг оддий йўли — сайт илдизидаги .htaccess файли. Қуйидаги блок санаб ўтилган User-Agent'лар билан келган сўровларга 403 жавоб қайтаради. Уни файлнинг энг бошига, OJS'нинг ўз қоидаларидан олдин жойлаштиринг ва рўйхатни ўзингизнинг логларингизда кўрган ботлар билан тўлдиринг.
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Bytespider|PetalBot|MJ12bot|DotBot|DataForSeoBot) [NC]
RewriteRule .* - [F,L]
</IfModule>
Рўйхатни ҳаддан ташқари кенгайтирманг. Баъзи бот номлари оммавий рўйхатларда "зарарли" деб белгиланган бўлса ҳам, улар сизнинг журналингиз учун фойдали хизматларга тегишли бўлиши мумкин. Ҳар бир ўзгартиришдан кейин бир неча кун логларни кузатиб, сайт тезлиги ва оддий ўқувчилар кириши бузилмаганини текширинг.
VPS'да: Nginx билан сўровлар тезлигини чеклаш
User-Agent'ни бот ўзгартириб юбориши мумкин, шунинг учун номга қараб блоклаш етарли бўлмайди. Ўз VPS серверингиз бўлса, Nginx'нинг limit_req модули билан ҳар бир IP манзилдан келадиган сўровлар тезлигини чеклаш мумкин. Бу одамларга деярли сезилмайди, чунки одам дақиқасига ўнлаб қидирув қилмайди, лекин ботни дарҳол секинлаштиради. Қуйидаги мисолда фақат қидирув саҳифаси чекланган; proxy_pass қаторини серверингиздаги мавжуд PHP узатиш созламасига мосланг.
# http {} blokida
limit_req_zone $binary_remote_addr zone=ojs_search:10m rate=30r/m;
# server {} blokida
location ~ ^/index\.php/[^/]+/search {
limit_req zone=ojs_search burst=10 nodelay;
limit_req_status 429;
proxy_pass http://127.0.0.1:8080;
}
Созламани ўзгартиргандан кейин nginx -t билан синтаксисни текшириб, сўнг хизматни қайта юкланг. Лимитдан ошган сўровлар 429 кодини олади ва бу халқаро амалиётда "жуда кўп сўров" деган маънони билдиради.
Google ва Google Scholar'ни тўсиб қўйманг
Илмий журнал учун энг катта хато — ҳимояни шунчалик қаттиқ қилиб қўйишки, мақолалар қидирувдан йўқолади. Баъзи зарарли ботлар ўзини Googlebot деб кўрсатади, шунинг учун номга ишонмасдан IP манзилни текшириш керак. Ҳақиқий Google краулери тескари DNS сўровида googlebot.com ёки google.com домени билан жавоб беради ва шу ном яна ўша IP'га олиб келади:
host 66.249.66.1
# javob ...googlebot.com bilan tugashi kerak, keyin teskari tekshiruv:
host crawl-66-249-66-1.googlebot.com
Агар логларда "Googlebot" номи билан, лекин бегона тармоқдан келаётган сўровлар кўп бўлса, уларни IP бўйича блоклаш хавфсиз. Ҳақиқий Google манзилларини эса ҳеч қачон блокламанг. Ҳимояни ёққандан кейин бир неча ҳафта давомида қидирув тизимларининг веб-мастер воситаларида индекслаш хатолари пайдо бўлмаётганини кузатинг.
Статистика ва доимий кузатув
Ботлар фақат серверни эмас, журнал статистикасини ҳам бузади: кўришлар ва юклаб олишлар сони сунъий ошиб кетади ва бу ҳисоботларда нотўғри рақамларга олиб келади. OJS'нинг янги версиялари маълум ботларни статистикадан чиқариб ташлайди, аммо бу рўйхат ҳамма ботни қамраб олмайди, шунинг учун сервер даражасидаги чеклов ҳам керак. Ботлар таркиби вақт ўтиши билан ўзгаради: бугун блоклаган краулерингиз ўрнига эртага бошқаси келади. Ойига бир марта логларни кўриб чиқиш ва қоидаларни янгилаш одат бўлса, сайт барқарор ишлайди. Агар сайт сезиларли секинлашса ва сабабини топа олмасангиз, sayt.uz техник ёрдамига мурожаат қилинг — сервер томонидан қайси манбадан юк келаётганини аниқлашга ёрдам берамиз.