Ilmiy jurnal sayti odatda kam odam kiradigan joy bölib körinadi: kuniga bir neça yuz öquvçi, bir neçta muallif va muharrir. Ammo OJS saytlari köpinça şunday holatga tuşadi — sayt birdan sekinlaşadi, sahifalar oçilmaydi, hostingda resurs limiti tugaydi, statistikada esa haqiqatdan uzoq ön minglab körişlar paydo böladi. Sababi aksariyat hollarda odamlar emas, botlar. Uşbu maqolada OJS nega botlar uçun "mazali" nişon ekanini, muammoni qanday aniqlaş va foydali qidiruv tizimlarini tösmasdan uni qanday çeklaşni körib çiqamiz.
Nega aynan OJS saytlari botlardan köp aziyat çekadi
OJS'da har bir maqolaning bir neçta sahifasi bor: annotatsiya, PDF fayl, ba'zan HTML versiya va turli formatlardagi iqtibos eksporti. Har bir son, har bir muallif va har bir kalit söz böyiça ham alohida sahifa hosil böladi. Qidiruv sahifasi esa sörov parametrlariga qarab çeksiz miqdorda manzil yaratadi. Oddiy bot uçun bu tugamaydigan labirint: u havolalarni birin-ketin kuzatib, minglab öxşaş sahifalarni oçadi.
Eng oğiri — qidiruv. Har bir qidiruv sörovi bazada töliq matnli qidiruvni işga tuşiradi va oddiy maqola sahifasidan ança köp resurs talab qiladi. Bot sekundiga bir neça qidiruv sahifasini oçsa, PHP jarayonlari va baza ulanişlari tez band böladi. Bir serverda köplab jurnal joylaşgan bölsa, bitta jurnalga kelgan bot tölqini qöşni saytlarga ham ta'sir qilişi mumkin. Sönggi yillarda sun'iy intellekt modellari uçun ma'lumot yiğadigan krauler botlar köpayib, bu muammoni yanada kuçaytirdi.
Avval taşxis: loglardan haqiqiy manbani toping
Bloklaşdan oldin kim aynan yuk berayotganini aniqlaş kerak, aks holda tasodifan öquvçilaringizni yoki Google'ni tösib qöyişingiz mumkin. Saytning kiriş logi (access log) ISPmanager panelining loglar bölimida böladi yoki uni texnik yordamdan söraş mumkin. Quyidagi buyruqlar eng faol IP manzillar va User-Agent'larni körsatadi:
# eng ko'p so'rov yuborgan IP manzillar
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20
# eng faol User-Agent'lar
awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -20
# qidiruv sahifasiga kelgan so'rovlar soni
grep -c "/search" access.log
Natijada odatda manzara aniq böladi: bir neçta bot umumiy sörovlarning katta qismini yuborayotgan böladi. Masalan, Andijondagi tibbiyot jurnali saytida sekinlaşuv sababi bitta SEO-krauler ekani ma'lum bölişi mumkin, u qidiruv sahifasini turli kalit sözlar bilan töxtovsiz oçib turgan böladi. Şunday aniq manzara bölsa, çoralarni ham aniq köriş oson.
Birinçi qadam: robots.txt
Köpçilik halol botlar, jumladan qidiruv tizimlari, robots.txt faylidagi qoidalarga amal qiladi. Unda qidiruv, kiriş va röyxatdan ötiş sahifalarini, şuningdek köplab takroriy havolalar hosil qiluvçi iqtibos eksportini yopiş mantiqan töğri, çunki ularning indekslanişidan foyda yöq. Maqola sahifalari va PDF fayllar esa oçiq qolişi şart. Sun'iy intellekt kraulerlarini yopiş yoki oçiq qoldiriş — jurnal tahririyatining qarori; quyidagi misolda ulardan ikkitasi yopilgan.
User-agent: *
Disallow: /index.php/*/search
Disallow: /index.php/*/login
Disallow: /index.php/*/user/register
Disallow: /index.php/*/citationstylelanguage/
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
E'tibor bering: robots.txt faqat iltimos, majburiyat emas. Zararli va tajovuzkor botlar uni umuman öqimaydi. Ba'zi tizimlar qöllaydigan Crawl-delay körsatmasini Google e'tiborga olmaydi, şuning uçun unga tayanib qolmang.
Ikkinçi qadam: .htaccess orqali tajovuzkor botlarni bloklaş
Qoidaga böysunmaydigan botlarni server darajasida töxtatiş kerak. Umumiy hostingda buning eng oddiy yöli — sayt ildizidagi .htaccess fayli. Quyidagi blok sanab ötilgan User-Agent'lar bilan kelgan sörovlarga 403 javob qaytaradi. Uni faylning eng boşiga, OJS'ning öz qoidalaridan oldin joylaştiring va röyxatni özingizning loglaringizda körgan botlar bilan töldiring.
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Bytespider|PetalBot|MJ12bot|DotBot|DataForSeoBot) [NC]
RewriteRule .* - [F,L]
</IfModule>
Röyxatni haddan taşqari kengaytirmang. Ba'zi bot nomlari ommaviy röyxatlarda "zararli" deb belgilangan bölsa ham, ular sizning jurnalingiz uçun foydali xizmatlarga tegişli bölişi mumkin. Har bir özgartirişdan keyin bir neça kun loglarni kuzatib, sayt tezligi va oddiy öquvçilar kirişi buzilmaganini tekşiring.
VPS'da: Nginx bilan sörovlar tezligini çeklaş
User-Agent'ni bot özgartirib yuborişi mumkin, şuning uçun nomga qarab bloklaş yetarli bölmaydi. Öz VPS serveringiz bölsa, Nginx'ning limit_req moduli bilan har bir IP manzildan keladigan sörovlar tezligini çeklaş mumkin. Bu odamlarga deyarli sezilmaydi, çunki odam daqiqasiga önlab qidiruv qilmaydi, lekin botni darhol sekinlaştiradi. Quyidagi misolda faqat qidiruv sahifasi çeklangan; proxy_pass qatorini serveringizdagi mavjud PHP uzatiş sozlamasiga moslang.
# http {} blokida
limit_req_zone $binary_remote_addr zone=ojs_search:10m rate=30r/m;
# server {} blokida
location ~ ^/index\.php/[^/]+/search {
limit_req zone=ojs_search burst=10 nodelay;
limit_req_status 429;
proxy_pass http://127.0.0.1:8080;
}
Sozlamani özgartirgandan keyin nginx -t bilan sintaksisni tekşirib, söng xizmatni qayta yuklang. Limitdan oşgan sörovlar 429 kodini oladi va bu xalqaro amaliyotda "juda köp sörov" degan ma'noni bildiradi.
Google va Google Sçolar'ni tösib qöymang
Ilmiy jurnal uçun eng katta xato — himoyani şunçalik qattiq qilib qöyişki, maqolalar qidiruvdan yöqoladi. Ba'zi zararli botlar özini Googlebot deb körsatadi, şuning uçun nomga işonmasdan IP manzilni tekşiriş kerak. Haqiqiy Google krauleri teskari DNS sörovida googlebot.com yoki google.com domeni bilan javob beradi va şu nom yana öşa IP'ga olib keladi:
host 66.249.66.1
# javob ...googlebot.com bilan tugashi kerak, keyin teskari tekshiruv:
host crawl-66-249-66-1.googlebot.com
Agar loglarda "Googlebot" nomi bilan, lekin begona tarmoqdan kelayotgan sörovlar köp bölsa, ularni IP böyiça bloklaş xavfsiz. Haqiqiy Google manzillarini esa heç qaçon bloklamang. Himoyani yoqqandan keyin bir neça hafta davomida qidiruv tizimlarining veb-master vositalarida indekslaş xatolari paydo bölmayotganini kuzating.
Statistika va doimiy kuzatuv
Botlar faqat serverni emas, jurnal statistikasini ham buzadi: körişlar va yuklab olişlar soni sun'iy oşib ketadi va bu hisobotlarda notöğri raqamlarga olib keladi. OJS'ning yangi versiyalari ma'lum botlarni statistikadan çiqarib taşlaydi, ammo bu röyxat hamma botni qamrab olmaydi, şuning uçun server darajasidagi çeklov ham kerak. Botlar tarkibi vaqt ötişi bilan özgaradi: bugun bloklagan krauleringiz örniga ertaga boşqasi keladi. Oyiga bir marta loglarni körib çiqiş va qoidalarni yangilaş odat bölsa, sayt barqaror işlaydi. Agar sayt sezilarli sekinlaşsa va sababini topa olmasangiz, sayt.uz texnik yordamiga murojaat qiling — server tomonidan qaysi manbadan yuk kelayotganini aniqlaşga yordam beramiz.