🛡️
Hosting

OJS jurnal saytini botlardan himoyalash: qidiruv, yuklama va loglar

21.11.2026
← Barcha maqolalar

Ilmiy jurnal sayti odatda kam odam kiradigan joy bo'lib ko'rinadi: kuniga bir necha yuz o'quvchi, bir nechta muallif va muharrir. Ammo OJS saytlari ko'pincha shunday holatga tushadi — sayt birdan sekinlashadi, sahifalar ochilmaydi, hostingda resurs limiti tugaydi, statistikada esa haqiqatdan uzoq o'n minglab ko'rishlar paydo bo'ladi. Sababi aksariyat hollarda odamlar emas, botlar. Ushbu maqolada OJS nega botlar uchun "mazali" nishon ekanini, muammoni qanday aniqlash va foydali qidiruv tizimlarini to'smasdan uni qanday cheklashni ko'rib chiqamiz.

Nega aynan OJS saytlari botlardan ko'p aziyat chekadi

OJS'da har bir maqolaning bir nechta sahifasi bor: annotatsiya, PDF fayl, ba'zan HTML versiya va turli formatlardagi iqtibos eksporti. Har bir son, har bir muallif va har bir kalit so'z bo'yicha ham alohida sahifa hosil bo'ladi. Qidiruv sahifasi esa so'rov parametrlariga qarab cheksiz miqdorda manzil yaratadi. Oddiy bot uchun bu tugamaydigan labirint: u havolalarni birin-ketin kuzatib, minglab o'xshash sahifalarni ochadi.

Eng og'iri — qidiruv. Har bir qidiruv so'rovi bazada to'liq matnli qidiruvni ishga tushiradi va oddiy maqola sahifasidan ancha ko'p resurs talab qiladi. Bot sekundiga bir necha qidiruv sahifasini ochsa, PHP jarayonlari va baza ulanishlari tez band bo'ladi. Bir serverda ko'plab jurnal joylashgan bo'lsa, bitta jurnalga kelgan bot to'lqini qo'shni saytlarga ham ta'sir qilishi mumkin. So'nggi yillarda sun'iy intellekt modellari uchun ma'lumot yig'adigan krauler botlar ko'payib, bu muammoni yanada kuchaytirdi.

Avval tashxis: loglardan haqiqiy manbani toping

Bloklashdan oldin kim aynan yuk berayotganini aniqlash kerak, aks holda tasodifan o'quvchilaringizni yoki Google'ni to'sib qo'yishingiz mumkin. Saytning kirish logi (access log) ISPmanager panelining loglar bo'limida bo'ladi yoki uni texnik yordamdan so'rash mumkin. Quyidagi buyruqlar eng faol IP manzillar va User-Agent'larni ko'rsatadi:

# eng ko'p so'rov yuborgan IP manzillar
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20

# eng faol User-Agent'lar
awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -20

# qidiruv sahifasiga kelgan so'rovlar soni
grep -c "/search" access.log

Natijada odatda manzara aniq bo'ladi: bir nechta bot umumiy so'rovlarning katta qismini yuborayotgan bo'ladi. Masalan, Andijondagi tibbiyot jurnali saytida sekinlashuv sababi bitta SEO-krauler ekani ma'lum bo'lishi mumkin, u qidiruv sahifasini turli kalit so'zlar bilan to'xtovsiz ochib turgan bo'ladi. Shunday aniq manzara bo'lsa, choralarni ham aniq ko'rish oson.

Birinchi qadam: robots.txt

Ko'pchilik halol botlar, jumladan qidiruv tizimlari, robots.txt faylidagi qoidalarga amal qiladi. Unda qidiruv, kirish va ro'yxatdan o'tish sahifalarini, shuningdek ko'plab takroriy havolalar hosil qiluvchi iqtibos eksportini yopish mantiqan to'g'ri, chunki ularning indekslanishidan foyda yo'q. Maqola sahifalari va PDF fayllar esa ochiq qolishi shart. Sun'iy intellekt kraulerlarini yopish yoki ochiq qoldirish — jurnal tahririyatining qarori; quyidagi misolda ulardan ikkitasi yopilgan.

User-agent: *
Disallow: /index.php/*/search
Disallow: /index.php/*/login
Disallow: /index.php/*/user/register
Disallow: /index.php/*/citationstylelanguage/

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

E'tibor bering: robots.txt faqat iltimos, majburiyat emas. Zararli va tajovuzkor botlar uni umuman o'qimaydi. Ba'zi tizimlar qo'llaydigan Crawl-delay ko'rsatmasini Google e'tiborga olmaydi, shuning uchun unga tayanib qolmang.

Ikkinchi qadam: .htaccess orqali tajovuzkor botlarni bloklash

Qoidaga bo'ysunmaydigan botlarni server darajasida to'xtatish kerak. Umumiy hostingda buning eng oddiy yo'li — sayt ildizidagi .htaccess fayli. Quyidagi blok sanab o'tilgan User-Agent'lar bilan kelgan so'rovlarga 403 javob qaytaradi. Uni faylning eng boshiga, OJS'ning o'z qoidalaridan oldin joylashtiring va ro'yxatni o'zingizning loglaringizda ko'rgan botlar bilan to'ldiring.

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Bytespider|PetalBot|MJ12bot|DotBot|DataForSeoBot) [NC]
RewriteRule .* - [F,L]
</IfModule>

Ro'yxatni haddan tashqari kengaytirmang. Ba'zi bot nomlari ommaviy ro'yxatlarda "zararli" deb belgilangan bo'lsa ham, ular sizning jurnalingiz uchun foydali xizmatlarga tegishli bo'lishi mumkin. Har bir o'zgartirishdan keyin bir necha kun loglarni kuzatib, sayt tezligi va oddiy o'quvchilar kirishi buzilmaganini tekshiring.

VPS'da: Nginx bilan so'rovlar tezligini cheklash

User-Agent'ni bot o'zgartirib yuborishi mumkin, shuning uchun nomga qarab bloklash yetarli bo'lmaydi. O'z VPS serveringiz bo'lsa, Nginx'ning limit_req moduli bilan har bir IP manzildan keladigan so'rovlar tezligini cheklash mumkin. Bu odamlarga deyarli sezilmaydi, chunki odam daqiqasiga o'nlab qidiruv qilmaydi, lekin botni darhol sekinlashtiradi. Quyidagi misolda faqat qidiruv sahifasi cheklangan; proxy_pass qatorini serveringizdagi mavjud PHP uzatish sozlamasiga moslang.

# http {} blokida
limit_req_zone $binary_remote_addr zone=ojs_search:10m rate=30r/m;

# server {} blokida
location ~ ^/index\.php/[^/]+/search {
    limit_req zone=ojs_search burst=10 nodelay;
    limit_req_status 429;
    proxy_pass http://127.0.0.1:8080;
}

Sozlamani o'zgartirgandan keyin nginx -t bilan sintaksisni tekshirib, so'ng xizmatni qayta yuklang. Limitdan oshgan so'rovlar 429 kodini oladi va bu xalqaro amaliyotda "juda ko'p so'rov" degan ma'noni bildiradi.

Google va Google Scholar'ni to'sib qo'ymang

Ilmiy jurnal uchun eng katta xato — himoyani shunchalik qattiq qilib qo'yishki, maqolalar qidiruvdan yo'qoladi. Ba'zi zararli botlar o'zini Googlebot deb ko'rsatadi, shuning uchun nomga ishonmasdan IP manzilni tekshirish kerak. Haqiqiy Google krauleri teskari DNS so'rovida googlebot.com yoki google.com domeni bilan javob beradi va shu nom yana o'sha IP'ga olib keladi:

host 66.249.66.1
# javob ...googlebot.com bilan tugashi kerak, keyin teskari tekshiruv:
host crawl-66-249-66-1.googlebot.com

Agar loglarda "Googlebot" nomi bilan, lekin begona tarmoqdan kelayotgan so'rovlar ko'p bo'lsa, ularni IP bo'yicha bloklash xavfsiz. Haqiqiy Google manzillarini esa hech qachon bloklamang. Himoyani yoqqandan keyin bir necha hafta davomida qidiruv tizimlarining veb-master vositalarida indekslash xatolari paydo bo'lmayotganini kuzating.

Statistika va doimiy kuzatuv

Botlar faqat serverni emas, jurnal statistikasini ham buzadi: ko'rishlar va yuklab olishlar soni sun'iy oshib ketadi va bu hisobotlarda noto'g'ri raqamlarga olib keladi. OJS'ning yangi versiyalari ma'lum botlarni statistikadan chiqarib tashlaydi, ammo bu ro'yxat hamma botni qamrab olmaydi, shuning uchun server darajasidagi cheklov ham kerak. Botlar tarkibi vaqt o'tishi bilan o'zgaradi: bugun bloklagan krauleringiz o'rniga ertaga boshqasi keladi. Oyiga bir marta loglarni ko'rib chiqish va qoidalarni yangilash odat bo'lsa, sayt barqaror ishlaydi. Agar sayt sezilarli sekinlashsa va sababini topa olmasangiz, sayt.uz texnik yordamiga murojaat qiling — server tomonidan qaysi manbadan yuk kelayotganini aniqlashga yordam beramiz.

O'xshash maqolalar

🛠️ Texnik yordamga to'g'ri murojaat: muammo tez hal bo'lishi uchun nima yozish kerak 🧭 Vektor bazani o'z serveringizda ishlatish: Qdrant va pgvector 🧭 Portainer: Docker konteynerlarini brauzer orqali boshqarish 💾 ISPmanager'da zaxira nusxadan saytni va bazani tiklash
🌐 Til
🇺🇿 O⁠'zbek ✓ 🇺🇿 Özbek (yangi) 🇺🇿 Ўзбек 🇷🇺 Русский 🇬🇧 English