🤖
Hosting

AI crawlerlar serveringizni yuklayapti: aniqlaş va çeklaş

04.11.2026
← Barça maqolalar

Sayt kutilmaganda sekinlaşdi, sahifalar 503 yoki 504 xatosi bilan oçilmayapti, hosting statistikasi esa CPU limiti tölganini körsatmoqda. Birinçi xayolga taşrifçilar köpayib ketgani yoki hujum keladi. Ammo sönggi paytlarda bunday holatlarning katta qismiga odamlar emas, sun'iy intellekt va SEO xizmatlarining crawler botlari sabab bölmoqda. Ular sahifalarni minglab marta yuklab ma'lumot yiğadi, buning narxini esa sizning serveringiz tölaydi.

Real holat: yuk tösatdan tört barobar oşdi

Yaqinda shared hosting serverlarimizdan birida yuk bir neça daqiqada taxminan tört barobar kötarildi. Yuklab oliş bölimi bor bir WordPress saytni msh-pdfmin/1 nomli taqsimlangan bot köplab IP manzillardan daqiqasiga 400 ga yaqin fayl sahifasini sörab turgan. Şu paytda bir internet-dökonni Meta'ning meta-externalagent va meta-webindexer crawlerlari daqiqasiga taxminan 400 sörov bilan kategoriya va filtr sahifalari böylab aylanib çiqayotgan edi, ularga MJ12bot va SemruşBot ham qöşilgan.

Bu user agentlar sayt darajasida .htaccess orqali 403 javobi bilan bloklangaç, server yuki bir neça daqiqada 250 atrofidan 40 gaça tuşdi. Oddiy taşrifçilar heç narsa sezmadi: sahifalar odatdagidek oçildi, buyurtmalar davom etdi. Demak, bot trafigi közga taşlanmasa ham, serverni real foydalanuvçilardan köproq band qilişi mumkin.

Bot yukini qanday aniqlaş mumkin

Belgilar odatda bir xil: sayt sekin oçiladi, vaqti-vaqti bilan 503/504 xatolari çiqadi, CPU va jarayonlar soni limitga yaqinlaşadi. Analitikada esa taşrifçilar soni deyarli özgarmaydi, çunki botlar JavaScript işga tuşirmaydi va hisoblagiçlarda körinmaydi. Haqiqiy manzarani serverning access logi beradi: unda har bir sörovning IP manzili, sahifasi va user agenti yozilgan.

Quyidagi buyruqlar eng faol user agentlar va IP manzillarni röyxat boşiga çiqaradi, oxirgisi esa ma'lum bir bot neça marta kelganini sanaydi. IP'lar tarqoq-u user agent bir xil bölsa, bu taqsimlangan crawlerning aniq belgisi:

awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -20
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20
grep -c "meta-externalagent" access.log

Log fayllariga kiriş imkoningiz bölmasa yoki natijani talqin qiliş qiyin bölsa, sayt.uz texnik yordamiga murojaat qiling: mutaxassislarimiz qaysi botlar yuk berayotganini aniqlab, nimani çeklaş kerakligini tavsiya qiladi.

Qidiruv botlari va öqitiş botlari

Barça botlarni birdaniga bloklaş xato. Googlebot va Bingbot saytni indekslab, sizga taşrifçi olib keladi. AI kompaniyalarining öqitiş botlari esa kontentni til modellari uçun yiğadi va evaziga deyarli trafik bermaydi. SEO xizmatlarining crawlerlari raqobatçilar tahlili uçun işlaydi va sizga faqat yuk qoldiradi.

BotEgasiTuri
GPTBot / OAI-SearchBot, ChatGPT-UserOpenAIöqitiş / AI qidiruv
ClaudeBot / Claude-SearchBot, Claude-UserAnthropicöqitiş / AI qidiruv
PerplexityBotPerplexityAI qidiruv
meta-externalagent, Bytespider, CCBotMeta, ByteDance, Common Crawlöqitiş
AhrefsBot, SemrushBot, MJ12bot, DotBot, PetalBotSEO xizmatlaritahlil

Google-Extended alohida crawler emas, robots.txt'dagi token: u Googlebot yiğgan kontentdan Gemini modellarida foydalanişni boşqaradi va qidiruv indeksiga ta'sir qilmaydi. Applebot-Extended ham şunday: sahifalarni oddiy Applebot köradi, token esa ulardan AI öqitişda foydalanişga ruxsat beradi yoki bermaydi.

robots.txt: odobli botlar uçun

Yirik kompaniyalarning botlari odatda robots.txt'ga amal qiladi, şuning uçun eng xavfsiz usul şu fayldan boşlaş. Quyidagi misolda öqitiş botlari va oğir SEO crawlerlar taqiqlanadi, qidiruv botlari esa saytni körişda davom etadi, faqat oğir sahifalarga kirmaydi:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: meta-externalagent
User-agent: Google-Extended
User-agent: MJ12bot
User-agent: DotBot
Disallow: /

User-agent: *
Disallow: /*?filter=
Disallow: /*?s=
Disallow: /*add-to-cart=
Crawl-delay: 5

Crawl-delay sörovlar orasida neça soniya kutişni bildiradi. Bing va ba'zi SEO botlari uni hisobga oladi, Google esa e'tiborsiz qoldiradi: Googlebot tezligini server javoblariga qarab özi moslaydi va sayt 503 qaytarsa, sörovlarni kamaytiradi.

.htaccess va nginx: qoidani buzuvçilar uçun

robots.txt faqat tavsiya. msh-pdfmin/1 kabi noma'lum botlar uni umuman öqimaydi, şuning uçun sörovni server darajasida rad etiş kerak. Apaçe'da .htaccess'ga quyidagini qöşing, körsatilgan user agentlar 403 Forbidden oladi:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (msh-pdfmin|MJ12bot|SemrushBot|DotBot|Bytespider) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} (meta-externalagent|meta-webindexer) [NC]
RewriteRule .* - [F,L]

[NC] katta-kiçik harfni farqlamaslikni, [F] esa 403 ni bildiradi. 403 qaytariş sahifa yaratişdan ança arzon: PHP işlamaydi, bazaga sörov ketmaydi, şuning uçun yuk deyarli darhol pasayadi. Öz VPS serveringizda nginx bölsa, şu mantiq server blokiga yoziladi:

if ($http_user_agent ~* (msh-pdfmin|MJ12bot|Bytespider|meta-externalagent)) {
    return 403;
}

Tezlikni çeklaş va Cloudflare

Ba'zi botlarni bloklaş şart emas, tezligini çeklaş kifoya. nginx'ning limit_req moduli bitta IP'dan sörovlarni, masalan, soniyasiga ikkitaga çeklaydi va ortiğiga 429 qaytaradi. Bu özini brauzer qilib körsatadigan botlarga qarşi ham işlaydi, çunki odam sahifalarni bunday tezlikda oçmaydi. Taqsimlangan botlarga qarşi uni user agent bloki bilan birga qöllang.

Sayt Cloudflare orqali işlasa, panelda AI botlarini bir tugma bilan bloklaş, Bot Fight Mode va tasdiqlangan botlar röyxati bor. Firewall qoidalari bilan alohida user agentlarni töxtatiş mumkin, bunda sörovlar serveringizga yetib kelmaydi.

Oğir sahifalarni yoping

Köpinça muammo botlar sonida emas, qaysi sahifalarni oçayotganida. Internet-dökonda rang, ölçam, narx va saralaş filtrlari qöşilib minglab noyob URL hosil qiladi, har biri bazaga oğir sörov yuboradi. Içki qidiruv va "savatga qöşiş" havolalari esa keşlanmaydi. Bunday URL'larni robots.txt'da Disallow bilan yoping, sahifalarga noindex qöying, filtr havolalariga rel="nofollow" qöşing. Şunda qidiruv tizimlari faqat foydali sahifalarni indekslaydi.

Har bir botni alohida baholang

Bloklaşning ham narxi bor. OAI-SearçBot, PerplexityBot yoki Claude-SearçBot kabi AI qidiruv botlarini tössangiz, saytingiz ÇatGPT va Perplexity javoblarida kamroq tilga olinişi mumkin, köplab foydalanuvçilar esa bugun aynan şu vositalar orqali qidiradi. Oqilona yöl — öqitiş botlari va yuk beradigan SEO crawlerlarni çeklaş, foydalanuvçiga javob beradigan qidiruv botlarini qoldiriş. Qarordan oldin logga qarang, bloklagaç esa bir-ikki kun yuk va trafikni kuzating.

Öxşaş maqolalar

🛡️ OJS jurnal saytini botlardan himoyalaş: qidiruv, yuklama va loglar 🛠️ Texnik yordamga töğri murojaat: muammo tez hal bölişi uçun nima yoziş kerak 🧭 Vektor bazani öz serveringizda işlatiş: Qdrant va pgvector 🧭 Portainer: Docker konteynerlarini brauzer orqali boşqariş
🌐 Til
🇺🇿 O⁠'zbek 🇺🇿 Özbek (yangi) ✓ 🇺🇿 Ўзбек 🇷🇺 Русский 🇬🇧 English