AI crawlerlar serveringizni yuklayapti: aniqlash va cheklash

Sayt kutilmaganda sekinlashdi, sahifalar 503 yoki 504 xatosi bilan ochilmayapti, hosting statistikasi esa CPU limiti to'lganini ko'rsatmoqda. Birinchi xayolga tashrifchilar ko'payib ketgani yoki hujum keladi. Ammo so'nggi paytlarda bunday holatlarning katta qismiga odamlar emas, sun'iy intellekt va SEO xizmatlarining crawler botlari sabab bo'lmoqda. Ular sahifalarni minglab marta yuklab ma'lumot yig'adi, buning narxini esa sizning serveringiz to'laydi.

Real holat: yuk to'satdan to'rt barobar oshdi

Yaqinda shared hosting serverlarimizdan birida yuk bir necha daqiqada taxminan to'rt barobar ko'tarildi. Yuklab olish bo'limi bor bir WordPress saytni msh-pdfmin/1 nomli taqsimlangan bot ko'plab IP manzillardan daqiqasiga 400 ga yaqin fayl sahifasini so'rab turgan. Shu paytda bir internet-do'konni Meta'ning meta-externalagent va meta-webindexer crawlerlari daqiqasiga taxminan 400 so'rov bilan kategoriya va filtr sahifalari bo'ylab aylanib chiqayotgan edi, ularga MJ12bot va SemrushBot ham qo'shilgan.

Bu user agentlar sayt darajasida .htaccess orqali 403 javobi bilan bloklangach, server yuki bir necha daqiqada 250 atrofidan 40 gacha tushdi. Oddiy tashrifchilar hech narsa sezmadi: sahifalar odatdagidek ochildi, buyurtmalar davom etdi. Demak, bot trafigi ko'zga tashlanmasa ham, serverni real foydalanuvchilardan ko'proq band qilishi mumkin.

Bot yukini qanday aniqlash mumkin

Belgilar odatda bir xil: sayt sekin ochiladi, vaqti-vaqti bilan 503/504 xatolari chiqadi, CPU va jarayonlar soni limitga yaqinlashadi. Analitikada esa tashrifchilar soni deyarli o'zgarmaydi, chunki botlar JavaScript ishga tushirmaydi va hisoblagichlarda ko'rinmaydi. Haqiqiy manzarani serverning access logi beradi: unda har bir so'rovning IP manzili, sahifasi va user agenti yozilgan.

Quyidagi buyruqlar eng faol user agentlar va IP manzillarni ro'yxat boshiga chiqaradi, oxirgisi esa ma'lum bir bot necha marta kelganini sanaydi. IP'lar tarqoq-u user agent bir xil bo'lsa, bu taqsimlangan crawlerning aniq belgisi:

awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -20
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20
grep -c "meta-externalagent" access.log

Log fayllariga kirish imkoningiz bo'lmasa yoki natijani talqin qilish qiyin bo'lsa, sayt.uz texnik yordamiga murojaat qiling: mutaxassislarimiz qaysi botlar yuk berayotganini aniqlab, nimani cheklash kerakligini tavsiya qiladi.

Qidiruv botlari va o'qitish botlari

Barcha botlarni birdaniga bloklash xato. Googlebot va Bingbot saytni indekslab, sizga tashrifchi olib keladi. AI kompaniyalarining o'qitish botlari esa kontentni til modellari uchun yig'adi va evaziga deyarli trafik bermaydi. SEO xizmatlarining crawlerlari raqobatchilar tahlili uchun ishlaydi va sizga faqat yuk qoldiradi.

Google-Extended alohida crawler emas, robots.txt'dagi token: u Googlebot yig'gan kontentdan Gemini modellarida foydalanishni boshqaradi va qidiruv indeksiga ta'sir qilmaydi. Applebot-Extended ham shunday: sahifalarni oddiy Applebot ko'radi, token esa ulardan AI o'qitishda foydalanishga ruxsat beradi yoki bermaydi.

robots.txt: odobli botlar uchun

Yirik kompaniyalarning botlari odatda robots.txt'ga amal qiladi, shuning uchun eng xavfsiz usul shu fayldan boshlash. Quyidagi misolda o'qitish botlari va og'ir SEO crawlerlar taqiqlanadi, qidiruv botlari esa saytni ko'rishda davom etadi, faqat og'ir sahifalarga kirmaydi:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: meta-externalagent
User-agent: Google-Extended
User-agent: MJ12bot
User-agent: DotBot
Disallow: /

User-agent: *
Disallow: /*?filter=
Disallow: /*?s=
Disallow: /*add-to-cart=
Crawl-delay: 5

Crawl-delay so'rovlar orasida necha soniya kutishni bildiradi. Bing va ba'zi SEO botlari uni hisobga oladi, Google esa e'tiborsiz qoldiradi: Googlebot tezligini server javoblariga qarab o'zi moslaydi va sayt 503 qaytarsa, so'rovlarni kamaytiradi.

.htaccess va nginx: qoidani buzuvchilar uchun

robots.txt faqat tavsiya. msh-pdfmin/1 kabi noma'lum botlar uni umuman o'qimaydi, shuning uchun so'rovni server darajasida rad etish kerak. Apache'da .htaccess'ga quyidagini qo'shing, ko'rsatilgan user agentlar 403 Forbidden oladi:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (msh-pdfmin|MJ12bot|SemrushBot|DotBot|Bytespider) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} (meta-externalagent|meta-webindexer) [NC]
RewriteRule .* - [F,L]

[NC] katta-kichik harfni farqlamaslikni, [F] esa 403 ni bildiradi. 403 qaytarish sahifa yaratishdan ancha arzon: PHP ishlamaydi, bazaga so'rov ketmaydi, shuning uchun yuk deyarli darhol pasayadi. O'z VPS serveringizda nginx bo'lsa, shu mantiq server blokiga yoziladi:

if ($http_user_agent ~* (msh-pdfmin|MJ12bot|Bytespider|meta-externalagent)) {
    return 403;
}

Tezlikni cheklash va Cloudflare

Ba'zi botlarni bloklash shart emas, tezligini cheklash kifoya. nginx'ning limit_req moduli bitta IP'dan so'rovlarni, masalan, soniyasiga ikkitaga cheklaydi va ortig'iga 429 qaytaradi. Bu o'zini brauzer qilib ko'rsatadigan botlarga qarshi ham ishlaydi, chunki odam sahifalarni bunday tezlikda ochmaydi. Taqsimlangan botlarga qarshi uni user agent bloki bilan birga qo'llang.

Sayt Cloudflare orqali ishlasa, panelda AI botlarini bir tugma bilan bloklash, Bot Fight Mode va tasdiqlangan botlar ro'yxati bor. Firewall qoidalari bilan alohida user agentlarni to'xtatish mumkin, bunda so'rovlar serveringizga yetib kelmaydi.

Og'ir sahifalarni yoping

Ko'pincha muammo botlar sonida emas, qaysi sahifalarni ochayotganida. Internet-do'konda rang, o'lcham, narx va saralash filtrlari qo'shilib minglab noyob URL hosil qiladi, har biri bazaga og'ir so'rov yuboradi. Ichki qidiruv va "savatga qo'shish" havolalari esa keshlanmaydi. Bunday URL'larni robots.txt'da Disallow bilan yoping, sahifalarga noindex qo'ying, filtr havolalariga rel="nofollow" qo'shing. Shunda qidiruv tizimlari faqat foydali sahifalarni indekslaydi.

Har bir botni alohida baholang

Bloklashning ham narxi bor. OAI-SearchBot, PerplexityBot yoki Claude-SearchBot kabi AI qidiruv botlarini to'ssangiz, saytingiz ChatGPT va Perplexity javoblarida kamroq tilga olinishi mumkin, ko'plab foydalanuvchilar esa bugun aynan shu vositalar orqali qidiradi. Oqilona yo'l — o'qitish botlari va yuk beradigan SEO crawlerlarni cheklash, foydalanuvchiga javob beradigan qidiruv botlarini qoldirish. Qarordan oldin logga qarang, bloklagach esa bir-ikki kun yuk va trafikni kuzating.