Сайт кутилмаганда секинлашди, саҳифалар 503 ёки 504 хатоси билан очилмаяпти, CPU лимити эса тўлган. Бунга кўпинча одамлар эмас, сунъий интеллект ва SEO хизматларининг crawler ботлари сабаб бўлади. Улар саҳифаларни минглаб марта юклаб маълумот йиғади, нархини эса сизнинг серверингиз тўлайди.
Реал ҳолат: юк тўрт баробар ошди
Яқинда shared хостинг серверларимиздан бирида юк бир неча дақиқада тахминан тўрт баробар кўтарилди. Юклаб олиш бўлими бор WordPress сайтни msh-pdfmin/1 тақсимланган боти кўплаб IP'дан дақиқасига 400 га яқин файл саҳифасини сўраб турган. Интернет-дўконни эса Meta'нинг meta-externalagent ва meta-webindexer crawlerлари дақиқасига 400 га яқин сўров билан категория ва фильтр саҳифалари бўйлаб айланаётган эди, уларга MJ12bot ва SemrushBot ҳам қўшилган.
Бу user agentлар .htaccess орқали 403 билан блоклангач, юк бир неча дақиқада 250 атрофидан 40 гача тушди. Оддий ташрифчилар ҳеч нарса сезмади, буюртмалар давом этди. Демак, бот трафиги кўзга ташланмаса ҳам, серверни реал фойдаланувчилардан кўпроқ банд қилиши мумкин.
Бот юкини қандай аниқлаш мумкин
Белгилари: сайт секин очилади, 503/504 хатолари чиқади, CPU лимитга яқинлашади, аналитикада эса ташрифчилар сони деярли ўзгармайди, чунки ботлар JavaScript ишлатмайди. Ҳақиқий манзарани access лог беради. Қуйидаги буйруқлар энг фаол user agent ва IP'ларни кўрсатади, охиргиси маълум ботни санайди. IP'лар тарқоқ-у user agent бир хил бўлса, бу тақсимланган crawler:
awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -20
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20
grep -c "meta-externalagent" access.logЛогга кириш имкони бўлмаса, sayt.uz техник ёрдамига мурожаат қилинг: мутахассисларимиз қайси ботлар юк бераётганини аниқлаб, нимани чеклашни тавсия қилади.
Қидирув ботлари ва ўқитиш ботлари
Барча ботларни блоклаш хато. Googlebot ва Bingbot сайтни индекслаб, ташрифчи олиб келади. AI ўқитиш ботлари контентни моделлар учун йиғади ва деярли трафик бермайди, SEO crawlerлар эса фақат юк қолдиради.
| Бот | Эгаси | Тури |
|---|---|---|
GPTBot / OAI-SearchBot, ChatGPT-User | OpenAI | ўқитиш / AI қидирув |
ClaudeBot / Claude-SearchBot, Claude-User | Anthropic | ўқитиш / AI қидирув |
PerplexityBot | Perplexity | AI қидирув |
meta-externalagent, Bytespider, CCBot | Meta, ByteDance, Common Crawl | ўқитиш |
AhrefsBot, SemrushBot, MJ12bot, DotBot, PetalBot | SEO хизматлари | таҳлил |
Google-Extended алоҳида crawler эмас, robots.txt токени: у контентдан Gemini моделларида фойдаланишни бошқаради ва қидирув индексига таъсир қилмайди. Applebot-Extended ҳам шундай: саҳифаларни оддий Applebot кўради, токен эса улардан AI ўқитишда фойдаланишга рухсат беради ёки бермайди.
robots.txt: одобли ботлар учун
Йирик компаниялар ботлари robots.txt'га амал қилади. Мисолда ўқитиш ва оғир SEO ботлари тақиқланади, қидирув ботлари эса фақат оғир саҳифаларга кирмайди:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: meta-externalagent
User-agent: Google-Extended
User-agent: MJ12bot
User-agent: DotBot
Disallow: /
User-agent: *
Disallow: /*?filter=
Disallow: /*?s=
Disallow: /*add-to-cart=
Crawl-delay: 5Crawl-delay'ни Bing ҳисобга олади, Google эса эътиборсиз қолдиради: Googlebot тезлигини сервер жавобларига қараб ўзи мослайди.
.htaccess ва nginx: қоидани бузувчилар учун
robots.txt фақат тавсия, msh-pdfmin/1 каби ботлар уни ўқимайди. Apache'да .htaccess'га қуйидагини қўшинг, бу user agentлар 403 олади:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (msh-pdfmin|MJ12bot|SemrushBot|DotBot|Bytespider) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} (meta-externalagent|meta-webindexer) [NC]
RewriteRule .* - [F,L][NC] ҳарф катталигини фарқламайди, [F] 403 қайтаради. 403 қайтариш саҳифа яратишдан анча арзон: PHP ишламайди, базага сўров кетмайди, шунинг учун юк дарҳол пасаяди. Ўз VPS серверингизда nginx бўлса, шу мантиқ сервер блокига ёзилади:
if ($http_user_agent ~* (msh-pdfmin|MJ12bot|Bytespider|meta-externalagent)) {
return 403;
}Тезликни чеклаш ва Cloudflare
nginx'нинг limit_req модули бир IP'дан сўровларни, масалан, сонияда иккитага чеклаб, ортиғига 429 қайтаради. Бу ўзини браузер қилиб кўрсатадиган ботларга қарши ҳам ишлайди, чунки одам саҳифаларни бундай тезликда очмайди. Cloudflare'да AI ботларини бир тугма билан блоклаш, Bot Fight Mode ва firewall қоидалари бор, сўровлар серверга етиб келмайди.
Оғир саҳифаларни ёпинг
Интернет-дўконда фильтрлар минглаб ноёб URL ҳосил қилади, ички қидирув ва "саватга қўшиш" ҳаволалари кешланмайди. Уларни robots.txt'да Disallow билан ёпинг, noindex қўйинг, фильтр ҳаволаларига rel="nofollow" қўшинг. Шунда қидирув тизимлари фақат фойдали саҳифаларни индекслайди, сервер эса беҳуда ишдан халос бўлади.
Ҳар бир ботни алоҳида баҳоланг
AI қидирув ботларини тўссангиз, сайтингиз ChatGPT ва Perplexity жавобларида камроқ тилга олиниши мумкин. Оқилона йўл — ўқитиш ва SEO ботларини чеклаб, қидирув ботларини қолдириш. Блоклагач бир-икки кун юк ва трафикни кузатинг.