Сайтга келаётган сўровларнинг катта қисми одамлардан эмас, дастурлардан келади. Уларнинг бир қисми фойдали: қидирув тизимлари саҳифаларни индекслайди, мониторинг хизматлари сайт ишлаётганини текширади. Бошқалари эса нархларни кўчириб олади, парол танлайди ёки заиф плагинларни қидиради. Сайт сабабсиз секинлашса ёки хостинг ресурслари кутилмаганда тугаса, биринчи қараладиган жой веб-сервернинг кириш логи (access.log) бўлиши керак. Бу мақолада лог сатрини ўқишдан бошлаб, бот трафигини аниқлаш ва уни чеклашгача бўлган амалий жараённи кўриб чиқамиз.
Лог сатрида нималар ёзилган
Кўпчилик серверлар "combined" форматидан фойдаланади. Ҳар бир сатрда сўров юборган IP манзил, вақт, сўралган саҳифа, жавоб коди, жавоб ҳажми, қайси саҳифадан келгани ва User-Agent, яъни мижоз ўзини ким деб таништиргани ёзилади. Қуйидаги сатрда битта IP каталогнинг 187-саҳифасини сўраяпти ва ўзини бот деб кўрсатяпти.
203.0.113.45 - - [12/Oct/2026:14:03:21 +0500] "GET /katalog/?page=187 HTTP/1.1" 200 18342 "-" "Mozilla/5.0 (compatible; ExampleBot/2.1)"
awk буйруғи билан ишлаганда майдонлар бўш жой бўйича ажратилади: $1 IP манзил, $4 вақт, $7 сўралган йўл, $9 жавоб коди. User-Agent қўштирноқ ичида бўлгани учун уни қўштирноқ бўйича ажратиб олиш қулайроқ.
Энг фаол IP манзиллар ва User-Agent'лар
Биринчи қадам, энг кўп сўров юборган манзилларни топиш. Оддий сайтда битта ташрифчи кунига бир неча ўнлаб сўров юборади, шунинг учун бир IP'дан ўн минглаб сўров келса, бу деярли ҳар доим автоматлаштирилган дастур.
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20
Кейин худди шу ҳисобни User-Agent бўйича қилинг. Бу сизга қайси ботлар ўзини очиқ таништираётганини кўрсатади: қидирув тизимлари, SEO таҳлил хизматлари, сунъий интеллект компанияларининг краулерлари ва бошқалар.
awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -20
Шубҳали IP топилганда унинг сўровлари дақиқалар бўйича қандай тақсимланганини кўриш фойдали. Одам бир дақиқада 2-3 саҳифа очади, бот эса бир дақиқада юзлаб сўров юборади ва бу текис, узлуксиз чизиқ кўринишида бўлади.
grep '203.0.113.45' access.log | awk '{print substr($4, 2, 17)}' | sort | uniq -c | sort -rn | head
Сканерлар ва парол танловчиларни топиш
Зарарли ботларнинг ўзига хос изи бор: улар сайтда мавжуд бўлмаган файлларни қидиради ва шунинг учун кўплаб 404 жавоб олади. /.env, /phpmyadmin/, /wp-config.php.bak каби сўровлар тасодифий эмас, улар автоматик заифлик сканерлари. WordPress сайтларида эса wp-login.php ва xmlrpc.php манзилларига кўплаб POST сўровлар парол танлаш уринишини билдиради.
awk '$9 == 404 {print $7}' access.log | sort | uniq -c | sort -rn | head -20
grep -c 'POST /wp-login.php' access.log
grep -E 'POST /(wp-login\.php|xmlrpc\.php)' access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
Мисол: университет журнали сайтидаги секинлашиш
Тасаввур қилинг, Тошкентдаги олий таълим муассасасининг илмий журнали example.uz манзилида ишлайди ва ҳар куни тушдан кейин бир неча соатга секинлашади. Логни таҳлил қилганда маълум бўлдики, сўровларнинг катта қисми бир нечта IP манзилдан келади ва улар журнал архивидаги ҳар бир мақоланинг барча форматларини кетма-кет юклаб олмоқда. User-Agent'да номаълум краулер номи кўрсатилган, robots.txt эса эътиборга олинмаган. Ушбу IP диапазони блоклангач ва қолган ботлар учун сўров тезлиги чеклангач, сайт одатий тезлигига қайтди, реал ўқувчилар эса ҳеч қандай ўзгаришни сезмади.
Ҳақиқий Googlebot'ни сохтасидан ажратиш
User-Agent қаторини исталган дастур ёзиши мумкин, шунинг учун "Googlebot" ёзуви ҳали Google эканини англатмайди. Ишончли текшириш икки босқичли DNS сўрови: аввал IP манзилнинг тескари ёзуви олинади, у googlebot.com ёки google.com билан тугаши керак. Сўнгра шу ном бўйича тўғри сўров юборилиб, у яна ўша IP'ни қайтариши текширилади. Bing ва бошқа йирик қидирув тизимлари ҳам ўз краулерларини текшириш усулини расмий ҳужжатларида эълон қилади.
host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Агар тескари ёзув бошқа домен билан тугаса ёки тўғри сўров бошқа IP қайтарса, бу ўзини Googlebot қилиб кўрсатаётган бошқа дастур. Бундай ботни блоклаш қидирувдаги ўрнингизга зарар етказмайди.
Ботларни чеклаш: robots.txt, .htaccess ва Nginx
Ҳалол ботлар robots.txt қоидаларига амал қилади, шунинг учун кераксиз SEO краулерларини у орқали тўхтатиш энг юмшоқ усул. Зарарли ботлар эса бу файлга қарамайди, улар учун сервер даражасида блок керак. Apache ишлатиладиган shared хостингда буни .htaccess файлида қилиш мумкин: биринчи қисм User-Agent бўйича, иккинчиси IP бўйича рад этади.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (ExampleBot|BadCrawler) [NC]
RewriteRule .* - [F,L]
<RequireAll>
Require all granted
Require not ip 203.0.113.45
</RequireAll>
VPS'да Nginx ишлатсангиз, алоҳида IP'ларни блоклаш ўрнига сўров тезлигини чеклаш самаралироқ. Қуйидаги созлама битта IP'га сониясига 5 та сўров ва қисқа портлаш учун 20 та захира беради; ундан ошганлари 503 жавоб олади. Оддий ташрифчи бу чегарага деярли етмайди, агрессив бот эса дарҳол секинлашади.
# http { ... } bloki ichida
limit_req_zone $binary_remote_addr zone=perip:10m rate=5r/s;
# server { ... } yoki location ichida
location / {
limit_req zone=perip burst=20 nodelay;
}
Shared хостингда логларни қаердан олиш
Shared хостингда кириш ва хато логлари одатда ISPmanager панелидаги логлар бўлимида ёки аккаунтингиздаги алоҳида папкада сақланади. Уларни юклаб олиб, юқоридаги буйруқларни ўз компьютерингизда Linux терминали ёки WSL орқали ишга туширишингиз мумкин. Логларни топа олмасангиз ёки бот ҳужуми хостинг лимитларингизни тугатаётган бўлса, sayt.uz кабинетидан техник ёрдамга тикет ёзиб, таҳлилни бирга қилиш мумкин. Бот трафигини бир марта тозалаш етарли эмас: ҳафтасига бир марта энг фаол IP ва User-Agent рўйхатига қараб туриш янги муаммони эрта сезишга ёрдам беради.