🤖
Hosting

Kiriş logidan (access log) bot trafigini aniqlaş: amaliy tahlil

17.11.2026
← Barça maqolalar

Saytga kelayotgan sörovlarning katta qismi odamlardan emas, dasturlardan keladi. Ularning bir qismi foydali: qidiruv tizimlari sahifalarni indekslaydi, monitoring xizmatlari sayt işlayotganini tekşiradi. Boşqalari esa narxlarni köçirib oladi, parol tanlaydi yoki zaif plaginlarni qidiradi. Sayt sababsiz sekinlaşsa yoki hosting resurslari kutilmaganda tugasa, birinçi qaraladigan joy veb-serverning kiriş logi (access.log) bölişi kerak. Bu maqolada log satrini öqişdan boşlab, bot trafigini aniqlaş va uni çeklaşgaça bölgan amaliy jarayonni körib çiqamiz.

Log satrida nimalar yozilgan

Köpçilik serverlar "combined" formatidan foydalanadi. Har bir satrda sörov yuborgan IP manzil, vaqt, söralgan sahifa, javob kodi, javob hajmi, qaysi sahifadan kelgani va User-Agent, ya'ni mijoz özini kim deb taniştirgani yoziladi. Quyidagi satrda bitta IP katalogning 187-sahifasini sörayapti va özini bot deb körsatyapti.

203.0.113.45 - - [12/Oct/2026:14:03:21 +0500] "GET /katalog/?page=187 HTTP/1.1" 200 18342 "-" "Mozilla/5.0 (compatible; ExampleBot/2.1)"

awk buyruği bilan işlaganda maydonlar böş joy böyiça ajratiladi: $1 IP manzil, $4 vaqt, $7 söralgan yöl, $9 javob kodi. User-Agent qöştirnoq içida bölgani uçun uni qöştirnoq böyiça ajratib oliş qulayroq.

Eng faol IP manzillar va User-Agent'lar

Birinçi qadam, eng köp sörov yuborgan manzillarni topiş. Oddiy saytda bitta taşrifçi kuniga bir neça önlab sörov yuboradi, şuning uçun bir IP'dan ön minglab sörov kelsa, bu deyarli har doim avtomatlaştirilgan dastur.

awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20

Keyin xuddi şu hisobni User-Agent böyiça qiling. Bu sizga qaysi botlar özini oçiq taniştirayotganini körsatadi: qidiruv tizimlari, SEO tahlil xizmatlari, sun'iy intellekt kompaniyalarining kraulerlari va boşqalar.

awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -20

Şubhali IP topilganda uning sörovlari daqiqalar böyiça qanday taqsimlanganini köriş foydali. Odam bir daqiqada 2-3 sahifa oçadi, bot esa bir daqiqada yuzlab sörov yuboradi va bu tekis, uzluksiz çiziq körinişida böladi.

grep '203.0.113.45' access.log | awk '{print substr($4, 2, 17)}' | sort | uniq -c | sort -rn | head

Skanerlar va parol tanlovçilarni topiş

Zararli botlarning öziga xos izi bor: ular saytda mavjud bölmagan fayllarni qidiradi va şuning uçun köplab 404 javob oladi. /.env, /phpmyadmin/, /wp-config.php.bak kabi sörovlar tasodifiy emas, ular avtomatik zaiflik skanerlari. WordPress saytlarida esa wp-login.php va xmlrpc.php manzillariga köplab POST sörovlar parol tanlaş urinişini bildiradi.

awk '$9 == 404 {print $7}' access.log | sort | uniq -c | sort -rn | head -20
grep -c 'POST /wp-login.php' access.log
grep -E 'POST /(wp-login\.php|xmlrpc\.php)' access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Misol: universitet jurnali saytidagi sekinlaşiş

Tasavvur qiling, Toşkentdagi oliy ta'lim muassasasining ilmiy jurnali example.uz manzilida işlaydi va har kuni tuşdan keyin bir neça soatga sekinlaşadi. Logni tahlil qilganda ma'lum böldiki, sörovlarning katta qismi bir neçta IP manzildan keladi va ular jurnal arxividagi har bir maqolaning barça formatlarini ketma-ket yuklab olmoqda. User-Agent'da noma'lum krauler nomi körsatilgan, robots.txt esa e'tiborga olinmagan. Uşbu IP diapazoni bloklangaç va qolgan botlar uçun sörov tezligi çeklangaç, sayt odatiy tezligiga qaytdi, real öquvçilar esa heç qanday özgarişni sezmadi.

Haqiqiy Googlebot'ni soxtasidan ajratiş

User-Agent qatorini istalgan dastur yozişi mumkin, şuning uçun "Googlebot" yozuvi hali Google ekanini anglatmaydi. Işonçli tekşiriş ikki bosqiçli DNS sörovi: avval IP manzilning teskari yozuvi olinadi, u googlebot.com yoki google.com bilan tugaşi kerak. Söngra şu nom böyiça töğri sörov yuborilib, u yana öşa IP'ni qaytarişi tekşiriladi. Bing va boşqa yirik qidiruv tizimlari ham öz kraulerlarini tekşiriş usulini rasmiy hujjatlarida e'lon qiladi.

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Agar teskari yozuv boşqa domen bilan tugasa yoki töğri sörov boşqa IP qaytarsa, bu özini Googlebot qilib körsatayotgan boşqa dastur. Bunday botni bloklaş qidiruvdagi örningizga zarar yetkazmaydi.

Botlarni çeklaş: robots.txt, .htaccess va Nginx

Halol botlar robots.txt qoidalariga amal qiladi, şuning uçun keraksiz SEO kraulerlarini u orqali töxtatiş eng yumşoq usul. Zararli botlar esa bu faylga qaramaydi, ular uçun server darajasida blok kerak. Apaçe işlatiladigan shared hostingda buni .htaccess faylida qiliş mumkin: birinçi qism User-Agent böyiça, ikkinçisi IP böyiça rad etadi.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (ExampleBot|BadCrawler) [NC]
RewriteRule .* - [F,L]

<RequireAll>
    Require all granted
    Require not ip 203.0.113.45
</RequireAll>

VPS'da Nginx işlatsangiz, alohida IP'larni bloklaş örniga sörov tezligini çeklaş samaraliroq. Quyidagi sozlama bitta IP'ga soniyasiga 5 ta sörov va qisqa portlaş uçun 20 ta zaxira beradi; undan oşganlari 503 javob oladi. Oddiy taşrifçi bu çegaraga deyarli yetmaydi, agressiv bot esa darhol sekinlaşadi.

# http { ... } bloki ichida
limit_req_zone $binary_remote_addr zone=perip:10m rate=5r/s;

# server { ... } yoki location ichida
location / {
    limit_req zone=perip burst=20 nodelay;
}

Shared hostingda loglarni qayerdan oliş

Shared hostingda kiriş va xato loglari odatda ISPmanager panelidagi loglar bölimida yoki akkauntingizdagi alohida papkada saqlanadi. Ularni yuklab olib, yuqoridagi buyruqlarni öz kompyuteringizda Linux terminali yoki WSL orqali işga tuşirişingiz mumkin. Loglarni topa olmasangiz yoki bot hujumi hosting limitlaringizni tugatayotgan bölsa, sayt.uz kabinetidan texnik yordamga tiket yozib, tahlilni birga qiliş mumkin. Bot trafigini bir marta tozalaş yetarli emas: haftasiga bir marta eng faol IP va User-Agent röyxatiga qarab turiş yangi muammoni erta sezişga yordam beradi.

Öxşaş maqolalar

🛡️ OJS jurnal saytini botlardan himoyalaş: qidiruv, yuklama va loglar 🛠️ Texnik yordamga töğri murojaat: muammo tez hal bölişi uçun nima yoziş kerak 🧭 Vektor bazani öz serveringizda işlatiş: Qdrant va pgvector 🧭 Portainer: Docker konteynerlarini brauzer orqali boşqariş
🌐 Til
🇺🇿 O⁠'zbek 🇺🇿 Özbek (yangi) ✓ 🇺🇿 Ўзбек 🇷🇺 Русский 🇬🇧 English