🤖
Hosting

Kirish logidan (access log) bot trafigini aniqlash: amaliy tahlil

17.11.2026
← Barcha maqolalar

Saytga kelayotgan so'rovlarning katta qismi odamlardan emas, dasturlardan keladi. Ularning bir qismi foydali: qidiruv tizimlari sahifalarni indekslaydi, monitoring xizmatlari sayt ishlayotganini tekshiradi. Boshqalari esa narxlarni ko'chirib oladi, parol tanlaydi yoki zaif plaginlarni qidiradi. Sayt sababsiz sekinlashsa yoki hosting resurslari kutilmaganda tugasa, birinchi qaraladigan joy veb-serverning kirish logi (access.log) bo'lishi kerak. Bu maqolada log satrini o'qishdan boshlab, bot trafigini aniqlash va uni cheklashgacha bo'lgan amaliy jarayonni ko'rib chiqamiz.

Log satrida nimalar yozilgan

Ko'pchilik serverlar "combined" formatidan foydalanadi. Har bir satrda so'rov yuborgan IP manzil, vaqt, so'ralgan sahifa, javob kodi, javob hajmi, qaysi sahifadan kelgani va User-Agent, ya'ni mijoz o'zini kim deb tanishtirgani yoziladi. Quyidagi satrda bitta IP katalogning 187-sahifasini so'rayapti va o'zini bot deb ko'rsatyapti.

203.0.113.45 - - [12/Oct/2026:14:03:21 +0500] "GET /katalog/?page=187 HTTP/1.1" 200 18342 "-" "Mozilla/5.0 (compatible; ExampleBot/2.1)"

awk buyrug'i bilan ishlaganda maydonlar bo'sh joy bo'yicha ajratiladi: $1 IP manzil, $4 vaqt, $7 so'ralgan yo'l, $9 javob kodi. User-Agent qo'shtirnoq ichida bo'lgani uchun uni qo'shtirnoq bo'yicha ajratib olish qulayroq.

Eng faol IP manzillar va User-Agent'lar

Birinchi qadam, eng ko'p so'rov yuborgan manzillarni topish. Oddiy saytda bitta tashrifchi kuniga bir necha o'nlab so'rov yuboradi, shuning uchun bir IP'dan o'n minglab so'rov kelsa, bu deyarli har doim avtomatlashtirilgan dastur.

awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20

Keyin xuddi shu hisobni User-Agent bo'yicha qiling. Bu sizga qaysi botlar o'zini ochiq tanishtirayotganini ko'rsatadi: qidiruv tizimlari, SEO tahlil xizmatlari, sun'iy intellekt kompaniyalarining kraulerlari va boshqalar.

awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -20

Shubhali IP topilganda uning so'rovlari daqiqalar bo'yicha qanday taqsimlanganini ko'rish foydali. Odam bir daqiqada 2-3 sahifa ochadi, bot esa bir daqiqada yuzlab so'rov yuboradi va bu tekis, uzluksiz chiziq ko'rinishida bo'ladi.

grep '203.0.113.45' access.log | awk '{print substr($4, 2, 17)}' | sort | uniq -c | sort -rn | head

Skanerlar va parol tanlovchilarni topish

Zararli botlarning o'ziga xos izi bor: ular saytda mavjud bo'lmagan fayllarni qidiradi va shuning uchun ko'plab 404 javob oladi. /.env, /phpmyadmin/, /wp-config.php.bak kabi so'rovlar tasodifiy emas, ular avtomatik zaiflik skanerlari. WordPress saytlarida esa wp-login.php va xmlrpc.php manzillariga ko'plab POST so'rovlar parol tanlash urinishini bildiradi.

awk '$9 == 404 {print $7}' access.log | sort | uniq -c | sort -rn | head -20
grep -c 'POST /wp-login.php' access.log
grep -E 'POST /(wp-login\.php|xmlrpc\.php)' access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Misol: universitet jurnali saytidagi sekinlashish

Tasavvur qiling, Toshkentdagi oliy ta'lim muassasasining ilmiy jurnali example.uz manzilida ishlaydi va har kuni tushdan keyin bir necha soatga sekinlashadi. Logni tahlil qilganda ma'lum bo'ldiki, so'rovlarning katta qismi bir nechta IP manzildan keladi va ular jurnal arxividagi har bir maqolaning barcha formatlarini ketma-ket yuklab olmoqda. User-Agent'da noma'lum krauler nomi ko'rsatilgan, robots.txt esa e'tiborga olinmagan. Ushbu IP diapazoni bloklangach va qolgan botlar uchun so'rov tezligi cheklangach, sayt odatiy tezligiga qaytdi, real o'quvchilar esa hech qanday o'zgarishni sezmadi.

Haqiqiy Googlebot'ni soxtasidan ajratish

User-Agent qatorini istalgan dastur yozishi mumkin, shuning uchun "Googlebot" yozuvi hali Google ekanini anglatmaydi. Ishonchli tekshirish ikki bosqichli DNS so'rovi: avval IP manzilning teskari yozuvi olinadi, u googlebot.com yoki google.com bilan tugashi kerak. So'ngra shu nom bo'yicha to'g'ri so'rov yuborilib, u yana o'sha IP'ni qaytarishi tekshiriladi. Bing va boshqa yirik qidiruv tizimlari ham o'z kraulerlarini tekshirish usulini rasmiy hujjatlarida e'lon qiladi.

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Agar teskari yozuv boshqa domen bilan tugasa yoki to'g'ri so'rov boshqa IP qaytarsa, bu o'zini Googlebot qilib ko'rsatayotgan boshqa dastur. Bunday botni bloklash qidiruvdagi o'rningizga zarar yetkazmaydi.

Botlarni cheklash: robots.txt, .htaccess va Nginx

Halol botlar robots.txt qoidalariga amal qiladi, shuning uchun keraksiz SEO kraulerlarini u orqali to'xtatish eng yumshoq usul. Zararli botlar esa bu faylga qaramaydi, ular uchun server darajasida blok kerak. Apache ishlatiladigan shared hostingda buni .htaccess faylida qilish mumkin: birinchi qism User-Agent bo'yicha, ikkinchisi IP bo'yicha rad etadi.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (ExampleBot|BadCrawler) [NC]
RewriteRule .* - [F,L]

<RequireAll>
    Require all granted
    Require not ip 203.0.113.45
</RequireAll>

VPS'da Nginx ishlatsangiz, alohida IP'larni bloklash o'rniga so'rov tezligini cheklash samaraliroq. Quyidagi sozlama bitta IP'ga soniyasiga 5 ta so'rov va qisqa portlash uchun 20 ta zaxira beradi; undan oshganlari 503 javob oladi. Oddiy tashrifchi bu chegaraga deyarli yetmaydi, agressiv bot esa darhol sekinlashadi.

# http { ... } bloki ichida
limit_req_zone $binary_remote_addr zone=perip:10m rate=5r/s;

# server { ... } yoki location ichida
location / {
    limit_req zone=perip burst=20 nodelay;
}

Shared hostingda loglarni qayerdan olish

Shared hostingda kirish va xato loglari odatda ISPmanager panelidagi loglar bo'limida yoki akkauntingizdagi alohida papkada saqlanadi. Ularni yuklab olib, yuqoridagi buyruqlarni o'z kompyuteringizda Linux terminali yoki WSL orqali ishga tushirishingiz mumkin. Loglarni topa olmasangiz yoki bot hujumi hosting limitlaringizni tugatayotgan bo'lsa, sayt.uz kabinetidan texnik yordamga tiket yozib, tahlilni birga qilish mumkin. Bot trafigini bir marta tozalash yetarli emas: haftasiga bir marta eng faol IP va User-Agent ro'yxatiga qarab turish yangi muammoni erta sezishga yordam beradi.

O'xshash maqolalar

💾 VPS'da swap: kerakmi, qancha va qanday sozlanadi 🗂️ ISPmanager fayl menejeri bilan ishlash: yuklash, arxiv, tahrir va ruxsatlar ⏱️ 504 Gateway Timeout: xato sababi va uni bosqichma-bosqich tuzatish 📜 Hosting SLA: kafolatlar, uptime foizi va kompensatsiya qanday ishlaydi
🌐 Til
🇺🇿 O'zbek ✓ 🇺🇿 Ўзбек 🇷🇺 Русский 🇬🇧 English