Server log fayllar โ bu sizning sayt serveringizga kelgan har bir so'rovning to'liq yozuvi. Foydalanuvchi tashrifi, Googlebot tashrifi, hacker hujum urinishi โ har biri loglarda saqlanadi. SEO mutaxassisi uchun bu juda qimmatli ma'lumot manbai, chunki log fayllar Googlebot saytingizda haqiqatan qanday harakat qilayotganini ko'rsatadi. Google Search Console sizga umumiy ko'rinish beradi, log fayllar esa har daqiqaning aniq tarixi.
Log fayllar nima va qaerda saqlanadi
Har sayt serveriga so'rov yuborilganda (sahifa ochish, rasm yuklash, fayl so'rash) server bu so'rovni log faylga yozib qo'yadi. Apache server'da bu access_log fayli (odatda /var/log/apache2/access.log), Nginx'da access.log (/var/log/nginx/access.log). Log fayllarning har qatori bitta so'rovni ifodalaydi va quyidagi ma'lumotlarni o'z ichiga oladi: tashrif buyuruvchi IP manzili, sana va vaqt, so'rov turi (GET, POST), so'ralgan URL, server javob statusi (200, 404, 500), so'rov hajmi va eng muhimi โ User Agent.
User Agent โ bu tashrif buyuruvchi kim ekanligini bildiradi. Oddiy foydalanuvchi uchun bu Chrome, Firefox, Safari kabi brauzer nomi bo'ladi. Googlebot uchun esa o'ziga xos identifikator: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html). Shu User Agent bilan log fayldan Googlebot tashriflari ajratib olinadi.
Nima uchun log tahlili SEO uchun muhim
Search Console sizga Googlebot statistikasini beradi, lekin u juda umumiy ko'rinishda โ qancha sahifa o'qildi, qanday xatolar bo'ldi. Log fayllar esa har sahifa darajasidagi aniq ma'lumot beradi. Misol uchun: Googlebot saytingizning qaysi sahifalarini tez-tez o'qiydi va qaysilarini umuman o'qimaydi? Yangi sahifa Googlebot tomonidan qachon birinchi marta o'qildi? Googlebot qanday xatolarga duch keldi va qaysi sahifalarda?
Bu ma'lumot crawl budget optimizatsiyasida tilla bahosida. Agar Googlebot vaqtini past sifatli sahifalarga sarflayotgan bo'lsa va muhim sahifalarga kelmasa โ log tahlili buni darrov ko'rsatadi. Misol uchun: faceted navigation tufayli minglab URL parametr kombinatsiyalari Googlebot vaqtini yeyayotgan bo'lishi mumkin, va siz buni log fayllarsiz aniq bilmaysiz.
Log fayllar bilan ishlash uchun vositalar
Birinchi vosita โ Screaming Frog Log File Analyser. Bu Windows va Mac uchun desktop dastur, narxi yiliga $200. Log faylni yuklaysiz va dastur sizga aniq ma'lumot beradi: qaysi sahifalar eng ko'p o'qilgan, qaysi User Agent (Googlebot, Bingbot, Yandex bot) qanday tarqalgan, qanday status kodlar (200, 301, 404, 500) chiqqan, vaqt bo'yicha trafik dinamikasi.
Korxona darajasida Botify va JetOctopus pulli xizmatlari mavjud (oyiga $500-2000). Bu xizmatlar real vaqtda log fayllarni tahlil qiladi va dashboard ko'rinishida ma'lumot beradi. Bepul yo'l ham bor: GoAccess (open-source CLI vosita) yoki AWK/grep buyruqlari bilan terminal'da manual tahlil. Bu texnik bilim talab qiladi, lekin xarajatsiz.
Log tahlilidan olinadigan asosiy ma'lumotlar
Birinchi โ Googlebot crawl frequency (chastota). Qaysi sahifalar har kuni o'qiladi, qaysilari haftada bir, qaysilari oyda bir marta? Bu Google'ning sizning sahifa muhimligi haqida qarorini ko'rsatadi. Yuqori chastota โ Google sizning sahifani \"yuangilanib turadigan, muhim\" deb hisoblaydi.
Ikkinchi โ Crawl errors (xatolar). 4xx va 5xx status kodlar log fayllarda aniq ko'rinadi. 404 xato โ Google sizning olib tashlangan sahifaga link berishni urunayapti, demak ichki yoki tashqi link buzilgan. 500 xato โ server muammosi, Googlebot crawl budget'ingizni yeyayotgan vaqtda. Bu xatolarni darrov tuzatish kerak.
Uchinchi โ Orphan pages (yetim sahifalar). Bu Googlebot o'qiyotgan, lekin sayt strukturasida hech qaysi yerdan link olmagan sahifalar. Bu ko'pincha eski URL'lar, test sahifalar, yoki strukturani noto'g'ri qurilganidan kelib chiqqan. Bularni topib, sayt strukturasida to'g'ri joylashtirish yoki olib tashlash kerak.
Crawl waste (isrof) topish
Log tahlilining eng katta foydasi โ Googlebot vaqti qaerga isrof bo'layotganini ko'rsatadi. Misol uchun: e-commerce saytda Googlebot 80% vaqtini /products?color=...&sort=... kombinatsiyalariga sarflayotgan bo'lishi mumkin, faqat 20% asosiy mahsulot va kategoriya sahifalariga. Bu aniq isrof โ barchasi parametrlardir va asosan dublikat.
Yechim: robots.txt'da bu parametrlarni Disallow qilish yoki Google Search Console'da \"URL parameters\" sozlamasi orqali ulardan voz kechish. Natijada Googlebot vaqti tezda asosiy sahifalarga yo'naltiriladi va indekslash sezilarli tezlashadi.
Logyaqindagi log tahlili strategiyasi
Log fayllar tezda katta hajmga yetadi โ bir oylik log fayl gigabayt darajasiga chiqishi mumkin. Strategiya: 7 kunlik faol log fayl, oxirgi 30 kunni saqlash, eski log fayllarni siqib arxivlash. Tahlil uchun odatda oxirgi 7-30 kun yetadi.
Audit chastotasi: yangi sayt uchun har oy, barqaror sayt uchun har 3 oy, e-commerce uchun har oy (chunki yangi mahsulotlar doimo qo'shiladi). Har auditdan keyin natijalarni Google Sheets'da saqlang va vaqt o'tib trendlarni kuzating.
Log fayllarda hacker urinishi ham ko'rinadi
SEO tahlilidan tashqari, log fayllar xavfsizlik uchun ham qimmatli. Hacker bot'lari saytingizga ulanishga urinadigan paytda, ularning urinishi log'da qoladi. Wp-login.php, admin.php, phpmyadmin.php sahifalariga ko'p so'rov โ brute force urinish. .git, .env, config.php fayllariga so'rov โ sezgir ma'lumot izlash.
Bu hujumlar ko'pincha User Agent orqali ham aniqlanadi (bot nomlari) yoki bir IP'dan ko'p so'rov tezligi orqali. Fail2ban kabi vositalar log fayllarni real vaqtda tahlil qilib, hujum aniqlasa avtomatik IP'ni bloklaydi.
Sayt.uz log tahlili amaliyot
Sayt.uz har 3 oyda log fayllarni audit qiladi. Screaming Frog Log File Analyser ishlatamiz. Asosiy kuzatuvlar: Googlebot blog kategoriyaga ko'proq vaqt sarflayaptimi (kontent strategiyasi to'g'rimi), 404 xatolar yo'qmi (yangi/o'chirilgan sahifalar to'g'ri boshqarilganmi), va orphan pages yo'qmi.
Oxirgi audit (2026 yanvar): Googlebot vaqti 60% blog'ga, 25% mahsulot sahifalarga, 15% kategoriya va boshqalar. Bu balanced va biznes prioritetlariga mos. Hech qanday muhim 404 xato yo'q. 3 ta orphan page topildi va ular sayt strukturasiga to'g'ri ulandi. Bu audit Sayt.uz crawl strategiyasining sog'lom ekanligini tasdiqlaydi.