Crawl budget — bu Googlebot sizning saytingizdagi sahifalarni öqiş (crawl) uçun ajratilgan resurs miqdorini bildiradi. Har sayt uçun Google muayyan vaqt va sörovlar mahdudini belgilaydi: sayt obrösiga, server tezligiga, kontent sifatiga qarab. Kiçik saytlar uçun crawl budget muammo emas — Google barçasini darrov öqiydi. Lekin 10,000+ sahifali katta saytlar uçun bu juda muhim strategik masalaga aylanadi.
Crawl budget nima va u qanday belgilanadi
Google har sayt uçun crawl budget'ni avtomatik hisoblaydi. Asosiy omillar şulardir: sayt obrösi va sifati (yuqori avtoritet — köproq budget), server tezligi va işonçliligi (server tez javob bersa va kam xato çiqarsa — Google köproq sörov yuboradi), ötgan crawl natijalari (agar oldingi sahifalar yuqori sifat bölsa — Google işonadi va köproq budget beradi), va Google'ning umumiy resurslari (xizmat hajmi va boşqalar).
Crawl budget ikki qatlamga bölinadi: crawl rate limit (server'ga zarar bermaslik uçun maxsimal sörov tezligi) va crawl demand (Google sahifani qançalik tez yangilaşni xohlaydi). Ikkalasi birga sayt uçun jami crawl budget'ni belgilaydi. Sayt egasi sifatida siz har ikkalasini ham ta'sir qilişingiz mumkin — texnik SEO va kontent sifati orqali.
Qaçon crawl budget muammo böladi
Kiçik saytlar (1,000 sahifagaça) uçun crawl budget odatda muammo emas. Google barça sahifani 1-2 hafta içida öqiy oladi va indekslaydi. Lekin quyidagi vaziyatlarda crawl budget muammo bölib qoladi: e-commerce saytlar (10,000+ mahsulot sahifalari, filtrlangan körinişlar), katta blog/news saytlar (yangi sahifa har kuni qöşiladi), forum yoki UGC saytlar (millionlab foydalanuvçi sahifalari), va katta enterprise saytlar (mahsulot katalog, bölimlar, multi-language versiyalar).
Bu saytlarda Googlebot barça sahifani öqiyolmaydi va eng yangi yoki muhim sahifalar indekslanişi sekinlaşadi. Yangi mahsulot Google'ga 1-2 oydan keyin paydo bölişi mumkin, blog post 1-2 hafta yöqolişi. Bu sotuvga va trafikga töğridan-töğri ta'sir qiladi.
Crawl budget'ni isrofga qaratuvçi muammolar
Birinçi va eng katta muammo — past sifatli yoki kerak yöq sahifalar. Eski blog postlar (yangilanmaydigan, trafik kelmaydigan), test sahifalar, eski mahsulot sahifalari, archive sahifalar — bularning hammasi Googlebot vaqtini yeydi va asosiy kontentni indekslaşga tösqinlik qiladi.
Ikkinçi muammo — dublikat kontent va URL parametrlari. E-commerce'da: site.com/products?color=red&sort=price — har kombinatsiya alohida URL deb hisoblanadi va Googlebot ularning hammasini öqiydi. Lekin bularning kontenti deyarli bir xil. Bu crawl budget'ning eng katta isrofgarlaridan biri.
Uçinçi muammo — sayt strukturasi. Agar muhim sahifalar boş sahifadan juda çuqurda (5+ click) bölsa, Googlebot ularga keç yetib boradi. Faceted navigation (filterlar bilan oçilgan köplab kombinatsiya) — yana bir keng tarqalgan muammo.
Crawl budget'ni optimallaştirişning birinçi qadami
Sayt auditi bilan boşlang. Google Search Console'da \"Pages\" hisobotini oçing va \"Excluded\" deb belgilangan sahifalarni köring. \"Discovered - currently not indexed\" yoki \"Crawled - currently not indexed\" — bu sahifalar Googlebot vaqtini yeyayotgan, lekin natija bermaydigan sahifalar. Ularni audit qilib, sifatini oşiriş yoki olib taşlaş kerak.
Server loğlarini tahlir qiliş ham juda foydali. Screaming Frog Log Analyzer, Botify, JetOctopus kabi vositalar Googlebot serveringizga qaçon va qaysi sahifalarga kirayotganini körsatadi. Siz aniq körasiz: Googlebot qaysi sahifalarni tez-tez öqiyapti, qaysi sahifalarni umuman öqimaydi, vaqti qaerga köp ketadi. Bu ma'lumotdan optimizatsiya strategiyangizni quring.
Robots.txt va noindex bilan boşqariş
Robots.txt fayli orqali Googlebot'ga qaysi sahifalarni umuman öqimaslikni aytişingiz mumkin. Foydalanuvçi profili, savat sahifasi, qidiruv natijalari, login sahifa — bularni robots.txt'da \"Disallow\" qiling. Google ularga vaqt sarflamaydi va siz asosiy kontentingiz uçun crawl budget tejaysiz.
Noindex meta teg esa boşqaça: Googlebot sahifani öqiydi, lekin indeksiga qöşmaydi. Buni eski yoki kerak yöq lekin Google'ga körsatiş kerak bölgan sahifalar uçun işlating. Lekin diqqat — noindex bilan crawl budget tejalmaydi, faqat indeks tozaroq böladi. Robots.txt — haqiqiy crawl budget tejovçi.
XML sitemap strategiyasi
XML sitemap — bu sizning saytingizdagi muhim sahifalar röyxati va u Google'ga \"birinçi navbatda şu sahifalarni o'qing\" deb signal beradi. Katta saytlar uçun sitemap strategiyasi nozik: faqat indekslanişi kerak bölgan, sifatli, eskirgan bölmagan sahifalarni sitemap'ga qöying. Eski yoki past sifatli sahifalarni sitemap'dan olib taşlang.
Sitemap'ni segmentlarga böliş ham foydali: products-sitemap.xml, blog-sitemap.xml, categories-sitemap.xml. Bu Google'ga aniqroq strukturа körsatadi va sizga ham har segment uçun crawl statistikasini alohida tahlil qiliş imkonini beradi.
Içki linklar va sayt strukturasi
Içki linklar Googlebot uçun \"yöl ko'rsatkichlari\"dir. Agar muhim sahifa boş sahifadan bir-ikki click'da bölsa va köp boşqa sahifalar undan link bersa, Google buni \"muhim\" deb baholaydi va tez-tez taşrif buyuradi. Aksinça, sahifa heç qaysi yerdan link olmasa (orphan page), Googlebot uni körmaydi.
Strategiya: pillar/cluster modeli işlating, breadcrumb navigation qöşing, related posts/products bloki yarating, va kategoriya sahifalardan tegişli kontent'larga aniq linklar bering. Bu nafaqat foydalanuvçi tajribasini oşiradi, balki crawl budget'ni samarali işlatişga yordam beradi.
Sayt.uz crawl budget tajribasi
Sayt.uz hozirça ~200 ta sahifa, şuning uçun crawl budget muammo emas. Lekin biz uzoq muddatga rejalaştirayapmiz: 500 ta blog post + 1000+ taklif sahifalari maqsadi bor. Bu vaqtga crawl budget strategiyasi muhim böladi.
Hozirgi yondaşuv: robots.txt'da /admin, /cabinet, /api, /tmp papkalar yopilgan. XML sitemap dinamik, faqat aktiv va sifatli sahifalar. Içki linklar pillar/cluster strukturasida. Bu hozirdan beriyadigan poydevor — saytimiz 1000+ sahifaga yetganda crawl budget muammosi paydo bölmaydi.