Crawl budget โ bu Googlebot sizning saytingizdagi sahifalarni o'qish (crawl) uchun ajratilgan resurs miqdorini bildiradi. Har sayt uchun Google muayyan vaqt va so'rovlar mahdudini belgilaydi: sayt obro'siga, server tezligiga, kontent sifatiga qarab. Kichik saytlar uchun crawl budget muammo emas โ Google barchasini darrov o'qiydi. Lekin 10,000+ sahifali katta saytlar uchun bu juda muhim strategik masalaga aylanadi.
Crawl budget nima va u qanday belgilanadi
Google har sayt uchun crawl budget'ni avtomatik hisoblaydi. Asosiy omillar shulardir: sayt obro'si va sifati (yuqori avtoritet โ ko'proq budget), server tezligi va ishonchliligi (server tez javob bersa va kam xato chiqarsa โ Google ko'proq so'rov yuboradi), o'tgan crawl natijalari (agar oldingi sahifalar yuqori sifat bo'lsa โ Google ishonadi va ko'proq budget beradi), va Google'ning umumiy resurslari (xizmat hajmi va boshqalar).
Crawl budget ikki qatlamga bo'linadi: crawl rate limit (server'ga zarar bermaslik uchun maxsimal so'rov tezligi) va crawl demand (Google sahifani qanchalik tez yangilashni xohlaydi). Ikkalasi birga sayt uchun jami crawl budget'ni belgilaydi. Sayt egasi sifatida siz har ikkalasini ham ta'sir qilishingiz mumkin โ texnik SEO va kontent sifati orqali.
Qachon crawl budget muammo bo'ladi
Kichik saytlar (1,000 sahifagacha) uchun crawl budget odatda muammo emas. Google barcha sahifani 1-2 hafta ichida o'qiy oladi va indekslaydi. Lekin quyidagi vaziyatlarda crawl budget muammo bo'lib qoladi: e-commerce saytlar (10,000+ mahsulot sahifalari, filtrlangan ko'rinishlar), katta blog/news saytlar (yangi sahifa har kuni qo'shiladi), forum yoki UGC saytlar (millionlab foydalanuvchi sahifalari), va katta enterprise saytlar (mahsulot katalog, bo'limlar, multi-language versiyalar).
Bu saytlarda Googlebot barcha sahifani o'qiyolmaydi va eng yangi yoki muhim sahifalar indekslanishi sekinlashadi. Yangi mahsulot Google'ga 1-2 oydan keyin paydo bo'lishi mumkin, blog post 1-2 hafta yo'qolishi. Bu sotuvga va trafikga to'g'ridan-to'g'ri ta'sir qiladi.
Crawl budget'ni isrofga qaratuvchi muammolar
Birinchi va eng katta muammo โ past sifatli yoki kerak yo'q sahifalar. Eski blog postlar (yangilanmaydigan, trafik kelmaydigan), test sahifalar, eski mahsulot sahifalari, archive sahifalar โ bularning hammasi Googlebot vaqtini yeydi va asosiy kontentni indekslashga to'sqinlik qiladi.
Ikkinchi muammo โ dublikat kontent va URL parametrlari. E-commerce'da: site.com/products?color=red&sort=price โ har kombinatsiya alohida URL deb hisoblanadi va Googlebot ularning hammasini o'qiydi. Lekin bularning kontenti deyarli bir xil. Bu crawl budget'ning eng katta isrofgarlaridan biri.
Uchinchi muammo โ sayt strukturasi. Agar muhim sahifalar bosh sahifadan juda chuqurda (5+ click) bo'lsa, Googlebot ularga kech yetib boradi. Faceted navigation (filterlar bilan ochilgan ko'plab kombinatsiya) โ yana bir keng tarqalgan muammo.
Crawl budget'ni optimallashtirishning birinchi qadami
Sayt auditi bilan boshlang. Google Search Console'da \"Pages\" hisobotini oching va \"Excluded\" deb belgilangan sahifalarni ko'ring. \"Discovered - currently not indexed\" yoki \"Crawled - currently not indexed\" โ bu sahifalar Googlebot vaqtini yeyayotgan, lekin natija bermaydigan sahifalar. Ularni audit qilib, sifatini oshirish yoki olib tashlash kerak.
Server log'larini tahlir qilish ham juda foydali. Screaming Frog Log Analyzer, Botify, JetOctopus kabi vositalar Googlebot serveringizga qachon va qaysi sahifalarga kirayotganini ko'rsatadi. Siz aniq ko'rasiz: Googlebot qaysi sahifalarni tez-tez o'qiyapti, qaysi sahifalarni umuman o'qimaydi, vaqti qaerga ko'p ketadi. Bu ma'lumotdan optimizatsiya strategiyangizni quring.
Robots.txt va noindex bilan boshqarish
Robots.txt fayli orqali Googlebot'ga qaysi sahifalarni umuman o'qimaslikni aytishingiz mumkin. Foydalanuvchi profili, savat sahifasi, qidiruv natijalari, login sahifa โ bularni robots.txt'da \"Disallow\" qiling. Google ularga vaqt sarflamaydi va siz asosiy kontentingiz uchun crawl budget tejaysiz.
Noindex meta teg esa boshqacha: Googlebot sahifani o'qiydi, lekin indeksiga qo'shmaydi. Buni eski yoki kerak yo'q lekin Google'ga ko'rsatish kerak bo'lgan sahifalar uchun ishlating. Lekin diqqat โ noindex bilan crawl budget tejalmaydi, faqat indeks tozaroq bo'ladi. Robots.txt โ haqiqiy crawl budget tejovchi.
XML sitemap strategiyasi
XML sitemap โ bu sizning saytingizdagi muhim sahifalar ro'yxati va u Google'ga \"birinchi navbatda shu sahifalarni o'qing\" deb signal beradi. Katta saytlar uchun sitemap strategiyasi nozik: faqat indekslanishi kerak bo'lgan, sifatli, eskirgan bo'lmagan sahifalarni sitemap'ga qo'ying. Eski yoki past sifatli sahifalarni sitemap'dan olib tashlang.
Sitemap'ni segmentlarga bo'lish ham foydali: products-sitemap.xml, blog-sitemap.xml, categories-sitemap.xml. Bu Google'ga aniqroq strukturะฐ ko'rsatadi va sizga ham har segment uchun crawl statistikasini alohida tahlil qilish imkonini beradi.
Ichki linklar va sayt strukturasi
Ichki linklar Googlebot uchun \"yo'l ko'rsatkichlari\"dir. Agar muhim sahifa bosh sahifadan bir-ikki click'da bo'lsa va ko'p boshqa sahifalar undan link bersa, Google buni \"muhim\" deb baholaydi va tez-tez tashrif buyuradi. Aksincha, sahifa hech qaysi yerdan link olmasa (orphan page), Googlebot uni ko'rmaydi.
Strategiya: pillar/cluster modeli ishlating, breadcrumb navigation qo'shing, related posts/products bloki yarating, va kategoriya sahifalardan tegishli kontent'larga aniq linklar bering. Bu nafaqat foydalanuvchi tajribasini oshiradi, balki crawl budget'ni samarali ishlatishga yordam beradi.
Sayt.uz crawl budget tajribasi
Sayt.uz hozircha ~200 ta sahifa, shuning uchun crawl budget muammo emas. Lekin biz uzoq muddatga rejalashtirayapmiz: 500 ta blog post + 1000+ taklif sahifalari maqsadi bor. Bu vaqtga crawl budget strategiyasi muhim bo'ladi.
Hozirgi yondashuv: robots.txt'da /admin, /cabinet, /api, /tmp papkalar yopilgan. XML sitemap dinamik, faqat aktiv va sifatli sahifalar. Ichki linklar pillar/cluster strukturasida. Bu hozirdan beriyadigan poydevor โ saytimiz 1000+ sahifaga yetganda crawl budget muammosi paydo bo'lmaydi.