Crawl budget — Googlebot сайтингиздаги саҳифаларни ўқиш (crawl) учун ажратилган ресурс миқдорини билдиради. Кичик сайтлар учун муаммо эмас, лекин 10,000+ саҳифали катта сайтлар учун жуда муҳим стратегик масалага айланади.
Crawl budget нима
Google ҳар сайт учун автоматик ҳисоблайди. Омиллар: обрў, сервер тезлиги, контент сифати, ўтган crawl натижалари.
Қачон crawl budget муаммо бўлади
E-commerce, катта блог/news, форум/UGC, enterprise сайтлар учун. Янги маҳсулот 1-2 ойдан кейин Google'да пайдо бўлиши мумкин.
Crawl budget'ни исрофга қаратувчилар
Паст сифатли саҳифалар, URL параметрлар (дубликат контент), чуқур сайт структураси, faceted navigation.
Оптимизация биринчи қадами
GSC \"Pages\" ҳисоботидаги \"Excluded\" саҳифаларни кўринг. Сервер логларини таҳлил қилинг.
Robots.txt ва noindex
Robots.txt'да /admin, /cabinet, /search, корзинага Disallow. Noindex meta — Googlebot ўқийди, лекин индексга қўшмайди.
XML sitemap стратегияси
Фақат индексланиши керак бўлган, сифатли саҳифаларни sitemap'га қўйинг. Сегментлаш: products-sitemap.xml, blog-sitemap.xml.
Ички линклар ва структура
Pillar/cluster моделини ишлатинг, breadcrumb навигация, related posts.
Сайт.uz тажрибаси
Сайт.uz ҳозирча ~200 та саҳифа. Лекин 500+ блог пост + 1000+ таклиф саҳифалари мақсади бор. Hozirgi yondashuv: robots.txt, dinamik sitemap, pillar/cluster.