robots.txt — qidiruv tizimlariga (Google, Yandex, Bing) qaysi sahifalarni indeks qilish ruxsat, qaysi yo'q deyish uchun fayl. Sayt root'ida joylashadi: sayt.uz/robots.txt.
Asosiy sintaksis
User-agent: * (barcha botlar)
Disallow: /admin/ (admin'ga kirishni man qiladi)
Allow: /admin/login.css (lekin CSS ruxsat)
Sitemap: https://sayt.uz/sitemap.xml
Eng tarqalgan ishlatish
1) /admin/, /cabinet/, /api/ — yashirish. 2) /search?q=... — qidiruv natijalari indekslamasin (dublikat). 3) /tmp/, /test/ — vaqtinchalik fayllar. 4) PDF/ZIP fayllar — agar SEO uchun kerak emas.
Botlar uchun maxsus
User-agent: Googlebot — faqat Google uchun.
User-agent: Yandex — Yandex uchun.
User-agent: GPTBot — ChatGPT ma'lumot yig'ishini to'sish.
User-agent: CCBot — Common Crawl.
Yo'l qo'yiladigan xatolar
1) Disallow: / — butun sayt yashirinadi. Test rejimdan production'ga o'tganda buni o'chiring! 2) wildcard noto'g'ri ishlatish. 3) HTTPS sayt uchun http:// sitemap. 4) Encoding xato — UTF-8 BOM siz.
Test qilish
Google Search Console → robots.txt Tester. Yandex Webmaster → Анализ robots.txt. Aniq URL kiritib — "Allowed" yoki "Blocked" javob.
noindex meta vs robots.txt
robots.txt — botni sahifani o'qish'dan to'xtatadi. Lekin agar boshqa saytdan link bo'lsa — Google URL'ni baribir ko'rsatishi mumkin. Toliq yashirish uchun: meta name="robots" content="noindex" sahifa ichida.
Sayt.uz robots.txt
Disallow: /admin/, /cabinet/, /api/, /order/callback/, /tmp/. Sitemap: sayt.uz/sitemap.xml. Allow: barcha CSS/JS — Google buni sahifa ko'rish uchun ishlatadi.
Yangi qoidalar
2025'dan: AI bot'larini to'sish. GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, CCBot. Agar saytingiz ma'lumotlari AI'ga ketishini xohlamasangiz.