robots.txt โ qidiruv tizimlariga (Google, Yandex, Bing) qaysi sahifalarni indeks qilish ruxsat, qaysi yo'q deyish uchun fayl. Sayt root'ida joylashadi: sayt.uz/robots.txt.
Asosiy sintaksis
User-agent: * (barcha botlar)
Disallow: /admin/ (admin'ga kirishni man qiladi)
Allow: /admin/login.css (lekin CSS ruxsat)
Sitemap: https://sayt.uz/sitemap.xml
Eng tarqalgan ishlatish
1) /admin/, /cabinet/, /api/ โ yashirish. 2) /search?q=... โ qidiruv natijalari indekslamasin (dublikat). 3) /tmp/, /test/ โ vaqtinchalik fayllar. 4) PDF/ZIP fayllar โ agar SEO uchun kerak emas.
Botlar uchun maxsus
User-agent: Googlebot โ faqat Google uchun.
User-agent: Yandex โ Yandex uchun.
User-agent: GPTBot โ ChatGPT ma'lumot yig'ishini to'sish.
User-agent: CCBot โ Common Crawl.
Yo'l qo'yiladigan xatolar
1) Disallow: / โ butun sayt yashirinadi. Test rejimdan production'ga o'tganda buni o'chiring! 2) wildcard noto'g'ri ishlatish. 3) HTTPS sayt uchun http:// sitemap. 4) Encoding xato โ UTF-8 BOM siz.
Test qilish
Google Search Console โ robots.txt Tester. Yandex Webmaster โ ะะฝะฐะปะธะท robots.txt. Aniq URL kiritib โ "Allowed" yoki "Blocked" javob.
noindex meta vs robots.txt
robots.txt โ botni sahifani o'qish'dan to'xtatadi. Lekin agar boshqa saytdan link bo'lsa โ Google URL'ni baribir ko'rsatishi mumkin. Toliq yashirish uchun: meta name="robots" content="noindex" sahifa ichida.
Sayt.uz robots.txt
Disallow: /admin/, /cabinet/, /api/, /order/callback/, /tmp/. Sitemap: sayt.uz/sitemap.xml. Allow: barcha CSS/JS โ Google buni sahifa ko'rish uchun ishlatadi.
Yangi qoidalar
2025'dan: AI bot'larini to'sish. GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, CCBot. Agar saytingiz ma'lumotlari AI'ga ketishini xohlamasangiz.