robots.txt — qidiruv tizimlariga (Google, Yandex, Bing) qaysi sahifalarni indeks qiliş ruxsat, qaysi yöq deyiş uçun fayl. Sayt root'ida joylaşadi: sayt.uz/robots.txt.
Asosiy sintaksis
User-agent: * (barça botlar)
Disallow: /admin/ (admin'ga kirişni man qiladi)
Allow: /admin/login.css (lekin CSS ruxsat)
Sitemap: https://sayt.uz/sitemap.xml
Eng tarqalgan işlatiş
1) /admin/, /cabinet/, /api/ — yaşiriş. 2) /search?q=... — qidiruv natijalari indekslamasin (dublikat). 3) /tmp/, /test/ — vaqtinçalik fayllar. 4) PDF/ZIP fayllar — agar SEO uçun kerak emas.
Botlar uçun maxsus
User-agent: Googlebot — faqat Google uçun.
User-agent: Yandex — Yandex uçun.
User-agent: GPTBot — ÇatGPT ma'lumot yiğişini tösiş.
User-agent: CCBot — Common Crawl.
Yöl qöyiladigan xatolar
1) Disallow: / — butun sayt yaşirinadi. Test rejimdan production'ga ötganda buni öçiring! 2) wildcard notöğri işlatiş. 3) HTTPS sayt uçun http:// sitemap. 4) Encoding xato — UTF-8 BOM siz.
Test qiliş
Google Search Console → robots.txt Tester. Yandex Webmaster → Анализ robots.txt. Aniq URL kiritib — "Allowed" yoki "Blocked" javob.
noindex meta vs robots.txt
robots.txt — botni sahifani öqiş'dan töxtatadi. Lekin agar boşqa saytdan link bölsa — Google URL'ni baribir körsatişi mumkin. Toliq yaşiriş uçun: meta name="robots" content="noindex" sahifa içida.
Sayt.uz robots.txt
Disallow: /admin/, /cabinet/, /api/, /order/callback/, /tmp/. Sitemap: sayt.uz/sitemap.xml. Allow: barça CSS/JS — Google buni sahifa köriş uçun işlatadi.
Yangi qoidalar
2025'dan: AI bot'larini tösiş. GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, CCBot. Agar saytingiz ma'lumotlari AI'ga ketişini xohlamasangiz.