🤖
SEO va reklama

robots.txt töliq qöllanma

10.11.2025
← Barça maqolalar

robots.txt — qidiruv tizimlariga (Google, Yandex, Bing) qaysi sahifalarni indeks qiliş ruxsat, qaysi yöq deyiş uçun fayl. Sayt root'ida joylaşadi: sayt.uz/robots.txt.

Asosiy sintaksis

User-agent: * (barça botlar)
Disallow: /admin/ (admin'ga kirişni man qiladi)
Allow: /admin/login.css (lekin CSS ruxsat)
Sitemap: https://sayt.uz/sitemap.xml

Eng tarqalgan işlatiş

1) /admin/, /cabinet/, /api/ — yaşiriş. 2) /search?q=... — qidiruv natijalari indekslamasin (dublikat). 3) /tmp/, /test/ — vaqtinçalik fayllar. 4) PDF/ZIP fayllar — agar SEO uçun kerak emas.

Botlar uçun maxsus

User-agent: Googlebot — faqat Google uçun.
User-agent: Yandex — Yandex uçun.
User-agent: GPTBot — ÇatGPT ma'lumot yiğişini tösiş.
User-agent: CCBot — Common Crawl.

Yöl qöyiladigan xatolar

1) Disallow: / — butun sayt yaşirinadi. Test rejimdan production'ga ötganda buni öçiring! 2) wildcard notöğri işlatiş. 3) HTTPS sayt uçun http:// sitemap. 4) Encoding xato — UTF-8 BOM siz.

Test qiliş

Google Search Console → robots.txt Tester. Yandex Webmaster → Анализ robots.txt. Aniq URL kiritib — "Allowed" yoki "Blocked" javob.

noindex meta vs robots.txt

robots.txt — botni sahifani öqiş'dan töxtatadi. Lekin agar boşqa saytdan link bölsa — Google URL'ni baribir körsatişi mumkin. Toliq yaşiriş uçun: meta name="robots" content="noindex" sahifa içida.

Sayt.uz robots.txt

Disallow: /admin/, /cabinet/, /api/, /order/callback/, /tmp/. Sitemap: sayt.uz/sitemap.xml. Allow: barça CSS/JS — Google buni sahifa köriş uçun işlatadi.

Yangi qoidalar

2025'dan: AI bot'larini tösiş. GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, CCBot. Agar saytingiz ma'lumotlari AI'ga ketişini xohlamasangiz.

Öxşaş maqolalar

⤵️ Konversiya voronkasi (funnel): mijoz yölining har bosqiçini optimizatsiya qiliş 📈 CTR oşiriş: Google qidiruv natijasidan köproq click oliş 📊 SEO KPI: qaysi körsatkiçlar haqiqatan muhim va qaysilari yöq ❔ People Also Ask: foydalanuvçi miyasi içidagi savollarni topiş va javob beriş
🌐 Til
🇺🇿 O⁠'zbek 🇺🇿 Özbek (yangi) ✓ 🇺🇿 Ўзбек 🇷🇺 Русский 🇬🇧 English