🤖
SEO va reklama

robots.txt töliq qöllanma: sayt egasi uçun batafsil sintaksis va misollar

11.04.2025
← Barça maqolalar

robots.txt — bu saytingiz ildizidagi oddiy matn fayli bölib, u qidiruv robotlariga sayt içida qaysi joylarga kirişi mumkin yoki kirmasligi haqida körsatma beradi. Bu standart 1994-yilda Martin Koster tomonidan taklif qilingan va şu vaqtdan beri amalda barça qidiruv tizimlari şu konventsiyaga rioya qiladi. Fayl mavjudligi sayt SEO uçun majburiy emas, lekin u kraul byudjetini boşqariş va ortiqça sahifalarni indeksdan çetda saqlaş uçun samarali vosita hisoblanadi.

Fayl joylaşuvi va texnik talablar

robots.txt fayli har doim domen ildizida joylaşişi kerak, ya'ni example.uz/robots.txt manzili orqali oçilişi şart. Agar siz uni boşqa katalogga joylaştirsangiz, qidiruv robotlari uni umuman körmaydi va saytni çeklovsiz aylanib çiqaveradi. Fayl UTF-8 kodlaşda saqlanişi, hajmi esa 500 kilobaytdan oşmasligi tavsiya etiladi, çunki Googlebot bu çegaradan keyingi qismni öqimaydi. Subdomenlar uçun alohida robots.txt fayli kerak böladi, ya'ni shop.example.uz uçun asosiy domendagi qoidalar emas, balki şu subdomenning öz ildizidagi fayl amal qiladi.

Asosiy direktivalar va sintaksis

User-agent direktivasi qaysi robotga qoidalar tegişli ekanini belgilaydi. Yulduzça belgisi barça robotlarga murojaat qilişni anglatadi, aniq nom esa faqat şu botga ta'sir qiladi. Disallow direktivasi belgilangan yölga kirişni taqiqlaydi, Allow esa istisno sifatida işlatiladi va Disallow içida ruxsat etilgan qism'lar uçun möljallangan. Sitemap direktivasi xarita faylining töliq URL'ini körsatadi va u fayl içida istalgan joyda turişi mumkin. Crawl-delay direktivasi esa bir sörov bilan keyingisi orasidagi minimal vaqtni sekundlarda belgilaydi, biroq Google bu direktivani 2019-yildan beri tan olmaydi va uning örniga Search Console içidagi kraul tezligi sozlamasidan foydalanişni taklif qiladi.

Wildcard belgilar va naqş moslaştiriş

Yulduzça belgisi yöl içida istalgan belgilar ketma-ketligini ifodalaydi, dollar belgisi esa URL oxirini bildiradi. Masalan, Disallow: /*.pdf$ qoidasi PDF kengaytmali barça fayllarni bloklaydi, Disallow: /search?* esa qidiruv natijalari sahifalarini çetlab ötişga majburlaydi. Bu naqşlardan oqilona foydalaniş katta sayt uçun yuzlab qoidani qisqa şaklga keltiriş imkonini beradi.

robots.txt va meta robots farqi

Bu ikki vositani aralaştirib yuboriş eng köp uçraydigan xato hisoblanadi. robots.txt fayli sahifaga kirişni taqiqlaydi, ya'ni robot uni umuman yuklamaydi, lekin bu sahifa baribir indeksga tuşişi mumkin agar boşqa sayt unga havola qöygan bölsa. Meta robots tegi yoki X-Robots-Tag HTTP sarlavhasi esa sahifa yuklangandan keyin işlaydi va noindex körsatmasi orqali uni indeksdan çiqarişni kafolatlaydi. Demak, agar sahifa Google natijalarida körinmasligi kerak bölsa, robots.txt orqali bloklaş emas, balki noindex meta tegidan foydalaniş töğri yondaşuv hisoblanadi.

Eng köp uçraydigan xatolar

Tajribasiz egalar ba'zan Disallow: / qatorini qoldirib, butun saytni indeksdan çiqarib qöyişadi va keyin organik trafik nega yöqolganini tuşunolmay qolişadi. Yana bir keng tarqalgan xato CSS va JavaScript fayllariga kiruvçi kataloğlarni yopişdir, bu Google'ga sahifani töliq render qilişga halaqit beradi va mobil moslik bahosini pasaytiradi. Ba'zilar admin panel yoki içki fayllarni robots.txt orqali yaşirişga harakat qiladi, lekin bu aslida hujumçilarga sayt tuzilişini oçiq matn körinişida taqdim etadi.

WordPress uçun standart konfiguratsiya

WordPress saytlari uçun odatda /wp-admin/ katalogini yopiş, lekin admin-ajax.php faylini oçiq qoldiriş tavsiya etiladi, çunki köplab plaginlar şu fayl orqali frontend funksionalligini ta'minlaydi. Şuningdek, /wp-includes/ va /wp-content/plugins/ kataloğlariga kirişni çeklaş mantiqiy, lekin /wp-content/uploads/ oçiq qolişi kerak — bu yerda rasmlar va media saqlanadi, ular Google Images indeksatsiyasi uçun zarur.

E-commerce saytlar uçun yondaşuv

Onlayn-dökonlarda eng katta muammo — filtr va sortlaş parametrlari orqali yuzlab dublikat URL paydo bölişi. Bu sahifalarni Disallow: /*?filter= yoki Disallow: /*?sort= kabi naqşlar orqali yopib qöyiş samarali yeçim hisoblanadi. Savatça, hisob sahifasi, buyurtma jarayoni kabi tranzaksion sahifalar ham robots.txt orqali yopiladi.

Google Search Console orqali tekşiriş

Yangi yoki özgartirilgan robots.txt faylini Search Console içidagi maxsus tester yordamida sinab köriş şart. 2026-yil holatiga köra Google bir neçta yangi user-agent'larni joriy qildi, jumladan Google-Extended sun'iy intellekt öqitiş uçun. Agar saytingiz kontentini AI modellariga öqitiş uçun bermoqçi bölmasangiz, robots.txt içiga User-agent: Google-Extended bilan Disallow: / qatorini qöşiş kerak.

Öxşaş maqolalar

⤵️ Konversiya voronkasi (funnel): mijoz yölining har bosqiçini optimizatsiya qiliş 📈 CTR oşiriş: Google qidiruv natijasidan köproq click oliş 📊 SEO KPI: qaysi körsatkiçlar haqiqatan muhim va qaysilari yöq ❔ People Also Ask: foydalanuvçi miyasi içidagi savollarni topiş va javob beriş
🌐 Til
🇺🇿 O⁠'zbek 🇺🇿 Özbek (yangi) ✓ 🇺🇿 Ўзбек 🇷🇺 Русский 🇬🇧 English