robots.txt — bu saytingiz ildizidagi oddiy matn fayli bo'lib, u qidiruv robotlariga sayt ichida qaysi joylarga kirishi mumkin yoki kirmasligi haqida ko'rsatma beradi. Bu standart 1994-yilda Martin Koster tomonidan taklif qilingan va shu vaqtdan beri amalda barcha qidiruv tizimlari shu konventsiyaga rioya qiladi. Fayl mavjudligi sayt SEO uchun majburiy emas, lekin u kraul byudjetini boshqarish va ortiqcha sahifalarni indeksdan chetda saqlash uchun samarali vosita hisoblanadi.
Fayl joylashuvi va texnik talablar
robots.txt fayli har doim domen ildizida joylashishi kerak, ya'ni example.uz/robots.txt manzili orqali ochilishi shart. Agar siz uni boshqa katalogga joylashtirsangiz, qidiruv robotlari uni umuman ko'rmaydi va saytni cheklovsiz aylanib chiqaveradi. Fayl UTF-8 kodlashda saqlanishi, hajmi esa 500 kilobaytdan oshmasligi tavsiya etiladi, chunki Googlebot bu chegaradan keyingi qismni o'qimaydi. Subdomenlar uchun alohida robots.txt fayli kerak bo'ladi, ya'ni shop.example.uz uchun asosiy domendagi qoidalar emas, balki shu subdomenning o'z ildizidagi fayl amal qiladi.
Asosiy direktivalar va sintaksis
User-agent direktivasi qaysi robotga qoidalar tegishli ekanini belgilaydi. Yulduzcha belgisi barcha robotlarga murojaat qilishni anglatadi, aniq nom esa faqat shu botga ta'sir qiladi. Disallow direktivasi belgilangan yo'lga kirishni taqiqlaydi, Allow esa istisno sifatida ishlatiladi va Disallow ichida ruxsat etilgan qism'lar uchun mo'ljallangan. Sitemap direktivasi xarita faylining to'liq URL'ini ko'rsatadi va u fayl ichida istalgan joyda turishi mumkin. Crawl-delay direktivasi esa bir so'rov bilan keyingisi orasidagi minimal vaqtni sekundlarda belgilaydi, biroq Google bu direktivani 2019-yildan beri tan olmaydi va uning o'rniga Search Console ichidagi kraul tezligi sozlamasidan foydalanishni taklif qiladi.
Wildcard belgilar va naqsh moslashtirish
Yulduzcha belgisi yo'l ichida istalgan belgilar ketma-ketligini ifodalaydi, dollar belgisi esa URL oxirini bildiradi. Masalan, Disallow: /*.pdf$ qoidasi PDF kengaytmali barcha fayllarni bloklaydi, Disallow: /search?* esa qidiruv natijalari sahifalarini chetlab o'tishga majburlaydi. Bu naqshlardan oqilona foydalanish katta sayt uchun yuzlab qoidani qisqa shaklga keltirish imkonini beradi.
robots.txt va meta robots farqi
Bu ikki vositani aralashtirib yuborish eng ko'p uchraydigan xato hisoblanadi. robots.txt fayli sahifaga kirishni taqiqlaydi, ya'ni robot uni umuman yuklamaydi, lekin bu sahifa baribir indeksga tushishi mumkin agar boshqa sayt unga havola qo'ygan bo'lsa. Meta robots tegi yoki X-Robots-Tag HTTP sarlavhasi esa sahifa yuklangandan keyin ishlaydi va noindex ko'rsatmasi orqali uni indeksdan chiqarishni kafolatlaydi. Demak, agar sahifa Google natijalarida ko'rinmasligi kerak bo'lsa, robots.txt orqali bloklash emas, balki noindex meta tegidan foydalanish to'g'ri yondashuv hisoblanadi.
Eng ko'p uchraydigan xatolar
Tajribasiz egalar ba'zan Disallow: / qatorini qoldirib, butun saytni indeksdan chiqarib qo'yishadi va keyin organik trafik nega yo'qolganini tushunolmay qolishadi. Yana bir keng tarqalgan xato CSS va JavaScript fayllariga kiruvchi katalog'larni yopishdir, bu Google'ga sahifani to'liq render qilishga halaqit beradi va mobil moslik bahosini pasaytiradi. Ba'zilar admin panel yoki ichki fayllarni robots.txt orqali yashirishga harakat qiladi, lekin bu aslida hujumchilarga sayt tuzilishini ochiq matn ko'rinishida taqdim etadi.
WordPress uchun standart konfiguratsiya
WordPress saytlari uchun odatda /wp-admin/ katalogini yopish, lekin admin-ajax.php faylini ochiq qoldirish tavsiya etiladi, chunki ko'plab plaginlar shu fayl orqali frontend funksionalligini ta'minlaydi. Shuningdek, /wp-includes/ va /wp-content/plugins/ katalog'lariga kirishni cheklash mantiqiy, lekin /wp-content/uploads/ ochiq qolishi kerak — bu yerda rasmlar va media saqlanadi, ular Google Images indeksatsiyasi uchun zarur.
E-commerce saytlar uchun yondashuv
Onlayn-do'konlarda eng katta muammo — filtr va sortlash parametrlari orqali yuzlab dublikat URL paydo bo'lishi. Bu sahifalarni Disallow: /*?filter= yoki Disallow: /*?sort= kabi naqshlar orqali yopib qo'yish samarali yechim hisoblanadi. Savatcha, hisob sahifasi, buyurtma jarayoni kabi tranzaksion sahifalar ham robots.txt orqali yopiladi.
Google Search Console orqali tekshirish
Yangi yoki o'zgartirilgan robots.txt faylini Search Console ichidagi maxsus tester yordamida sinab ko'rish shart. 2026-yil holatiga ko'ra Google bir nechta yangi user-agent'larni joriy qildi, jumladan Google-Extended sun'iy intellekt o'qitish uchun. Agar saytingiz kontentini AI modellariga o'qitish uchun bermoqchi bo'lmasangiz, robots.txt ichiga User-agent: Google-Extended bilan Disallow: / qatorini qo'shish kerak.