robots.txt — bu saytingiz ildizidagi oddiy matn fayli bölib, u qidiruv robotlariga sayt içida qaysi joylarga kirişi mumkin yoki kirmasligi haqida körsatma beradi. Bu standart 1994-yilda Martin Koster tomonidan taklif qilingan va şu vaqtdan beri amalda barça qidiruv tizimlari şu konventsiyaga rioya qiladi. Fayl mavjudligi sayt SEO uçun majburiy emas, lekin u kraul byudjetini boşqariş va ortiqça sahifalarni indeksdan çetda saqlaş uçun samarali vosita hisoblanadi.
Fayl joylaşuvi va texnik talablar
robots.txt fayli har doim domen ildizida joylaşişi kerak, ya'ni example.uz/robots.txt manzili orqali oçilişi şart. Agar siz uni boşqa katalogga joylaştirsangiz, qidiruv robotlari uni umuman körmaydi va saytni çeklovsiz aylanib çiqaveradi. Fayl UTF-8 kodlaşda saqlanişi, hajmi esa 500 kilobaytdan oşmasligi tavsiya etiladi, çunki Googlebot bu çegaradan keyingi qismni öqimaydi. Subdomenlar uçun alohida robots.txt fayli kerak böladi, ya'ni shop.example.uz uçun asosiy domendagi qoidalar emas, balki şu subdomenning öz ildizidagi fayl amal qiladi.
Asosiy direktivalar va sintaksis
User-agent direktivasi qaysi robotga qoidalar tegişli ekanini belgilaydi. Yulduzça belgisi barça robotlarga murojaat qilişni anglatadi, aniq nom esa faqat şu botga ta'sir qiladi. Disallow direktivasi belgilangan yölga kirişni taqiqlaydi, Allow esa istisno sifatida işlatiladi va Disallow içida ruxsat etilgan qism'lar uçun möljallangan. Sitemap direktivasi xarita faylining töliq URL'ini körsatadi va u fayl içida istalgan joyda turişi mumkin. Crawl-delay direktivasi esa bir sörov bilan keyingisi orasidagi minimal vaqtni sekundlarda belgilaydi, biroq Google bu direktivani 2019-yildan beri tan olmaydi va uning örniga Search Console içidagi kraul tezligi sozlamasidan foydalanişni taklif qiladi.
Wildcard belgilar va naqş moslaştiriş
Yulduzça belgisi yöl içida istalgan belgilar ketma-ketligini ifodalaydi, dollar belgisi esa URL oxirini bildiradi. Masalan, Disallow: /*.pdf$ qoidasi PDF kengaytmali barça fayllarni bloklaydi, Disallow: /search?* esa qidiruv natijalari sahifalarini çetlab ötişga majburlaydi. Bu naqşlardan oqilona foydalaniş katta sayt uçun yuzlab qoidani qisqa şaklga keltiriş imkonini beradi.
robots.txt va meta robots farqi
Bu ikki vositani aralaştirib yuboriş eng köp uçraydigan xato hisoblanadi. robots.txt fayli sahifaga kirişni taqiqlaydi, ya'ni robot uni umuman yuklamaydi, lekin bu sahifa baribir indeksga tuşişi mumkin agar boşqa sayt unga havola qöygan bölsa. Meta robots tegi yoki X-Robots-Tag HTTP sarlavhasi esa sahifa yuklangandan keyin işlaydi va noindex körsatmasi orqali uni indeksdan çiqarişni kafolatlaydi. Demak, agar sahifa Google natijalarida körinmasligi kerak bölsa, robots.txt orqali bloklaş emas, balki noindex meta tegidan foydalaniş töğri yondaşuv hisoblanadi.
Eng köp uçraydigan xatolar
Tajribasiz egalar ba'zan Disallow: / qatorini qoldirib, butun saytni indeksdan çiqarib qöyişadi va keyin organik trafik nega yöqolganini tuşunolmay qolişadi. Yana bir keng tarqalgan xato CSS va JavaScript fayllariga kiruvçi kataloğlarni yopişdir, bu Google'ga sahifani töliq render qilişga halaqit beradi va mobil moslik bahosini pasaytiradi. Ba'zilar admin panel yoki içki fayllarni robots.txt orqali yaşirişga harakat qiladi, lekin bu aslida hujumçilarga sayt tuzilişini oçiq matn körinişida taqdim etadi.
WordPress uçun standart konfiguratsiya
WordPress saytlari uçun odatda /wp-admin/ katalogini yopiş, lekin admin-ajax.php faylini oçiq qoldiriş tavsiya etiladi, çunki köplab plaginlar şu fayl orqali frontend funksionalligini ta'minlaydi. Şuningdek, /wp-includes/ va /wp-content/plugins/ kataloğlariga kirişni çeklaş mantiqiy, lekin /wp-content/uploads/ oçiq qolişi kerak — bu yerda rasmlar va media saqlanadi, ular Google Images indeksatsiyasi uçun zarur.
E-commerce saytlar uçun yondaşuv
Onlayn-dökonlarda eng katta muammo — filtr va sortlaş parametrlari orqali yuzlab dublikat URL paydo bölişi. Bu sahifalarni Disallow: /*?filter= yoki Disallow: /*?sort= kabi naqşlar orqali yopib qöyiş samarali yeçim hisoblanadi. Savatça, hisob sahifasi, buyurtma jarayoni kabi tranzaksion sahifalar ham robots.txt orqali yopiladi.
Google Search Console orqali tekşiriş
Yangi yoki özgartirilgan robots.txt faylini Search Console içidagi maxsus tester yordamida sinab köriş şart. 2026-yil holatiga köra Google bir neçta yangi user-agent'larni joriy qildi, jumladan Google-Extended sun'iy intellekt öqitiş uçun. Agar saytingiz kontentini AI modellariga öqitiş uçun bermoqçi bölmasangiz, robots.txt içiga User-agent: Google-Extended bilan Disallow: / qatorini qöşiş kerak.