robots.txt — бу сайтингиз илдизидаги оддий матн файли бўлиб, у қидирув роботларига сайт ичида қайси жойларга кириши мумкин ёки кирмаслиги ҳақида кўрсатма беради. Бу стандарт 1994-йилда Мартин Костер томонидан таклиф қилинган ва шу вақтдан бери амалда барча қидирув тизимлари шу конвенцияга риоя қилади. Файл мавжудлиги сайт SEO учун мажбурий эмас, лекин у краул бюджетини бошқариш ва ортиқча саҳифаларни индексдан четда сақлаш учун самарали восита ҳисобланади.
Файл жойлашуви ва техник талаблар
robots.txt файли ҳар доим домен илдизида жойлашиши керак. Файл UTF-8 кодлашда сақланиши, ҳажми эса 500 килобайтдан ошмаслиги тавсия этилади, чунки Googlebot бу чегарадан кейинги қисмни ўқимайди. Субдоменлар учун алоҳида robots.txt файли керак бўлади.
Асосий директивалар
User-agent директиваси қайси роботга қоидалар тегишли эканини белгилайди. Disallow белгиланган йўлга киришни тақиқлайди, Allow эса истисно сифатида ишлатилади. Sitemap директиваси харита файлининг тўлиқ URL манзилини кўрсатади. Crawl-delay директиваси сўровлар орасидаги вақтни секундларда белгилайди, лекин Google уни 2019-йилдан бери тан олмайди.
robots.txt ва meta robots фарқи
Бу икки воситани аралаштириб юбориш энг кўп учрайдиган хато ҳисобланади. robots.txt саҳифага киришни тақиқлайди, лекин бу саҳифа барибир индексга тушиши мумкин агар бошқа сайт унга ҳавола қўйган бўлса. Meta robots теги ёки X-Robots-Tag HTTP сарлавҳаси саҳифа юкланганидан кейин ишлайди ва noindex кўрсатмаси орқали уни индексдан чиқаришни кафолатлайди.
Энг кўп учрайдиган хатолар
Тажрибасиз эгалар баъзан Disallow: / қаторини қолдириб, бутун сайтни индексдан чиқариб қўйишади. Яна бир кенг тарқалган хато CSS ва JavaScript файлларига кирувчи каталогларни ёпишдир. Баъзилар админ панель ёки ички файлларни robots.txt орқали яширишга ҳаракат қилади, лекин бу аслида ҳужумчиларга сайт тузилишини очиқ матн кўринишида тақдим этади.
WordPress ва онлайн-дўкон учун намуналар
WordPress сайтлари учун одатда /wp-admin/ каталогини ёпиш, лекин admin-ajax.php файлини очиқ қолдириш тавсия этилади. /wp-content/uploads/ очиқ қолиши керак. Онлайн-дўконларда филтр ва сортлаш параметрлари орқали юзлаб дубликат URL манзиллари пайдо бўлади. Бу саҳифаларни Disallow: /*?filter= каби нақшлар орқали ёпиш самарали ечим ҳисобланади.
Google Search Console орқали текшириш
Янги robots.txt файлини Search Console ичидаги махсус тестер ёрдамида синаб кўриш шарт. 2026-йил ҳолатига кўра Google янги user-agent'ларни жорий қилди, жумладан Google-Extended сунъий интеллект ўқитиш учун. Агар сайтингиз контентини AI моделларига ўқитиш учун бермоқчи бўлмасангиз, robots.txt ичига User-agent: Google-Extended билан Disallow: / қаторини қўшиш керак.