🤖
SEO и реклама

robots.txt полное руководство

10.11.2025
← Все статьи

robots.txt — указывает ботам, что индексировать.

Синтаксис

User-agent: *
Disallow: /admin/
Sitemap: ...

Применение

/admin/, /cabinet/, /api/, /search?

Боты

Googlebot, Yandex, GPTBot.

Ошибки

Disallow: / на проде — закрывает всё.

Тест

Google Search Console, Yandex Webmaster.

2025

GPTBot, ClaudeBot — блок AI.

Похожие статьи

⤵️ Воронка конверсии (funnel): оптимизация каждого этапа клиентского пути 📈 Повышение CTR: больше кликов из Google 📊 SEO KPI: какие показатели реально важны ❔ People Also Ask: вопросы в голове пользователя — найти и ответить
🌐 Язык
🇺🇿 O⁠'zbek 🇺🇿 Özbek (yangi) 🇺🇿 Ўзбек 🇷🇺 Русский ✓ 🇬🇧 English