robots.txt — указывает ботам, что индексировать.
Синтаксис
User-agent: *
Disallow: /admin/
Sitemap: ...
Применение
/admin/, /cabinet/, /api/, /search?
Боты
Googlebot, Yandex, GPTBot.
Ошибки
Disallow: / на проде — закрывает всё.
Тест
Google Search Console, Yandex Webmaster.
2025
GPTBot, ClaudeBot — блок AI.