Robots.txt Generator
Визуальный конструктор robots.txt с пресетами и живым превью.
Правила
Sitemap
robots.txt
Справка
User-Agent
* = все боты. Можно указать Googlebot, Yandex, Bingbot отдельно.
Disallow
Запрещает индексацию указанного пути. Пустое значение = разрешить всё.
Crawl-delay
Задержка между запросами (секунды). Поддерживается Yandex, Bing.