Robots.txt Generator

Визуальный конструктор robots.txt с пресетами и живым превью.

Правила

Sitemap

robots.txt

Справка

User-Agent

* = все боты. Можно указать Googlebot, Yandex, Bingbot отдельно.

Disallow

Запрещает индексацию указанного пути. Пустое значение = разрешить всё.

Crawl-delay

Задержка между запросами (секунды). Поддерживается Yandex, Bing.

Что такое robots.txt Generator

Визуальный конструктор файла robots.txt — указываешь правила через UI, получаешь готовый текст для копирования в корень сайта.

Когда нужен

Запуск нового сайта. Закрытие тестовых лендингов от Google. Настройка для разных ботов. Решение проблем с индексацией.

Что не делает

Не загружает на твой сайт — копируй вручную. Не проверяет существующий robots.txt — для этого вставь его текст в /tools/text.

Частые вопросы

Что такое robots.txt? ▾

Файл в корне сайта, который говорит поисковым ботам что можно индексировать, а что нет. Стандарт с 1994 года.

Где должен лежать robots.txt? ▾

В корне домена: example.com/robots.txt. НЕ в поддиректории. НЕ в поддомене (для каждого поддомена нужен свой).

Что такое User-agent? ▾

Идентификатор бота: * (все), Googlebot, Bingbot, YandexBot. Можно задать разные правила для разных ботов.

Disallow vs Noindex? ▾

Disallow в robots.txt — запрет на crawl (не загружать). Noindex в meta robots — запрет на индексацию (загружать можно, но не показывать в SERP). Это разные вещи.

Зачем закрывать страницы от индексации? ▾

Дубликаты (фильтры, сортировка). Технические страницы (admin, поиск). Страницы с приватными данными. Тестовые лендинги.

Sitemap в robots.txt — нужен? ▾

Да, рекомендуется. Помогает ботам найти карту сайта быстрее.

Можно ли заблокировать AI-ботов? ▾

Да: User-agent: GPTBot, ClaudeBot, PerplexityBot, Google-Extended — Disallow: /. Но это уменьшит вашу видимость в AI-ответах.