// Страница
Генератор robots.txt
// Инструмент
Генератор robots.txt
Настройте правила через визуальный интерфейс — получите готовый файл robots.txt.
Работает офлайн
Все боты
🤖 Googlebot
Основной краулер Google
🌐 Все боты (User-agent: *)
🚫 Заблокировать парсеры
🗺️ Sitemap
⏱️ Crawl-delay (необязательно)
секунд между запросами. 0 = не указывать
Результат
# Нажмите «Сгенерировать robots.txt»