Как это работает
Инструмент создает синтаксис: 'User-agent' выбирает робота, 'Disallow' запрещает путь. Также добавляется директива 'Sitemap'.
What is Генератор Robots.txt?
Файл robots.txt — это инструкция для поисковых систем (Google, Яндекс), указывающая, какие страницы можно сканировать, а какие — нет. Это инструмент управления краулинговым бюджетом.
Пошаговое руководство
- Агент – Выберите бота или '*' для всех.
- Правила – Укажите пути для блокировки.
- Sitemap – Добавьте ссылку на карту сайта.
- Генерация – Скопируйте готовый код.
Example
Input: Блок /admin/
Result: User-agent: * Disallow: /admin/
Частые вопросы
Что значит Disallow: /?
Полный запрет на сканирование всего сайта.
Для чего Allow?
Чтобы открыть вложенный файл в закрытой папке.
Чувствителен к регистру?
Да, /Admin и /admin — разные пути.
Яндекс и Google?
Можно писать отдельные секции для разных ботов.
Clean-param?
Директива для Яндекса для игнорирования меток.
Заключение
Ошибки в robots.txt могут исключить весь сайт из поиска. Используйте этот генератор для безопасности. Помните, что robots.txt не гарантирует скрытие страницы из выдачи, если на нее есть ссылки.