Введите домен — покажем, что закрыто от Яндекса и Google, объявлена ли карта сайта и пускает ли сайт роботов ИИ-поисковиков: ChatGPT, Claude, Perplexity и остальных.
Достаточно домена. Правила сопоставляем так же, как это делают поисковики. Ничего не сохраняем.
Что показывает проверка?
Какие разделы закрыты от роботов, объявлена ли карта сайта, какие роботы упомянуты поимённо и — отдельным блоком — пускает ли сайт роботов ИИ-поисковиков: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended и CCBot.
Чем это отличается от простого просмотра файла глазами?
Правила сопоставляются так же, как это делают поисковики: сначала ищется группа с точным именем робота и только при её отсутствии берётся группа со звёздочкой, а среди правил выигрывает самое длинное совпадение пути. Из-за этого «Disallow: /» в файле не всегда означает, что робот закрыт, — и наоборот.
Нужно ли пускать роботов ИИ?
Это решение владельца, а не правило. Открытый доступ означает, что сайт может попадать в ответы ChatGPT, Claude и Perplexity, но и что тексты могут использоваться для обучения. Закрытый — наоборот. Мы показываем факт, а не оцениваем его.
Что делать, если robots.txt нет вовсе?
Формально это не ошибка: без файла сайт открыт целиком. Но тогда негде объявить карту сайта и нечем закрыть служебные разделы вроде корзины и личного кабинета.
Открытый доступ помогает, только если на сайте есть материалы по темам, которые люди ищут. SEO Writer смотрит, что у вас уже написано, и предлагает темы, которых не хватает — принятая тема сразу становится статьёй.