Четыре строчки в robots.txt, которые выключают сайт из поиска

Из всех способов случайно убить трафик этот — самый быстрый. Один файл, четыре строчки, и сайта в поиске нет.

Лечится за минуту, но сначала нужно узнать, что проблема есть. Обычно узнают через месяц, когда заканчиваются заявки.

Что это за файл

robots.txt лежит в корне сайта и говорит поисковым роботам, куда ходить можно, а куда не нужно. Открыть можно прямо сейчас: вашсайт.ру/robots.txt.

Если в ответ приходит страница ошибки — файла нет. Это не катастрофа: без него робот обойдёт всё подряд. Хуже, когда файл есть и написан неправильно.

Строчка первая: запрет всего сайта

User-agent: * и следующей строкой Disallow: /

Косая черта без продолжения — это «не заходи никуда». Самая частая причина, по которой новый сайт месяцами не появляется в поиске.

Откуда берётся: на время разработки сайт закрывают от роботов, чтобы недоделанные страницы не попали в выдачу. А потом запуск, суета, и снять запрет забывают.

Строчка вторая: закрытые стили и скрипты

Disallow: /wp-content/, Disallow: /assets/

Выглядит разумно: зачем роботу служебные папки. Но в них лежат CSS и JavaScript, без которых поисковик не может отрисовать страницу. Он видит текст на голом HTML и решает, что сайт сломан или неудобен на телефоне.

Картинки тоже оттуда. Закрыли папку — потеряли поиск по картинкам.

Строчка третья: запрет нужного раздела

Disallow: /blog

Коварство в том, что это запрещает не только /blog, но и всё, что начинается с этих букв: /blogger, /blog-2026. Один символ, а из поиска выпадает целый раздел.

Проверять такие правила надо на конкретных адресах, а не на глаз.

Строчка четвёртая: чужие правила

User-agent: Yandex и под ним Disallow: /

Блок для конкретного робота. Иногда его добавляют сознательно — например, закрывают сайт от зарубежных поисковиков, — а потом забывают, что Яндекс тоже в списке.

Отдельная история — блоки, скопированные с чужого сайта вместе с его путями. У вас нет папки /bitrix, зато есть запрет на /catalog, которого у соседа не было.

Чего robots.txt не делает

Главное заблуждение: запрет в этом файле не убирает страницу из выдачи. Он просит не обходить её. Если на страницу есть ссылки, она может попасть в поиск и без обхода — пустой, без описания.

Чтобы страницы точно не было в поиске, нужен мета-тег noindex на самой странице, а доступ роботу при этом оставляют открытым: иначе он не увидит запрет.

Второе: robots.txt не защищает. Это не пароль, а просьба. Содержимое файла видят все, и закрытый в нём адрес админки — скорее подсказка для любопытных.

Как проверить свой

Откройте вашсайт.ру/robots.txt и посмотрите глазами: нет ли Disallow: / в общем блоке, не закрыты ли папки со стилями, нет ли отдельного блока для Яндекса или Google с запретом.

Если читать такое не хочется, у меня есть бесплатная проверка robots.txt: вводите адрес сайта, она разбирает файл и показывает, что именно закрыто. Регистрации не требует.

Проверка занимает минуту, а находится такое в каждом третьем сайте, который мне приносят на разбор.