ИИ-детекторы: почему я не верю их процентам

Регулярно приходит вопрос: «прогнал текст через детектор, показывает 90% ИИ, что делать?».

Коротко: сначала выяснить, есть ли вообще проблема. Детекторы часто ошибаются в обе стороны, и решение переписывать текст только из-за красной цифры — плохое решение.

Как они работают

Детектор не знает, чем написан текст. У него нет доступа ни к какой истории — он смотрит только на сам текст и оценивает, насколько тот предсказуем.

Языковая модель выбирает наиболее вероятное следующее слово, поэтому её текст ровный: слова ожидаемые, предложения похожей длины. Человек пишет неровно — вставляет странное слово, обрывает фразу, меняет ритм. Детектор измеряет эту ровность и переводит её в проценты.

Отсюда сразу следует главное: он измеряет не происхождение текста, а его гладкость.

Кого он записывает в роботы

Тех, кто пишет по стандарту. Инструкции, юридические тексты, техническая документация — там ровный предсказуемый язык и есть требование жанра. Детектор их уверенно помечает как машинные.

Тех, для кого язык неродной. Люди, которые пишут осторожно и простыми конструкциями, попадают под подозрение чаще носителей.

Отредактированный человеческий текст. Чем аккуратнее вычищены шероховатости, тем «машиннее» результат. Хорошая редактура повышает процент.

И в обратную сторону: машинный текст, которому задали живой стиль и разбавили деталями, детектор пропускает спокойно. То есть обмануть его проще, чем доказать ему свою невиновность.

Что с этим делать

Не показывать процент заказчику как аргумент. Ни в одну, ни в другую сторону. Это число ничего не доказывает.

Не переписывать текст ради цифры. Обычная реакция — начать вставлять случайные слова и рвать предложения, чтобы «сбить детектор». Текст от этого становится хуже для читателя, а ради читателя всё и делается.

Проверять то, что действительно важно. Три вещи, которые стоят внимания вместо процента:

• Факты. Модель придумывает уверенно: цифры, даты, названия, ссылки на несуществующие исследования. Это проверяется по источникам, и это реальный риск, а не гипотетический.
• Смысл. Есть ли в тексте хоть одно утверждение, которого нет в первых десяти статьях по теме. Если нет — текст бесполезен независимо от происхождения.
• Совпадения. Прямые заимствования из чужих текстов — вот это проверять надо, и для этого есть отдельные инструменты, не детекторы ИИ.

А поисковики их используют?

Публично поисковые системы говорят о другом: им важно, полезен ли материал человеку, а не чем он набран. Наказывают не за инструмент, а за бессодержательные страницы, сделанные ради поиска.

Практика это подтверждает: в выдаче спокойно живут материалы, написанные с помощью нейросетей, и вылетают пустые тексты — независимо от того, кто их писал. Человек тоже прекрасно умеет писать бессодержательно, просто медленнее.

Как я проверяю сам

Читаю первый абзац и последний. Если оба можно удалить без потери смысла — текст надо не переписывать, а сокращать.

Дальше ищу в тексте хотя бы одно место, где автор что-то утверждает и объясняет почему. Если такого места нет, никакой детектор уже не поможет.

Инструменты для проверки текста, которыми пользуюсь я, собраны здесь — они считают воду, повторы и читаемость, то есть то, что действительно влияет на чтение.