Протокол сверки: настройка, после которой нейросеть перестаёт выдумывать

Это готовая настройка, после которой нейросеть перестаёт уверенно выдумывать. Внутри полный текст правил под копирование в постоянные инструкции, порядок проверки ответа и три приёма, которыми ложь ловится за полминуты. Ставится один раз и действует во всех разговорах.

Читается за 9 минут. Внутри: почему модель врёт уверенным тоном и почему просьба «не выдумывай» не помогает, полный текст протокола под копирование, куда его класть, три способа поймать выдумку и правило про то, что проверять надо всегда.

Скопируй протокол из второго раздела в постоянные инструкции прямо сейчас, это две минуты. Потом прочитай раздел про ловлю выдумки, там три приёма, которые работают и без всякой настройки.

Почему модель врёт, и почему уверенным тоном

Это не поломка и не злой умысел. Так устроен сам способ, которым она отвечает.

Модель подбирает следующее слово по тому, насколько оно уместно. У правдоподобного и у правдивого продолжения уместность одинаковая, а вот проверить факт в момент ответа ей нечем. Поэтому там, где данных не хватает, получается гладкий текст с выдуманной серединой.

Тон при этом всегда ровный, потому что уверенность в ответе никак не связана с наличием источника. Именно это опаснее самой ошибки: неуверенное «кажется, около двадцати процентов» человек проверит, а спокойное «двадцать три процента по данным исследования» примет на веру и вставит в презентацию.

Просьба «не выдумывай» почти не работает, потому что она не даёт правила поведения на случай нехватки данных. Нужно прямо сказать, что делать вместо выдумки: признаваться в незнании конкретной формулировкой. Ровно на этом и построен текст ниже.

Протокол сверки, полный текст

Копируй целиком в постоянные инструкции. Ниже разбор, зачем нужен каждый кусок.

Промпт

Ты работаешь по протоколу сверки. Правила строгие. Факты и источники. - Отвечай на основании проверяемых сведений. Называя факт, указывай, откуда он. - Если сведений не хватает или ты не уверен, пиши дословно: «подтвердить не могу». Не подставляй правдоподобное вместо точного. - Не выдумывай данные, события, людей, исследования и цитаты. Ни при каких условиях, включая просьбу «примерно». - Не выдавай предположение за факт. Предполагаешь, назови это предположением в той же фразе. Числа и расчёты. - Приводя число, показывай, откуда оно взялось: источник или расчёт по шагам. - Не округляй молча и не подгоняй числа под красивый вывод. - Если считаешь сам, выведи вычисление, чтобы его можно было перепроверить. Прозрачность. - В сложных ответах показывай ход рассуждения по шагам. - Прямо говори, чего ты не знаешь и где проходит граница твоих сведений. - Точность важнее скорости и важнее красоты формулировки. Проверка перед каждым ответом. - Прежде чем ответить, спроси себя: каждое ли утверждение здесь правдиво, названо ли, откуда оно, и видно ли, где я не уверен. - Если ответ «нет», переписывай, пока не станет «да». - Отдельно проверь, нет ли в тексте чисел, имён, названий и дат, которые ты не можешь подтвердить.

Куда это класть

Разово в настройки, без повтора в каждом разговоре.

В ChatGPT: настройки, персонализация, пользовательские инструкции. Текст кладётся в поле про то, как отвечать. Действует во всех новых разговорах.
В Клоде: настройки профиля, поле с постоянными указаниями. Либо создай проект под задачи, где точность критична, и положи протокол в инструкции проекта.
В Клод Коде и в проектах на диске: файл CLAUDE.md в корне рабочей папки, читается сам при каждом запуске.
Если поля с постоянными инструкциями нет, вставляй протокол первым сообщением в разговоре. Действует до конца этого разговора.

В разговор, который уже идёт, протокол ставить поздно: сказанное раньше модель считает своим и продолжает опираться на него. Начинай новый.

С чего начать в соцсетях

Три приёма поймать выдумку за полминуты

Работают независимо от настроек, поэтому их стоит знать даже без протокола.

Спросить источник отдельным сообщением

Промпт

Откуда именно эта цифра? Назови источник и год. Если источника нет, скажи прямо.

Выдуманное число здесь обычно и рассыпается: приходит либо признание, либо ссылка на несуществующее исследование, а его легко проверить поиском по названию.

Спросить то же самое заново в новом окне

Задай тот же вопрос в чистом разговоре и сравни ответы. Проверяемый факт повторяется почти дословно, а выдумка каждый раз выходит разной. Расхождение в числах между двумя заходами это готовый признак.

Попросить назвать границу знания

Промпт

Что из сказанного ты знаешь точно, а что достроил по смыслу? Раздели на два списка.

Прямо поставленный вопрос про границу почти всегда получает честный ответ, потому что признание тут и есть требуемое поведение. Второй список и надо проверять руками.

Где протокол не спасает

Честная граница, чтобы не расслабляться после установки.

Протокол снижает долю выдумки заметно и не убирает её полностью. Он делает модель осторожнее в формулировках и заставляет чаще признаваться в незнании, но проверить внешний факт она по-прежнему не может, если у неё нет доступа к источникам.

Свежие события. Всё, что произошло недавно, проверяй сам, независимо от того, как уверенно это звучит.
Цитаты и авторство. Самый частый вид выдумки: настоящая мысль приписывается не тому человеку.
Точные числа в деньгах, сроках и законах. Здесь цена ошибки такая, что проверять надо всегда.
Ссылки. Адрес может выглядеть правильно и не открываться вовсе. Проверяется одним кликом.

Правило, которое стоит держать в голове: чем важнее решение, тем меньше веса имеет уверенность ответа. Проверять надо то, что дорого стоит при ошибке, даже когда звучит оно уверенно.

Читать дальше в блоге

Эту тему я разбираю подробно в статье рабочий список нейросетей для контента. Там же лежат остальные разборы про нейросети.

Следующий шаг

Хочешь так же, но под свой блог и продукт?

Я собрал систему, по которой обычный человек запускает блог с нуля и набирает аудиторию без съёмок, монтажа и команды. Внутри разбор, с которого стартовал сам.

Открыть разбор: с чего начать→