🎯 Через 5 минут вы сможете выявлять уверенную неправду модели и проверять важные сведения по источнику.

Уверенная неправда

Про то, что нейросети «выдумывают», слышали все. Но обычно это понимают неправильно — как случайную ошибку, вроде опечатки. А устроено иначе, и от понимания устройства зависит, как проверять.

Она не ищет ответ, она подбирает продолжение

Языковая модель не хранит справочник и не лезет в него. Она подбирает, какое слово вероятнее идёт следующим — и так слово за словом.

Отсюда её главное свойство: выдумка получается такой же гладкой, как правда. Не «кажется, где-то в третьей статье», а «пункт 4 статьи 12 в редакции от 3 марта». Не «был какой-то похожий случай», а случай с датой, местом и фамилией.

Человек привык, что уверенность и конкретика — признак знания. Тот, кто сомневается, говорит расплывчато; тот, кто знает, называет точные цифры. У модели этой связи нет вообще. Точность формулировки не связана с верностью.

Где это дорого

Разница между «неважно» и «беда» — в том, куда вы понесёте ответ.

Почти неважно: идеи для поздравления, черновик письма, объяснение общего понятия, план работы. Ошибётся — увидите сами.

Дорого: номера законов и статей, дозировки и лекарства, суммы и сроки в договоре, технические характеристики, медицинские советы, цитаты с авторством, исторические даты.

Общее у второго списка: вы не можете проверить ответ здравым смыслом, а последствия ложатся на вас.

Случай: шесть решений, которых не было

Адвокаты в США готовили иск и искали судебную практику через чат. Получили ссылки на шесть решений с номерами дел и цитатами. Подали в суд. Ни одного из этих решений не существовало.

Суд оштрафовал их и указал: проверять обязаны они, а не машина.

С тех пор такое случалось в судах разных стран десятки раз. Это не курьёз, это закономерность.

Где именно проверять — по областям

«Проверьте у источника» звучит правильно и ничего не говорит. Вот перечень, куда идти:

Правило простое: проверяют не всё подряд, а там, где цена ошибки высока, а проверка дешёвая. Номер счёта, дата, фамилия, сумма — это тридцать секунд.

Три способа проверки, из которых работает один

Не работает: переспросить её же. Она повторит выдумку так же уверенно. Ещё и добавит подробностей.

Не работает: спросить, уверена ли она. Ответ про уверенность — такой же подобранный текст, как и всё остальное. «Да, я уверена» ничего не стоит.

Работает: проверить у источника. Закон — в официальной базе. Цитату — у автора. Характеристику — у производителя. Занудно и небыстро, и другого способа нет.

Полумера, которая помогает: попросите назвать источник. Если источника нет или он выдуман — это уже сигнал. Но наличие ссылки ничего не доказывает: ссылка тоже подбирается как правдоподобный текст, и её надо открыть.

Особый случай: она соглашается с вами

Заметная слабость: если настаивать, модель часто уступает. Вы говорите «по-моему, всё-таки статья 15» — и она соглашается, хотя раньше называла двенадцатую.

Это не значит, что вы её убедили. Она подстроилась под собеседника.

Отсюда практическое: не подсказывайте ответ в вопросе. Не «правда ли, что тут действует статья 15?», а «какая статья тут действует и где это проверить?».

Что это значит лично вам

Если вы обычный человек. Разделите задачи на «сам увижу, если соврёт» и «не увижу». Для второго — проверка у источника, всегда. Особенно про здоровье, деньги и права.

Если у вас небольшое дело. Опасность не в том, что кто-то поверит выдумке, а в том, что она попадёт в документ, письмо клиенту или описание товара — и станет вашим словом. Правило простое: то, что уходит наружу от имени дела, читает человек.

Если дело большое. Нужен перечень тем, где ответ модели не может быть основанием для решения без проверки: право, финансы, здоровье, безопасность. И понимание, кто отвечает, если решение приняли по выдуманному факту. Обычно оказывается, что этот вопрос никем не продуман.