Ошибки языковых моделей обсуждают как сбой, который скоро починят. Устроены они иначе: выдумка — не поломка режима, а сам режим, доведённый до задачи, для которой он не предназначен. Из этого следует и порядок проверки, и понимание того, какие ошибки не исчезнут ни при каком улучшении.
Почему термин мешает больше, чем помогает
Слово подсказывает, что модель что-то «увидела», хотя происходит обратное: она ничего не видит и не проверяет. Языковая модель подбирает следующий фрагмент текста по вероятностям, обученным на больших корпусах, — и ровно так же подбирает его, когда факта в данных нет. Разница между верным и выдуманным утверждением для неё не существует, потому что механизм один и тот же. Подробнее эта механика разобрана в устройстве языковых моделей.
Отсюда следует главное практическое неудобство: уверенность формулировки ничего не сообщает о её надёжности. В обучающих данных ответы на вопросы написаны уверенно, поэтому уверенно написан и ответ на вопрос, ответа на который нет. Ни оговорок, ни колебания интонации в месте, где начинается выдумка, не появляется — искать «подозрительный тон» бесполезно.
Точнее было бы говорить не о галлюцинации, а о заполнении пустоты правдоподобным. Формулировка длиннее, зато сразу подсказывает, где смотреть: там, где вы попросили содержание, которого у модели неоткуда взять.
Шесть видов выдумки
Их различают потому, что ловятся они разными приёмами и стоят разного времени.
| Вид | Как выглядит | Чем ловится |
|---|---|---|
| Несуществующий источник | Ссылка, название книги или исследования, которых нет | Открыть — самый дешёвый шаг |
| Реальный источник без утверждения | Ссылка настоящая, но нужного в ней нет | Поиск по странице, а не по названию |
| Правдоподобное число | Доля, процент, размер выборки без источника | Требование источника к каждой цифре |
| Устаревшее как текущее | Правило, изменённое после сбора данных | Сверка с официальной документацией |
| Смешение похожих сущностей | Два продукта или компании со схожими названиями слиты в один | Проверка сущности по официальному сайту |
| Выдуманная цитата | Точная формулировка, приписанная реальному человеку | Дословный поиск фразы |
Первая строка безобидна: она заметна и лечится одним кликом. Опаснее вторая и третья — они выглядят как результат добросовестной работы и проходят поверхностную проверку. Именно из них потом собираются «отраслевые нормы», которые никто не считал.
Отдельно про третью строку. Число — самый убедительный элемент текста и самый дешёвый в подделке, потому что правдоподобная доля выглядит одинаково независимо от того, посчитана она или подобрана. Практическое правило редакции короткое: цифра без источника вычёркивается, даже если она кажется разумной.
Поиск не убирает проблему, а перемещает её
Режим с поиском часто предлагают как решение. Он меняет распределение ошибок, а не их наличие.
Что улучшается: доля утверждений, взятых полностью из воздуха, падает, потому что модель опирается на найденные документы. Что появляется: ошибка атрибуции — ссылка ведёт на реальную и даже уместную страницу, а конкретное утверждение там не написано или сказано про другой случай. Формально ответ подкреплён, фактически подкрепление не работает. Та же схема стоит за ответами модели по вашим документам, и ошибка атрибуции переезжает туда вместе с ней.
Причина в устройстве отбора. Документы подбираются по смысловой близости через векторное представление, то есть по похожести, а не по подтверждению. Похожий текст и подтверждающий текст — разные вещи, и на границе между ними живёт большая часть ошибок в ответах со сносками.
Второй источник искажения — качество самой выборки. Если по теме в открытом доступе преобладает пересказ, ответ соберётся из пересказа: замер 853 ответов показывает, что среди источников регулярно оказываются площадки пользовательского контента, где утверждение никем не проверялось. Ответ выглядит подкреплённым, а цепочка проверки обрывается на первом же звене.
Практический вывод для работы с ответными машинами со сносками и ассистентами поисковых систем: наличие ссылки — не проверка, а приглашение проверить.
Порядок проверки: от дешёвого к дорогому
Проверять всё подряд одинаково глубоко невозможно, поэтому шаги упорядочены по стоимости. Каждый следующий делается, только если предыдущий пройден.
- Существует ли источник. Открыть ссылку. Отсеивает больше всего и занимает секунды. Если ссылки нет вовсе, а утверждение фактическое — оно не проходит дальше без отдельного подтверждения.
- Есть ли утверждение на странице. Искать текстом по странице, а не глазами по заголовкам. Здесь отсеивается ошибка атрибуции, которую пропускают чаще всего.
- Совпадает ли формулировка. Условия, оговорки, период, к чему относится число. Утверждение часто сохраняется, а условие его применения теряется.
- Первичный ли это источник. Пересказ пересказа выглядит как подтверждение, пока не дойдёшь до начала цепочки. Если начала нет, число дальше не идёт.
- Не устарело ли. Для правил платформ и требований — сверка с официальной документацией, потому что изменения туда попадают раньше, чем в тексты о них.
Первый и второй шаги стоит делать всегда, третий — для всего, что попадёт в публикацию, четвёртый и пятый — для утверждений, на которых строится вывод. Дисциплина здесь дешевле, чем разбор последствий: как встроить это в редакционный процесс, разобрано в материале про нейросети для текста, а разделение задач по степени доверия — в разборе работы с ассистентом.
Когда выдумка касается вашего бренда
Отдельный случай, потому что здесь вы не читатель ответа, а его предмет — и обычная проверка не помогает.
Ответ про компанию собирается из того, что о ней написано в открытых источниках, плюс из того, что осталось в памяти модели. Если сведения противоречивы или их мало, пустота заполняется правдоподобным: приписывается чужая услуга, называется не тот профиль деятельности, смешиваются две компании со схожими названиями.
Что здесь работает: однозначные формулировки на собственных страницах, совпадающие данные в профилях и справочниках, отсутствие противоречий между версиями описания компании в разных местах. Что не работает: обращение в поддержку с просьбой исправить конкретный ответ — правится не ответ, а выборка, из которой он собирается. Механику формирования этой выборки описывают четыре слоя видимости, а работу с тем, что о компании написано вне сайта, — материал про репутацию бренда.
Сроков здесь никто не назовёт: изменение появляется по мере обновления источников и не гарантировано вовсе.
Ответ выглядит безупречно, а ссылки не открываются. Классическая выдумка первого вида. Всё содержание такого ответа считается непроверенным, а не только ссылки — если источник придуман, остальное собрано тем же способом.
Ссылка открывается, но утверждения на странице нет. Ошибка атрибуции: документ подобран по похожести, а не по подтверждению. Искать утверждение поиском по тексту страницы и не принимать наличие ссылки за проверку.
Модель называет число, которое совпадает с вашим ожиданием. Самый опасный случай: совпадение с ожиданием отключает проверку. Требовать источник ровно так же, как для неожиданного числа.
В ответе про компанию перепутаны две похожие организации. Смешение сущностей из-за противоречивых данных в открытых источниках. Приводить к единому виду описание, профили и справочники, а не переписывать один ответ.
Границы проверки
Порядок из пяти шагов ловит не всё, и полезно знать заранее, где он бессилен.
- Отсутствие в ответе важного. Проверка ловит ложное утверждение, но не пропущенное условие. Ответ без единой ошибки может вводить в заблуждение тем, чего в нём нет.
- Правильный факт в неверном контексте. Число верное, но относится к другому случаю или периоду. Формально всё сходится, вывод получается ложный.
- Темы без письменных источников. Там, где практика не описана публично, проверять нечем: отсутствие подтверждения не означает ни правоты, ни ошибки.
- Ответы из памяти без поиска. Проверять нечего по построению — ссылок нет. Такие ответы годятся как гипотеза и не годятся как основание.
- Скорость изменений. Правила платформ и требования обновляются быстрее текстов о них, поэтому «проверено полгода назад» не равно «проверено».
Общее у пяти пунктов: проверка подтверждает утверждения, но не гарантирует полноты картины. Второе решается только знанием предмета, и заменить его процедурой нельзя.
Спорное место
Спорна сама постановка задачи. Отношение к выдумкам колеблется между двумя крайностями: «модели врут, пользоваться нельзя» и «в новых версиях это уже почти решено». Обе позиции мешают работать: первая отбрасывает инструмент вместе с задачами, где проверять нечего, вторая переносит проверку в будущее.
Честнее сформулировать так: доля ошибок снижается, а класс ошибок остаётся, потому что он следует из устройства — предсказание правдоподобного продолжения не превращается в проверку фактов от увеличения объёма данных. Это значит, что процедура проверки не временная мера на переходный период, а постоянная часть процесса.
Второе сомнение — про цену. Полная проверка каждого утверждения делает работу с моделью дороже написания вручную, и в этом месте многие тихо перестают проверять. Признавать это честнее, чем описывать идеальный регламент: рабочий выход не в более строгой процедуре, а в том, чтобы не поручать модели задачи, где проверять придётся всё.