Галлюцинация читается точно так же, как правильный ответ. Именно поэтому она обходится дорого.
Как это работает
Языковая модель пишет самые правдоподобные следующие токены с учётом обучения и промпта. Ничто в этом цикле не сверяет факты с реальностью. Если у модели нет ответа, правдоподобный на вид ответ у неё всё равно найдётся.
Kalai с соавторами в статье 2025 года утверждают, что галлюцинации сохраняются, потому что “training and evaluation procedures reward guessing over acknowledging uncertainty” (перевод: «процедуры обучения и оценки поощряют угадывание, а не признание неуверенности»). Большинство бенчмарков засчитывают верную догадку и ничего не дают за отказ отвечать, поэтому модели настраиваются хорошо сдавать тесты. Авторы также выводят ошибки из статистической причины: если модель не может надёжно отличать истинные утверждения от ложных, предобучение будет порождать ложные.
Частые формы в работе с API:
- выдуманные ссылки на источники, URL или цитаты;
- неверные цифры в кратком изложении правильного документа;
- несуществующие методы или параметры API;
- ответы на вопросы, которые переданный контекст не покрывает.
Почему это важно
Цена проявляется дальше по цепочке: бот поддержки, который выдумывает правила возврата денег, отчёт с неверной итоговой суммой, код, вызывающий несуществующую функцию. По сравнению с этим исправления дешёвые:
- Опирайте ответ на источники. Положите исходный текст в промпт или найдите его через RAG. Lewis с соавторами обнаружили, что генерация, дополненная поиском, более “factual” (перевод: «фактологична»), чем базовая модель, опирающаяся только на параметры. См. заземление (grounding).
- Разрешите отвечать «не знаю». Anthropic называет явное разрешение признавать неуверенность базовым шагом.
- Просите цитаты, затем проверяйте. Пусть модель приводит подтверждающую цитату для каждого утверждения, а утверждения без цитаты отбрасывайте.
- Измеряйте. Соберите набор для оценки (eval) с вопросами, ответа на которые в контексте нет, и отслеживайте, как часто модель его выдумывает. Logprobs, если API их возвращает, помогают отмечать ответы с низкой уверенностью.
- Проверяйте в коде. Итоговые суммы, даты и ID можно проверить без модели.
Снижение температуры помогает против дрейфа в длинном тексте, но не против уверенных ошибок.
В BroadNet Inference
Документация BroadNet не публикует долю галлюцинаций для своих моделей и не указывает функций ограничителей (guardrails) или проверки фактов, поэтому эти меры остаются на стороне вашего приложения. Опоре на источники помогает большой контекст: DeepSeek V4.1 Flash и GLM 5.3 принимают 1 048 576 токенов на запрос — достаточно, чтобы включить исходные документы целиком. О поисковых конвейерах для арабского — в статье RAG на арабском; о проверке извлечённых полей по изображению — в руководстве по счетам.