Что такое галлюцинации ИИ?
Галлюцинация ИИ это ситуация, когда языковая модель так же уверенно, как правду, сообщает ложное или выдуманное: правило, цифру, источник. Так происходит, потому что модель предсказывает правдоподобный текст, а не ищет факты, и любая галлюцинация ИИ выглядит как обычный ответ.
Зачем это компании
Выдуманное правило возврата или условие договора стоит денег или доверия, а выглядит точно как правильный ответ. Убрать риск полностью нельзя, но его можно заметно уменьшить: отвечать по вашим документам, ограничить темы и отправлять всё неуверенное человеку.
1Почему бываетМодель подбирает правдоподобные слова, и когда факта у неё нет, правдоподобное и верное расходятся.
2Как снизитьОтветы по найденным документам со ссылками, право модели сказать «не знаю» и проверка каверзными вопросами.
3Сначала замер, потом довериеДержите набор реальных вопросов с известными ответами и прогоняйте его после каждой смены промпта или модели.
ПримерТуристическая компания в Алматы тестирует помощника, который отвечает на вопросы о турах. На вопрос о штрафе за отмену, которого нет в документах, первая версия выдумывает сумму. Исправление: ответы только по условиям договора, источник под каждым ответом и «уточню у менеджера», когда совпадений нет.
По теме
Что мы делаем
Связанные термины
RAGСпособ научить ИИ отвечать по вашим документам: сначала найти нужные фрагменты, потом написать ответ.LLMБольшая языковая модель: модель ИИ, обученная на огромном объёме текстов понимать и писать текст.Генеративный ИИИИ, который создаёт новый текст, изображения, звук или код по запросу, а не только сортирует данные.Промпт-инжинирингСоставление и проверка инструкций для модели ИИ, чтобы она давала точный и стабильный результат.
Нужно это внедрить?
Опишите задачу, назовём объём, цену и срок. Цена фиксируется в договоре.
Ваш выборРазработка ИИ-агентовот 480 000 ₸
Заявку получает команда, ответим в рабочее время.Цена фиксируется в договоре до оплаты.Созвон, только если попросите.