Эксперты ВТБ раскрывают методы предотвращения вымышленных фактов и ошибок нейросетей
Генеративные модели искусственного интеллекта (ИИ) способны создавать убедительные, но порой недостоверные или вымышленные тексты, что часто называют «галлюцинациями». Это происходит из-за того, что ИИ оперирует вероятностями, а не смысловым пониманием информации. Для минимизации таких рисков специалисты ВТБ предлагают ряд рекомендаций: точность в формулировании запросов, обязательная ручная проверка результатов, применение дополнительных средств валидации. Также крайне важно использовать для обучения ИИ только высококачественные и проверенные данные, а также внедрять защитные механизмы, предотвращающие выдачу ложной информации.
Представлены основные методы противодействия «галлюцинациям» искусственного интеллекта – процессу создания убедительных, но фактически некорректных текстовых данных. Подобные неточности несут угрозу дезинформации пользователей и могут привести к серьезным финансовым и репутационным потерям для компаний.
По словам Льва Меркушова, руководителя направления разработки ИИ-решений в ВТБ, нейросети могут генерировать несуществующие данные, например, вымышленные названия книг или условия продуктов. Это происходит потому, что ИИ не верифицирует факты, а лишь формирует наиболее вероятные ответы. В связи с этим, критически важно максимально точно формулировать запросы. Однако, ключевым методом контроля остаётся человеческая проверка.
Алексей Пустынников, руководитель команды по разработке моделей, подчеркивает, что для эффективного предотвращения ошибок ИИ необходимо глубокое понимание их происхождения. Языковые модели не способны осмысливать информацию и проверять её актуальность в реальном времени. Это приводит к различным типам искажений: от подмены реальных фактов до полной фальсификации данных или несоблюдения заданных инструкций.
Пустынников выделил три категории «галлюцинаций»:
- Первая — фактические ошибки, когда модель искажает общеизвестные данные, например, некорректно указывая дату.
- Вторая — фабрикация: при которой ИИ генерирует полностью вымышленные сведения или преувеличивает существующие.
- Третий тип — ошибки в следовании инструкциям, когда модель игнорирует заданный контекст или совершает логические промахи, например, заявляя, что дважды два равно шести.
Корни этих искажений кроются в специфике обучения моделей. ИИ генерирует ответы, основываясь на статистических вероятностях, а не на реальном понимании информации. В условиях недостатка данных модель склонна к «додумыванию». Важным фактором является также ограниченность обучающих наборов: модели не имеют доступа к информации о событиях, произошедших после их обучения, и не способны верифицировать факты в динамическом режиме. Ошибки могут быть вызваны также недостаточной проработкой малоосвещенных тем или наличием неточностей в исходных обучающих данных.
Меркушов также отметил, что выполнение сложных и абстрактных задач значительно увеличивает вероятность ошибок. Для их минимизации необходимо предельно точно формулировать запросы. Эффективным подходом является использование «цепочки рассуждений» – декомпозиции сложного запроса на последовательность простых шагов. Также применяются системы, способные обращаться к верифицированным базам данных перед формированием ответа. Кроме того, модели подвергаются дообучению на специализированных наборах данных, а специальные «защитные барьеры» (AI guardrails) непрерывно мониторят выдачу ИИ и способны прервать процесс при выявлении некорректной информации.
В ВТБ активно внедряются каскадные архитектуры, где несколько моделей последовательно обрабатывают и перепроверяют информацию. Этот принцип уже успешно применяется в системах распознавания речи, прогнозирования операций с наличностью и управления банкоматами. Для генеративного ИИ разрабатываются аналогичные каскадные решения, ориентированные на интеллектуальный поиск в корпоративных базах знаний. Пристальное внимание уделяется качеству исходных данных для обучения. Пустынников уточнил, что процесс фильтрации данных допускает только тексты с минимальным содержанием недостоверной информации. Источники подвергаются тщательной экспертной проверке, что, хоть и увеличивает затраты, но существенно повышает качество обучения моделей.
Подводя итог, эксперты акцентируют внимание на том, что успешное внедрение искусственного интеллекта невозможно без ответственного подхода к качеству исходных данных, обеспечению прозрачности алгоритмов и строгому контролю генерируемых результатов. Именно такой комплексный подход позволяет предприятиям снижать риски ошибок и укреплять доверие со стороны потребителей.
