Недостоверный ответ нейросети можно выявить за несколько минут — эксперт рассказал, как это сделать

Заведующий лабораторией доверенного искусственного интеллекта РТУ МИРЭА Юрий Силаев рассказал «Клерку», по каким признакам можно определить недостоверный ответ нейросети и почему даже правдоподобные формулировки требуют проверки по первоисточникам.

Один из ключевых признаков недостоверного ответа — сомнительные или неполные ссылки на источники. Если модель упоминает исследование, документ или статистику, но не указывает название, автора или организацию, информацию необходимо перепроверить. При этом даже наличие ссылки не гарантирует достоверность — важно убедиться, что источник существует, актуален и подтверждает выводы нейросети.

«Еще один характерный признак — категоричный ответ на вопрос, который объективно не имеет единственного правильного решения. Например, нейросеть может безоговорочно назвать лучший университет, наиболее эффективную диету или универсальный способ решения сложной проблемы», — сказал Юрий Силаев.

Для предварительной оценки ответа можно попросить модель объяснить, на чем основан ее вывод, привести источники и указать ограничения. Если после уточняющих вопросов меняются ключевые данные, первоначальный ответ требует особенно внимательной проверки. Однако такой диалог не заменяет полноценную верификацию: нейросеть способна сформировать правдоподобное, но недостоверное объяснение или сослаться на несуществующий источник.

«Особенно внимательно следует относиться к ответам, связанным со здоровьем, правом, финансами, безопасностью и другими решениями, способными повлечь значимые последствия», — добавил эксперт.

Он также напомнил, что ИИ остается полезным инструментом для анализа информации, генерации идей и подготовки черновиков, но важные решения не должны основываться исключительно на ответе нейросети.