Самая опасная ситуация — не провал ИИ-пилота, а красивый успех на аккуратных данных. Руководство видит точность 95% и решает запускать систему. Но одна ошибка в сумме платежа может стоить дороже, чем двадцать ошибок в необязательном описании.
Нужно спросить: 95% чего?
Допустим, ИИ обработал 100 счетов и правильно разобрал 95.
Результат кажется отличным. Но где находятся пять ошибок?
В названии товара?
В дате?
В сумме?
В реквизитах?
В определении юридического лица?
Средняя точность скрывает цену ошибки. Если модель путает несущественные формулировки, результат можно исправить. Если неверно извлекает суммы и реквизиты, автоматически продолжать процесс опасно.
Чего еще не показал пилот
Даже высокая точность не отвечает на вопросы:
Как система работает с плохими сканами и дубликатами?
Что произойдет при недоступности 1С или CRM?
Умеет ли ИИ остановиться при нехватке данных?
Кто разбирает исключения?
Кто отвечает за качество после запуска?
Пилот доказывает, что модель способна выполнить операцию. Внедрение должно доказать, что компания может регулярно и безопасно использовать результат.
Когда можно двигаться дальше
До интеграции нужно определить:
критичные поля;
допустимые ошибки;
обязательную ручную проверку;
маршрут исключений;
владельца процесса;
показатели качества после запуска.
Точность 95% — не разрешение на внедрение. Это приглашение выяснить, что находится внутри оставшихся 5%.
Подробный разбор проблем, которые обнаруживаются после успешного пилота, у меня в телеграме.
Что для вас важнее при оценке ИИ: высокая средняя точность или отсутствие ошибок в нескольких критичных полях?
Роман Ткачев — эксперт по автоматизации корпоративных процессов и практическому применению ИИ в работе корпоративных служб.
Начать дискуссию