Разработчик приложения для личного бюджета Pulse Local разделил эти задачи. Пользователь загружает банковские операции из файла CSV и задаёт вопрос обычными словами. Нейросеть определяет параметры запроса, а сумму вычисляет программный код.
Однако такое разделение не устраняет все ошибки. Если модель неверно поняла вопрос, программа точно посчитает не то, что требовалось.
Проверка начинается до расчёта
По описанию разработчика, дополнительная модель проверяет, как понят вопрос. Если трактовки расходятся, приложение сообщает о неуверенности вместо того, чтобы выдавать предположительный результат.
Автор утверждает, что после изменения подхода доля неверных ответов снизилась примерно с одного из пяти до пяти на 494 вопросах в последних трёх тестах. Это результаты его собственных испытаний.
Ошибки не исчезли: модели по-прежнему могут неверно понимать вопросы в свободной форме. Дополнительная проверка также требует времени — ответ с ней занимает 12–14 секунд. Речь о бета-версии приложения для личного бюджета на Mac, а не о системе бухгалтерского учёта предприятия. Описание разработчика и обсуждение испытаний.
Что проверить финансисту
При выборе ИИ-помощника для финансовых задач недостаточно проверить итоговую сумму. Важно понять, какие операции он включил в расчёт и почему.
Возьмём условный вопрос: «Сколько компания заплатила поставщикам в прошлом месяце?» Для проверки ответа понадобятся уточнения:
Какие даты система приняла за начало и конец периода?
По каким признакам отобрала платежи поставщикам?
Как учла возвраты и повторные записи?
Можно ли открыть исходные операции и воспроизвести расчёт?
Это вопросы для испытания любого подобного инструмента, а не перечень возможностей Pulse Local.
Начать можно с небольшого обезличенного набора операций, для которого ответы рассчитаны заранее. Затем задать один и тот же вопрос разными словами и сравнить не только суммы, но и выбранные строки. Такой тест поможет заметить случаи, когда переформулировка меняет смысл запроса для модели.
Согласие двух нейросетей само по себе не гарантирует точности. Гораздо полезнее возможность проследить весь расчёт: как система поняла вопрос, какие операции выбрала и откуда взялась итоговая сумма.
Другие разборы применения ИИ в работе — в «AI в деле»