Температура 0 не делает ИИ надежным: почему строгого промпта недостаточно

Можно установить модели температуру 0, написать инструкцию на три страницы и запретить ей ошибаться. Ответы станут похожими, но система не станет предсказуемой. Промпт описывает желаемое поведение — он не проверяет лимиты, права доступа и правильность расчетов.

Что нельзя закрепить одним промптом

Инструкция не гарантирует, что ИИ:

• использует актуальный документ;

• правильно извлек сумму;

• соблюдает корпоративный лимит;

• выбрал контрагента из справочника;

• остановился при нехватке данных;

• не совершил действие повторно;

• сохранил историю решения.

Все это должны контролировать обычные программные правила.

Простой пример

ИИ читает нестандартный счет и извлекает:

• номер;

• дату;

• контрагента;

• сумму;

• валюту.

Дальше код проверяет арифметику, ищет контрагента в справочнике и сравнивает сумму с заявкой. При расхождении документ направляется бухгалтеру.

Модель читает и интерпретирует. Программа проверяет точные условия. Человек принимает значимое решение.

Что делает систему предсказуемой

Не одинаковые формулировки ответов, а управляемые границы:

1. Разрешенные источники.

2. Заданная структура результата.

3. Программная проверка правил.

4. Отказ при недостатке данных.

5. Передача критичных случаев человеку.

6. Журнал всех действий.

Невозможно гарантировать, что языковая модель никогда не ошибется. Можно гарантировать, что ее непроверенная догадка не превратится в действие компании.

Расширенный разбор того, как строится предсказуемый контур вокруг ИИ есть в моем телеграм канале.

Как вы считаете: бизнес слишком много надеется на промпты и слишком мало — на обычные программные проверки?

Роман Ткачев — эксперт по автоматизации корпоративных процессов и практическому применению ИИ в работе корпоративных служб.