Ozon Банк для бизнеса
Реклама
ИИ с калькулятором: как финансисту отличить инвестицию от дорогого эксперимента

ИИ с калькулятором: как финансисту отличить инвестицию от дорогого эксперимента

Василий Мухин, директор направления корпоративных платформ и ИИ К2Тех рассказывает о методике, которая помогает CFO отличить инвестицию в ИИ от дорогого эксперимента: считать ROI до запуска и проверять его после, сопоставлять полную стоимость ИИ с денежной оценкой высвобожденного времени, верифицировать оценки экспертами и ежемесячно контролировать экономику.

8 просмотров7 открытий

В К2Тех больше 70% ИИ-инициатив были закрыты на этапе гипотез и пилотов. Мы приняли это решение после того, как разработали методику, которая позволяет оценивать ожидаемую отдачу от ИИ-проектов и проверять её после запуска. Такой подход помог сосредоточить ресурсы на решениях с обоснованной экономикой и создать ИИ-контур, который окупился за восемь месяцев. В сентябре его ROI составил 951%. 

В этой статье расскажу о принципах, которые помогают нам рассчитывать ожидаемую отдачу от ИИ до запуска и проверять её после, чтобы финансисовый директор подписывал бюджет с цифрами, а не с верой. 

От разрозненных экспериментов к единой системе оценки

В 2024 году сотрудники К2Тех уже активно использовали ИИ, но это происходило бессистемно. Каждое подразделение покупало свои вычислительные ресурсы, выбирало платформы и создавало агентов. Затраты дублировались, чувствительные данные рисковали утечь, а бизнес-эффект на уровне компании заметке не был.

Это характерная для рынка проблема. Согласно исследованию К2Тех, в 40% опрошенных компаний — субъектов критической информационной инфраструктуры — ответственность за внедрение ИИ либо децентрализована между бизнес-юнитами, либо вообще ни за кем не закреплена. При таком подходе подразделения могут выбирать разные метрики для оценки результатов. Одни ориентируются на число пользователей, другие — на потраченные токены, третьи — на отзывы сотрудников. Сопоставить эти показатели и оценить совокупную отдачу от инвестиций трудно.

Именно поэтому мы начали с централизации ответственности. Создали единую команду, в которую вошли топ-менеджеры, специалисты подразделений трансформации и внутренней автоматизации, а также HR. Одной из её приоритетных задач стала разработка системы оценки эффективности и окупаемости ИИ-проектов. Экономику решили оценивать на двух этапах: до масштабирования — чтобы отбирать перспективные сценарии, после внедрения — чтобы сопоставлять прогноз с фактическим результатом.

Для управления инициативами разработали ИИ-офис — платформу, которая помогает оценивать гипотезы и принимать решения об их дальнейшем развитии. Встроенный калькулятор ROI анализирует описание проекта, задаёт его владельцу уточняющие вопросы и предварительно оценивает бизнес-эффект. При расчёте мы используем метод Монте-Карло и опираемся на методологию оценки финансовой эффективности ИИ-проектов, которую разработали участники отраслевого клуба «ИИ в финансовой отрасли», созданного Ассоциацией ФинТех и Альянсом в сфере ИИ. Так ещё до выделения бюджета становится понятно, на каких допущениях строится расчёт и что предстоит проверить в пилоте. 

Из чего складывается экономика ИИ

В основе нашей методики — сопоставление полной стоимости работы ИИ и денежной оценки высвобождённого рабочего времени за один и тот же период. До запуска используем прогнозные значения, после — уточняем расчёт по данным реально использованных ресурсов.

CAPEX — это стоимость серверного оборудования. У нас это собственный сервер на 8 видеокарт в контуре компании. OPEX включает ФОТ команды, электричество, лицензии, подписки на внешние модели и сервисы, а также работу инженеров и подрядчиков. Платежи за внешние инструменты разносим по тем продуктам, которые их используют.

Если несколько решений работают на общей инфраструктуре, её стоимость распределяем между ними. Иначе одни проекты будут выглядеть рентабельными только потому, что их вычислительные расходы учтены в другом бюджете. Для всех инструментов мы рассчитываем внутреннюю стоимость токена (условных кирпичиков, которые нужны для того чтоб модель строила свой ответ). Она учитывает потребление общих ресурсов, и служит основой для расчёта стоимости различных сценариев: например, агент, подключенный к различным системам и выполняющий в них действия, расходует больше ресурсов, чем просто чат с моделью.

Эффект ИИ измеряется в сэкономленном рабочем времени и переводится в деньги по усреднённой ставке часа сотрудника. Уязвимое место здесь — оценка того, сколько заняла бы задача без ИИ. Если её даёт сам сотрудник, он может быть заинтересован в завышении своей реальной загрузки. Поэтому мы не используем самооценку сотрудника как единственное основание для расчёта: дополнительно трудоёмкость определяет ИИ-модель, а профильные специалисты выборочно проверяют её выводы. Ниже — как устроена эта схема. 

Как считаем сэкономленные деньги

Подсчет сэкономленных денег тоже потребовал разработки целой схемы. Чтобы оценить бизнес-эффект мы ориентируемся на количество решенных задач сотрудников, а не на другие метрики, например, на количество потраченных токенов. Ориентация на расход токенов может даже стимулировать лишние затраты. Например, инженер Microsoft в беседе с The Pragmatic Engineer признался, что намеренно увеличивает потребление, чтобы не выглядеть сотрудником, который недостаточно использует ИИ. 

Для начала мы анализируем обращения к ИИ и объединяем связанные по смыслу в кластеры задач. Несколько обращений к модели могут относиться к одному результату: сотрудник сначала просит подготовить документ, затем уточняет содержание и исправляет отдельные фрагменты. Такую группировку выполняем автоматически с помощью ИИ.

Затем отдельно настроенная оценочная ИИ-модель определяет тип и сложность работы, оценивает её трудоёмкость без ИИ с учётом квалификации сотрудника. Полученные оценки периодически проверяет профильный специалист или руководитель функции; при необходимости их корректируем.

Далее сопоставляем оценку времени без ИИ со временем выполнения задачи с его помощью. Разницу умножаем на усреднённую стоимость часа работы сотрудника:

Денежная оценка высвобождённого времени = (время без ИИ − время с ИИ) × стоимость рабочего часа.

Суммируя результаты по задачам за месяц, получаем показатель, который можно сопоставить с расходами на ИИ за этот период. При этом учитывать нужно весь путь до готового результата, включая работу сотрудника с инструментом, проверку и исправления, а не только скорость генерации ответа. Например, модель подготовила проект письма за минуту, но сотрудник ещё 15 минут проверял цифры и редактировал формулировки. Если без ИИ письмо заняло бы 40 минут, высвободилось 24 минуты, а не 39. 

Здесь важно уточнение: денежная оценка высвобождённого времени не равна сокращению выплат. Если задача заняла меньше времени, зарплата сотрудника от этого не уменьшилась. Компания получила возможность использовать освободившиеся часы для другой работы. В нашей модели ценность реализуется через больший объём задач тем же составом и сдерживание роста ФОТ, а не через сокращение штата. Для К2Тех это особенно важно: мы реализуем кастомные ИТ-проекты для крупного бизнеса, где результат зависит от глубокой экспертизы специалистов. Передавая ИИ подготовку черновиков, поиск информации и другие рутинные операции, мы высвобождаем их время для сложных задач, напрямую влияющих на результаты проектов. 

Поэтому в обосновании проекта нужно показывать не только количество сэкономленных часов, но и то, как подразделение собирается их использовать. Например, обработать растущий объём документов без дополнительного найма. Тогда финансовый результат можно оценить через предотвращённые расходы на эту позицию.

Как проверяем оценки ИИ-модели с экспертом

Модель не может точно измерить время работы, которая фактически не выполнялась без ИИ: она прогнозирует его по содержанию задачи и квалификации исполнителя. Такой прогноз может отличаться от реальности. Поэтому мы периодически сопоставляем её выводы с мнением профильных специалистов и руководителей функций. Такая проверка позволяет увидеть расхождения и понять, в какую сторону модель ошибается.

Например, мы проверили задачу по настройке навыка анализа выгрузок запросов к языковым моделям. Ведущий разработчик оценил её выполнение без ИИ в 40 часов. Фактически с ИИ она заняла 7 часов. По экспертной оценке, высвободилось 33 часа.

Оценочная модель определила исходную трудоёмкость той же задачи в 35,3 часа — на 4,7 часа, или 11,7%, ниже оценки разработчика. Соответственно, и расчётная выгода у неё получилась меньше: 28,3 часа вместо 33. Расхождение составило 11,7%, что является незначительным, к тому же ИИ пессимизировал результаты своего использования. Значит на такую оценку можно опираться.

Одна проверка не подтверждает точность всех последующих расчётов. Поэтому верификация должна быть регулярной. Для финансового директора её результат — возможность увидеть, как получена оценка, кто её проверил и насколько она разошлась с экспертной. Это делает допущения прозрачными и позволяет учитывать погрешность при принятии решений.

Почему расчёт не заканчивается после запуска

Поэтому в К2Тех мы ежемесячно анализируем затраты, высвобождённое время, ROI и активность пользователей — по отдельным инструментам и по всему ИИ-контуру. Результаты рассматривают ответственные топ-менеджеры и используют для корректировки приоритетов.

При этом разделяем два вопроса: вернулись ли первоначальные вложения и какую отдачу контур даёт сейчас. На первый отвечает срок окупаемости. В нашем случае он составил восемь месяцев с учётом вложений в серверы и текущих расходов на электричество и команду. Дополнительно мы сопоставили накопленный эффект первого года с капитальными затратами: отношение составило 1,92.

На второй вопрос отвечает месячная экономика. В сентябре денежная оценка высвобождённого времени составила около 26 млн рублей при расходах около 2,5 млн рублей. Эффект за вычетом расходов — около 23,6 млн рублей, а ROI по внутреннему расчёту — 951%. Здесь приведены округлённые денежные значения; сам показатель рассчитывается по точным данным.

Важно, что и заявленный срок окупаемости нашего контура рассчитан через стоимость высвобождённого времени, а не через аналогичное сокращение денежных выплат.

Отдельно контролируем расходы, которые растут без дополнительной пользы для бизнеса. Например, агент может проверять почту каждую минуту, хотя для задачи достаточно одного обращения в час или двух раз в день. Команда оптимизирует периодичность фоновых действий, состав данных, которые передаются модели при каждом обращении, — например, убирает из истории переписки не относящиеся к текущей задаче сообщения, и режимы работы моделей, а также отслеживает аномальное потребление ресурсов.

Финансовому директору здесь нужен не только отчёт «план — факт», но и объяснение отклонений. Снизилась частота использования? Подорожало выполнение задачи? Больше времени уходит на исправления? От причины зависит следующее решение: расширять применение, дорабатывать инструмент или останавливать проект.

В итоге предварительная оценка и расчёт после запуска становятся частями одного процесса. Сначала фиксируем допущения и решаем, стоит ли проверять гипотезу. Затем уточняем затраты и трудоёмкость на реальных задачах. После — проверяем, как высвобождённый ресурс используется бизнесом. Именно эта последовательность позволяет отличить перспективную инвестицию от эксперимента, который продолжается только потому, что на него уже потратили деньги.

Что я бы проверил на месте CFO

Перед тем как согласовывать ИИ-бюджет, задайте команде четыре вопроса. 

  1. Есть ли единый владелец затрат и эффекта? 

  2. Из чего складывается стоимость единицы результата, включая людей, электричество и подписки? 

  3. Кто независимо проверяет оценки трудоёмкости и какова погрешность? 

  4. Как часто пересчитывается экономика после запуска и что происходит, если она ухудшилась?

Если ответов нет, перед вами эксперимент, а не инвестиция. Это не повод отказываться от ИИ. Это повод начать обсчитывать ИИ-проекты так же строго, как любую другую статью бюджета.

Информации об авторе

Контакты

Начать дискуссию
ГлавнаяПодписка