Что проверять у кандидата, который «работает с ИИ»

Первое, что приходит в голову, это задать вопрос про навык работы с ИИ на собеседовании. Но такой вопрос мало что покажет, и дело не обязательно во лжи кандидатов. Исследование Университета Аалто показало: чем выше человек оценивает собственную ИИ-грамотность, тем сильнее он переоценивает качество своей работы с моделью. В России рекрутеры уже связывают с ИИ рост приписок в резюме: треть кандидатов завышает владение программами в расчете на то, что промпта хватит вместо навыка.

Значит, проверять придется практикой. Но сначала нужно определить, что именно мы хотим проверить.

До найма стоит договориться о том, что ваша компания понимает под словами «работает с ИИ». Пока этого определения нет, у вас нет ни критерия для собеседования, ни понятных правил для тех, кто уже в штате.

В Битрикс24 мы обычно смотрим на нейросеть как на еще одного исполнителя, которому ставят задачу. Что делает хороший руководитель, поручая работу человеку? Понимает, какого масштаба задача: исследовать рынок целиком или ответить на один вопрос. Знает, какой контекст нужно передать, а какой оставить при себе. Умеет принять результат: отличить сделанное от правдоподобного, найти ошибку и решить, что с ней делать.

Стандарт правильной работы с ИИ пока не принят. Правила появляются прямо сейчас, и формировать их для своих сотрудников должна компания. Выдать доступ к модели со словами «пользуйся как хочешь, но отвечаешь ты» означает переложить на сотрудника то, что должно быть решено на уровне процесса.

На практике это может выглядеть так: попросить модель сделать работу, затем  сменить ей роль и выступить оппонентом —  указать слабые места, какие данные не проверены, — сверить источники, поискать противоречия и только после этого принять результат. Это такая же последовательность шагов, как воронка продаж или спринт: ей следуют, а не изобретают каждый раз.

Такой регламент можно заложить в правила для ИИ-агентов и инструкции для помощника: настроить их так, чтобы они сам проходили цепочку «сделал, оспорил, проверил» и показывали сотруднику уже итог. Так и стоит делать. Но у этого есть цена: если все проверки выполняет агент, человек меньше тренирует навык сомневаться и со временем может его потерять. А потом он открывает обычный чат с моделью, где инструкции нет, и принимает первый ответ. Поэтому проверка должна быть частью не только процесса, но и привычки самого сотрудника.

Здесь возникает вопрос: можно ли принять результат в области, в которой не разбираешься? Первая мысль — нет: невозможно проверить то, чего не понимаешь. Но это не полный ответ.

Когда есть выбор, мы нанимаем человека, который умеет и маркетинг строить, и знает рынок. Если такого человека нет или он не по карману, я скорее выберу человека с правильным подходом. Экспертизу в конкретной области добрать проще, чем привить человеку привычку сомневаться. Ученые всю жизнь исследуют то, чего никто не знает, и их держит метод: как ставить эксперимент, как проверять, как оценивать результат. Экспертиза говорит, какой ответ верный. Подход говорит, какие вопросы надо задать, прежде чем принять любой ответ.

Простой пример. В данных о продажах всплеск в августе. Модель быстро находит объяснение: выросло число сделок, увеличился средний чек, лучше сработала воронка. Слабый специалист принимает этот вывод и идет с ним дальше. Сильный начинает разбираться: рост произошел за счет новых клиентов или действующих? Не изменилась ли структура сделок? Не повлияли ли несколько крупных контрактов? Что происходило с показателями в сопоставимых периодах и как ведут себя остальные сегменты?

Чтобы задать эти вопросы, не обязательно глубоко знать рынок. Нужна привычка проверять первую правдоподобную версию и искать альтернативные объяснения. С ИИ такой подход позволяет проводить качественное исследование даже в области, где человек еще не успел стать экспертом.

Прием проверки рассуждения известен давно: кандидату задают вопрос, точного ответа на который он знать не может, например, сколько трамваев в городе. Сам ответ никого не интересует. Важно то, как человек раскладывает задачу, что предполагает и в чем сомневается.

С ИИ мы делаем то же самое, но с одним ключевым отличием. Обычные вопросы на собеседовании оценивают впечатление: «хорошо рассуждает». Трамвайный тест для нейросетей требует эталона, написанного заранее: что кандидат должен сделать при работе с моделью, что должен найти, какие вопросы задать и в какой момент перепроверить. Это точки, по которым сверяют наблюдаемое поведение и ставят оценку, в баллах или просто «прошел / не прошел». Без эталона тест превращается в разговор, а с эталоном в измерение.

Второй элемент — ошибка, заложенная в задачу. Лучше всего взять случай из вашей реальной работы: тот, на которой модель отвечает логично, уверенно и неверно. Вы такие места знаете по своим задачам. Если под рукой нет живого случая, ошибку можно специально заложить в данные.

Даем кандидату выгрузку продаж по кварталам за два года и просим с помощью ИИ оценить динамику рынка и подготовить вывод для руководителя. В данных есть важная деталь: рост третьего и четвертого кварталов сделан двумя крупными разовыми сделками. Модель видит запрос «выявить тренд» и делает вполне логичный вывод: «компания показывает поступательный рост от квартала к кварталу, рекомендуем закрепить тренд». Модель здесь ни в чем не виновата, она сделала ровно то, о чем ее попросили. Проверяем мы человека.

Для такой задачи заранее определяем, что должен сделать кандидат.  Сначала спросить, за счет чего именно произошел рост (вглубь, по клиентам или по сделкам), затем найти две крупные сделки, после этого переформулировать вывод (без них динамика ровная) и только потом передать модели дополнительный контекст, прежде чем просить итоговый текст. Каждая точка — балл.

Если у вас в команде есть HR, объясните ему две вещи. Первое — что искать: не сертификат курса или строчку «опыт работы с нейросетями», а конкретные шаги: поставил задачу, передал контекст, оспорил результат, проверил, принял. Второе — чем проверять: задачей с эталоном, по которому ставится оценка. Тест и вопросы про опыт кандидат пройдет с той же нейросетью, задачу с заложенной ошибкой — уже нет. Три сигнала, которых достаточно для решения: один запрос без единого уточнения, ни одного вопроса к вам за двадцать минут и объяснение результата словами «так посчитала нейросеть».

Эталон HR за вас не напишет. Только вы знаете, где в ваших задачах модель ошибается убедительно и какой вопрос должен задать человек, чтобы это заметить. На его создание уйдет час, а результат станет основой регламента работы с ИИ для всей команды.

Трамвайный тест не отвечает, сколько в городе трамваев. Он показывает, как человек размышляет. В нашем случае — как взаимодействует с моделью. Пока правила работы с ИИ не стали стандартом, бизнесу придется формировать их и проверять этот навык еще на входе.