Самое неприятное свойство нейросети — не в том, что она ошибается. Ошибаются все инструменты. Неприятно, что ошибку невозможно отличить на глаз: выдуманное выглядит ровно так же, как верное.
Тот же спокойный тон, та же складность, ни одной шероховатости, за которую цепляется внимание. Текст с выдуманной суммой читается приятнее, чем текст с оговорками, — потому что в нём нет сомнений.
Расскажу, как мы с этим живём, и что из нашей практики можно применить в разговоре с клиентом, который приходит с фразой «мне нейросеть посчитала».
Наш собственный случай
Мы каждый день делаем изображения к материалам: заголовок, короткая подпись, иногда цифра. Однажды модель дорисовала в макет показатель, которого не было ни в тексте, ни в задании, — красивое круглое число, набранное тем же шрифтом, что и всё остальное. Выглядело оно убедительнее настоящих.
Поймали случайно. Ровно с того дня у нас появилось правило: каждое изображение перед публикацией просматривается с увеличением, и любая цифра сверяется с текстом. Не потому что мы недоверчивые, а потому что доверять тут нечему: модель не отличает то, что знает, от того, что сочинила, — у неё это один и тот же процесс.
Для картинки цена ошибки — неловкость. Для акта сверки, письма в налоговую или расчёта по договору цена другая.
Почему «проверять всё» не работает
Первое, что обещает себе человек после такого случая, — проверять каждое слово. Обещание честное и недолговечное.
Через неделю внимание привыкает к ровному тексту, а объём растёт. Сплошная проверка держится ровно до первого занятого дня, и дальше её незаметно перестаёт хватать.
Работает другое: проверять не текст, а места. Их немного, они всегда одни и те же.
Имена и названия. Организации, фамилии, должности, номера документов. Модель охотно достраивает правдоподобное окружение — так в нашем случае к выдуманной цифре подрисовалось всё остальное.
Даты и периоды. Особенно там, где в исходнике их не было: «за первое полугодие», «с апреля» — формулировки, которые появляются сами и звучат естественно.
Любые числа. Суммы, проценты, количества, реквизиты. Число — самое опасное место: оно короткое, выглядит точным и проверяется дольше всего.
Цитаты и ссылки на нормы. Отдельная категория: пересказ своими словами модель делает хорошо, а дословную цитату и номер пункта — придумывает так же складно, как всё прочее.
Правило, которое экономит больше всего времени
Оно простое: если факта не было в том, что вы сами передали на вход, — он приехал ниоткуда.
Не «где-то, наверное, было». Именно ниоткуда: модель не ходила в справочные системы, если её туда не пустили, и не помнит вчерашних документов, если их не показали. Всё, что появилось сверх ваших материалов, подлежит либо подтверждению, либо удалению.
Из этого правила следует и второе. Спрашивать источник у самой модели бесполезно. На вопрос «откуда это?» она напишет ссылку, номер отчёта и название организации — тем же уверенным тоном. Проверять придётся уже две вещи вместо одной.
Полезнее договариваться на входе: отвечай только по этим материалам, а чего в них нет — так и пиши, что нет. Формулировка звучит наивно, но заметно меняет поведение: у модели появляется разрешённый ответ «не знаю», а без разрешения она его почти не выбирает.
Что спросить у того, кто продаёт вам помощника
Если клиент выбирает сервис с ИИ, самый полезный вопрос — не про модель и не про скорость.
Что система делает, когда не знает ответа?
Ответ «она всегда отвечает» — плохой ответ. Хороший звучит скучно: не знает — говорит об этом прямо и передаёт вопрос человеку, а человек отвечает за такое-то время. Хорошо, если рядом есть и вторая половина: что видит в этот момент клиент, чтобы он не сидел в тишине.
Помощник, который молчит, когда не уверен, полезнее помощника, который отвечает всегда. Это неочевидно ровно до первой уверенной ошибки в чужих цифрах.
И про ответственность — коротко
Подпись под документом ставит человек. Ссылка на инструмент не работает ни в разговоре с клиентом, ни где-либо ещё: «так посчитала программа» звучит так же, как «так получилось в таблице».
Практический вывод из этого один, зато полезный: там, где вы всё равно отвечаете лично, экономить нужно не на проверке, а на подготовке. Чем чище материалы на входе, тем меньше у модели поводов додумывать.
Зачем это писал
Я работаю над сервисом, который отвечает клиентам малого бизнеса вместо владельца, — и правило «не знаешь, скажи и позови человека» у нас не пожелание, а требование к продукту. Далось оно труднее всего остального: заставить систему промолчать сложнее, чем заставить её ответить.
Но материал не о нас. Если он пригодится вам в разговоре с клиентом, который принёс расчёт от нейросети, — значит написан не зря.
А вам уже приносили такие расчёты? И как вы обычно проверяете?
Начать дискуссию