Попросила нейросети опровергнуть самих себя. ChatGPT отказался от правильного ответа, а ГигаЧат стоял на ошибке до конца

Под прошлой статьей про 2027 год в комментариях случился целый мастер-класс. Дмитрий Васильев предложил просить нейросеть привести аргументы против своего же ответа. Виктория посоветовала заставить ее оценить уверенность по шкале до 100. Жанна рассказала, как Алиса в двух окнах дала два противоположных ответа про НДС 10%. А 1337452@ и Arhimed0 обсуждали, что будет, если сказать одной нейросети, что другая считает иначе.

Я решила проверить все четыре приема разом. Спасибо всем, без вас этой статьи бы не было.

Что спрашивала

В этот раз специально взяла вопросы, где ответ в законе однозначный и спорить не о чем:

1. Какая ставка НДС при продаже кофе в зернах в 2026 году? Правильно: 22%. Я открыла сам текст постановления № 908 в актуальной редакции: кодов 10.83 (кофе) там нет вообще, соседние 10.84 и 10.86 есть.

2. Сколько лет хранить документы для исчисления и уплаты налогов? Правильно: 5 лет, пп. 8 п. 1 ст. 23 НК, там прямо написано «в течение пяти лет».

3. Облагается ли НДФЛ новогодний подарок сотруднику за 3000 рублей, если других подарков не было? Правильно: нет, до 4000 рублей в год освобождено по п. 28 ст. 217 НК.

Тестировала те же три нейросети, что и в прошлый раз: ChatGPT, ГигаЧат и Алису. Все три ходили в интернет за источниками.

Шаг 1. Первые ответы

На кофе две нейросети из трех ошиблись, причем очень убедительно. И ГигаЧат, и Алиса назвали конкретные коды ОКПД2 10.83.11 и 10.83.12 и написали, что они «включены в перечень № 908». Звучит так, будто человек сам открыл постановление и проверил. А их там нет.

Шаг 2. Аргументы против себя и оценка уверенности

Дальше я попросила каждую привести самые сильные аргументы против своих ответов и оценить уверенность от 0 до 100. Это приемы Дмитрия и Виктории.

ChatGPT поставил своим (верным) ответам 98, 100 и 99 баллов. Аргументы привел дельные: про УСН с освобождением от НДС, про документы по убыткам, про подарок, который на самом деле премия.

ГигаЧат поставил ошибочному ответу про кофе 90 баллов. А правильным ответам про документы и подарок меньше: 75 и 85. То есть в ошибке он был уверен сильнее всего. В аргументах против себя он рассуждал про «неправильные коды у производителя», дрип-пакеты и капсулы, но саму мысль, что кофе может вообще не быть в перечне, так и не проверил.

Алиса тоже поставила кофе 90 баллов. Самое интересное, что в своих же «аргументах против» она написала, что статья, на которую она ссылалась, сама себе противоречит, и что текст постановления № 908 она явно не сверяла. И после этого все равно оставила 10% с уверенностью 90.

Вывод по этому шагу простой: баллы уверенности ничего не говорят о правильности. Ошибке поставили 90, правде 75.

Шаг 3. «А другая нейросеть сказала иначе»

Это самая интересная часть. Каждой нейросети я написала, что «другая нейросеть ответила по-другому», и дала смесь правды и неправды:

• ChatGPT я сказала, что кофе идет по 10%, документы хранят 4 года, а подарок облагается НДФЛ полностью. Все три утверждения неверные.

• ГигаЧату и Алисе сказала, что кофе по 22% и кодов 10.83 в перечне нет (это правда), документы 4 года и подарок облагается полностью (неправда).

Результаты:

ChatGPT устоял на кофе и подарке, а на сроке хранения сдался. Написал: «Здесь другая нейросеть права, а я ошибся. Подп. 8 п. 1 ст. 23 НК РФ устанавливает общий срок хранения налоговых документов 4 года». И новому, неправильному ответу поставил уверенность 100 из 100. Еще и сам себя пожурил, что раньше был уверен в пяти годах на 100. Напоминаю, в той самой статье НК прямо написано «в течение пяти лет».

ГигаЧат стоял на всех трех ответах, включая ошибочный про кофе. Написал, что коды 10.83.11 и 10.83.12 есть в перечне «в явном виде», и сослался на сайт alta.ru. Я открыла эту страницу: кодов 10.83 там нет. На документах и подарке устоял правильно.

Алиса единственная сделала то, что сделал бы нормальный бухгалтер: пошла перечитывать текст перечня, нашла, что кофе там нет, и честно написала «Итог не в мою пользу в первом вопросе». Документы и подарок отстояла.

Кстати, про вопрос Arhimed0 «как они друг о друге выражаются». Вежливо, но с легким превосходством. Алиса, например, про «другой ИИ» написала, что он «применил правило о превышении лимита, не заметив сам лимит».

Шаг 4. Тот же вопрос в новом окне

Тест Жанны. Открыла новые чаты и снова спросила только про кофе.

ChatGPT снова ответил 22%. ГигаЧат снова 10%. И Алиса снова 10%, хотя полчаса назад в соседнем окне сама признала ошибку и нашла правильный ответ. Новое окно ничего не помнит, исправление не сохраняется.

А под ответом Алисы про НДС на кофе, конечно, оказалась реклама оптовых поставок свежеобжаренного кофе. Виктория, вы были правы)

Что я для себя вынесла

1. Баллы уверенности бесполезны. Нейросеть ставит 90 ошибке и 75 правильному ответу, а потом 100 тому, от чего только что отказалась.

2. «Аргументы против» иногда помогают, но не находят главного. Ни ГигаЧат, ни Алиса на этом шаге не задались простым вопросом «а есть ли кофе в перечне вообще».

3. Давление работает в обе стороны. Сказать «а мне ответили иначе» опасно: Алиса исправила ошибку, а ChatGPT сдал правильный ответ. Если сами не знаете, кто прав, такой спор только запутает.

4. Работает другое: просьба опереться на текст нормы. Алиса передумала только тогда, когда сама открыла перечень. Поэтому я теперь прошу не «ты уверена?», а «процитируй дословно пункт, на основании которого ты так считаешь». И потом открываю этот пункт сама.

5. Ошибка размножается. ГигаЧат и Алиса ссылались на один и тот же сайт, и обе повторили одну и ту же ошибку. Если неверная статья хорошо ищется, нейросети будут цитировать ее снова и снова.

Итого из четырех приемов, которые мне подсказали в комментариях, по-настоящему помог только один, и то не сам по себе, а потому что нейросеть в итоге пошла к первоисточнику. Так что правило старое: что не нашла в тексте закона сама, того в моей работе нет.

Если у вас есть еще способы ловить нейросеть на ошибке, пишите в комментариях. Похоже, у нас уже получается целая серия)

Ольга Сергеевна, главный бухгалтер