Когда говорят о рисках искусственного интеллекта, обычно обсуждают утечки данных, галлюцинации моделей или юридические вопросы. Однако новое исследование Вашингтонского университета показало совсем другую проблему. Оказалось, что современные языковые модели практически исключают женских персонажей из детских сказок.
На первый взгляд кажется, что это история исключительно про родителей и детей. Но на самом деле эксперимент очень хорошо показывает, как работают современные генеративные модели. А значит — какие риски возникают у компаний, которые ежедневно используют ИИ для создания контента, обучения сотрудников и общения с клиентами.
Что обнаружили исследователи
Все больше родителей используют нейросети для создания персонализированных сказок.
Достаточно написать простой промпт:
«Расскажи сказку про мою дочь Машу, которая дружит с лисой и совой».
Через минуту ребенок получает собственную книгу с иллюстрациями.
Именно такие сценарии заинтересовали исследователей Вашингтонского университета.
Они попросили шесть популярных языковых моделей создавать истории о говорящих животных, а затем проанализировали 23 800 получившихся персонажей.
Результаты оказались неожиданными:
только 2% персонажей были женского пола
41% — мужского
57% — вообще без указания пола
Получается парадокс.
Мы используем искусственный интеллект, рассчитывая получить более современный и разнообразный контент. Но вместо этого женские персонажи практически исчезают.
Почему ИИ делает именно так
Важно понимать, что нейросеть не принимает подобных решений сознательно. Она обучается на огромных массивах человеческих текстов.
Если десятилетиями в сказках главными героями чаще становились волки, медведи, львы и зайцы мужского пола, модель воспринимает это как закономерность.
Но есть еще один момент: разработчики стараются сделать ИИ-модели максимально нейтральными, чтобы избежать обвинений в дискриминации. Поэтому при любой неопределенности система предпочитает вообще не указывать пол персонажа.
В результате возникает неожиданный эффект. Вместо большего разнообразия часть образов просто исчезает.
Почему эта история касается бизнеса
На мой взгляд, самое интересное начинается именно здесь. Сказки — это всего лишь удобный эксперимент. Те же самые языковые модели сегодня используются для создания:
вакансий
должностных инструкций
рекламных текстов
писем клиентам
презентаций
обучающих материалов
внутренних регламентов
Если нейросеть способна автоматически усиливать перекосы в детской истории, она точно так же может воспроизводить их и в корпоративных документах.
Причем никто не будет специально писать дискриминационный текст. Он появится автоматически как следствие особенностей обучения модели.
Именно поэтому история про сказки становится гораздо более серьезной, чем кажется.
Новый риск при использовании генеративного ИИ
Еще несколько лет назад компании проверяли тексты на орфографию, юридические ошибки и соответствие брендбуку. Теперь появляется еще одна задача: контролировать, какие закономерности она воспроизводит.
Генеративный ИИ не создает информацию с нуля. Он собирает статистически наиболее вероятный вариант ответа. А значит, способен масштабировать любые скрытые перекосы, которые присутствовали в обучающих данных.
Это уже не проблема конкретной сказки. Это вопрос качества любого контента, который компания публикует с помощью искусственного интеллекта.
Что стоит сделать компаниям уже сейчас
Использование ИИ требует не только хороших промптов, но и новых процедур контроля.
На практике полезно:
проверять автоматически созданные тексты перед публикацией
проводить выборочный аудит AI-контента
не полагаться полностью на "нейтральность" модели
использовать экспертную редактуру для материалов, влияющих на репутацию компании
Особенно если речь идет о массовых коммуникациях.
Вывод
Исследование Вашингтонского университета интересно не только специалистам по детской психологии. Оно показывает гораздо более важную закономерность.
Искусственный интеллект не просто повторяет человеческие стереотипы — в отдельных сценариях он способен их усиливать.
Для бизнеса это означает, что генеративный ИИ нельзя воспринимать как полностью объективный инструмент. Чем активнее компании используют нейросети для создания контента, тем важнее становится контроль не только фактических ошибок, но и тех смыслов, которые модель воспроизводит автоматически.
И, возможно, именно это станет одной из новых задач корпоративного управления ИИ в ближайшие годы.
Начать дискуссию