«Они могут уничтожить человечество»: исследователь ушел из Anthropic

Джейкоб Коксон (Jacob Coxon), последние три года занимавшийся предварительным обучением моделей в OpenAI и Anthropic, объявил об уходе из Anthropic.

Причина звучит жестко: по его мнению, обе компании слишком быстро движутся к созданию самообучающегося сверхинтеллекта и фактически «играют нашими жизнями».

Главные мысли из его заявления:

— Возможности технологии недооценивают. Коксон считает, что будущие системы смогут превосходить людей, искать уязвимости, ускорять научные открытия и получать реальные ресурсы.

— Опасения внутри лабораторий серьезнее, чем кажется. По его словам, некоторые руководители и исследователи частным образом допускают катастрофические последствия уже до конца десятилетия. Независимо проверить эти разговоры невозможно.

— OpenAI и Anthropic он критикует по-разному. Сотрудники OpenAI, по его оценке, не до конца осознали масштаб риска. В Anthropic опасность понимают, но продолжают гонку из-за страха, что первыми окажутся конкуренты.

— Решение о запуске сверхмощной системы не должно приниматься внутри корпоративного чата. Технология может затронуть всех, а фактически направление ее развития определяет небольшое число частных компаний.

— Выход он видит в координации между лабораториями: общих ограничениях, проверяемом замедлении разработок и, возможно, временной приостановке увеличения возможностей моделей.

Коксон также обратился к другим исследователям: стоит ли запускать обучение сверхинтеллектуальной системы, если мы еще не понимаем, как она принимает решения?

Важно: это личная позиция одного исследователя, а не доказанный прогноз и не официальное заявление Anthropic. Однако сам вопрос рекурсивного самоулучшения уже обсуждает и Anthropic. Компания признает как огромный потенциал таких систем, так и риск потери контроля над ними.

Главная мысль для бизнеса здесь не в том, чтобы срочно отказаться от ИИ.

Проблема начинается, когда скорость внедрения становится важнее управляемости. Чем автономнее система, тем важнее:

— ограничивать ее права доступа;
— не давать ей самостоятельно проводить платежи и менять критичные данные;
— сохранять журнал действий;
— требовать подтверждения человека перед важными операциями;
— заранее предусмотреть возможность остановки;
— не подключать агента сразу ко всей инфраструктуре компании.

Мы уже обсуждаем не чат-бота, который помогает написать письмо. Речь идет о системах, способных выполнять длинные цепочки действий, пользоваться инструментами и координировать работу других агентов.

И вопрос «кто отвечает за результат?» становится важнее вопроса «насколько быстро это работает?»