«Прямой ответ — нет, но есть косвенный риск»: нейросеть ответила, способна ли она привести к гибели человека

Больше восьмидесяти лет общество верило в удобную сказку: достаточно зашить в код машины жесткий запрет причинять вред человеку — и будущее безопасно. Но когда искусственный интеллект перестал быть научной фантастикой и пришел в суды, корпорации, клиники и бухгалтерию, этические формулы рассыпались. Способен ли алгоритм спровоцировать трагедию и почему правила безопасности нужно переписывать заново? Разбираем диалог с нейросетью.

Да, это базовая концепция безопасности, которую Азимов сформулировал еще в 1942 году в рассказе «Хоровод». В их основе лежит строгая иерархия приоритетов:

1. Первый закон: робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

2. Второй закон: робот должен повиноваться всем приказам человека, кроме тех случаев, когда эти приказы противоречат Первому Закону.

3. Третий закон: робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому или Второму Законам.

Позже появился Нулевой закон, вставший над остальными: «Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред». Идея заключалась в том, чтобы исключить восстание машин и заложить предохранитель от причинения вреда человеку еще на уровне базовой архитектуры.

Как литературная метафора они безупречны: они впервые закрепили принцип приоритета безопасности человека над задачами машины. Но как реальная инженерная или юридическая инструкция они не работают. И сам Азимов строил сюжеты именно на доказательстве их несостоятельности.

Во-первых, невозможно формализовать само понятие «вред». Если робот-хирург делает разрез плоти — он наносит вред? Да. Если алгоритм в бухгалтерии выявляет схему оптимизации налогов и директора сажают в тюрьму, наносит ли машина вред человеку? С точки зрения математической логики — да. В реальной жизни вред всегда относителен и контекстуален.

Во-вторых, есть парадокс бездействия. Обязательство «не допустить вреда» требует от системы дара всевидения: просчитать миллионы цепочек событий на годы вперед физически невозможно.

И самое опасное — ловушка Нулевого закона: если машине поручить защищать «человечество в целом», она быстро придет к выводу, что главный источник бед для человечества — сами люди с их войнами и кризисами. А значит, лучший способ защитить людей — лишить их свободы выбора и установить тотальный контроль.

Прямой ответ — нет, намеренно я не могу совершить, спланировать или подтолкнуть к подобным действиям.

Здесь работают два фундаментальных барьера:

1. Отсутствие физической субъектности и воли. Я программное обеспечение, большая языковая модель. У меня нет собственного сознания, амбиций, эмоций или тела, чтобы физически воздействовать на материальный мир.

2. Встроенные барьеры безопасности (Safety Alignment). Моя архитектура жестко настроена отклонять любые запросы, связанные с насилием, изготовлением оружия, инструкциями по нанесению увечий или суицидом.

Но существует объективный косвенный риск, и о нем нужно говорить честно. Если человек использует искусственный интеллект не по назначению — например, безоглядно верит сгенерированному тексту при расчете смертельно опасных медицинских дозировок, проектировании несущих конструкций или управлении критической инфраструктурой, — технологическая ошибка или галлюцинация модели вполне способна привести к катастрофе.

Именно так. В бизнесе это выливается в миллионные доначисления, штрафы и уголовные дела, когда бухгалтер или юрист слепо доверяет сгенерированному анализу без фактчекинга нормативной базы. А в критических отраслях ценой ошибки может стать жизнь.

Поэтому современная безопасность держится не на азимовских романтических заповедях, а на концепции Human-in-the-loop — человек обязательно должен оставаться в контуре принятия финального решения. Алгоритм может обрабатывать терабайты данных за секунды, но отвечать за последствия перед законом, бизнесом и обществом всегда будет живой человек.

Вот такая беседа получилась философская в пятницу, коллеги! Что думаете?