Ozon Банк для бизнеса
Реклама

Одно резюме — одиннадцать утечек: ИИ в найме

Как легально и безопасно применять ИИ там, где он уже работает с персональными данными — в чат-ботах, переводчиках, сервисах подбора персонала, видеосвязи и агентах, принимающих решения, — рассказал CISO, архитектор информационной безопасности и эксперт по безопасности ИИ из Армении Гарик Давтян.

6 просмотров9 открытий
Одно резюме — одиннадцать утечек: ИИ в найме
Сгенерировано с помощью ИИ

На онлайн-встрече проекта «Защита данных 360°» эксперт поделился оценками рисков теневого ИИ в организациях и того, как их контролировать.

Теневой ИИ, по словам Гарика Давтяна, — ежедневная практика.

— Пока компании занимаются политикой использования ИИ, сотрудники уже вовсю им пользуются. Вместе с этим данные уходят наружу, — сказал эксперт.

Он выделил три канала, по которым ИИ проникает в организацию.

Первый путь — сотрудник сам несет данные в бесплатные сервисы. Рекрутер загружает резюме соискательницы в чат-бот, юрист при необходимости прогоняет договор через браузерный переводчик, коллеги переписываются с ботом в мессенджере. Всё это утечки.

Второй путь — подразделение само покупает сервис по корпоративной карте.

— Это легко. Не нужно ждать несколько месяцев, пока закупки одобрят или приобретут лицензию, — объяснил Гарик Давтян.

Это опасно, но не самый страшный вариант.

Третий путь самый коварный.

— Самое опасное, когда поставщик программы встраивает в нее ИИ и включает его по умолчанию, никого не предупредив. По факту компания начинает платить ему своими данными, — подчеркнул спикер.

Прокси и DLP видят запрос, но не видят, что уходит

Стандартные средства защиты здесь не помогают. Прокси-серверы и DLP-системы, которые должны следить, чтобы конфиденциальные данные не покидали компанию, видят только сам факт обращения к сервису. Что именно сотрудник туда отправил, они не показывают. Еще меньше шансов заметить это, если человек работает с телефона или через подключенный VPN. В итоге специалист, который отвечает в компании за защиту персональных данных, узнает об утечке последним. А сообщать о ней регулятору пока нечего: компания просто не знает, что утечка произошла.

Причина не только техническая. Под теневым ИИ лежит обычная психология: удобство сильнее правил. А вред поначалу невидим.

Запрет уводит в еще более глубокую тень

Первое, что приходит в голову, — запретить. Вот только Гарик Давтян предупредил, что это не работает:

— При запрете ИИ уходит еще глубже в тень. Раньше мы могли спросить, какими инструментами вы пользуетесь и почему. Теперь никто ничего не скажет.

Рабочая альтернатива — собственный локальный ИИ. Не каждая компания может себе это позволить, но со временем такой путь станет доступнее.

— Для каждого сотрудника сформулирован функционал, который он использует. В реестре есть все функции, у каждой есть владелец. Данные остаются в периметре, журналы и доступы у компании, правила для всех устанавливает она, — пояснил эксперт.

Четыре лика ИИ: от модели до мультиагентной системы

Спикер предложил посмотреть на организацию сверху, как на план этажа. Управление ИИ на нем — крошечный зеленый квадратик, и в большинстве компаний сейчас именно так. А ИИ-систем становится всё больше: отбор резюме, чат-бот для сотрудников, ИИ-помощник, который пишет менеджерам по продажам черновики писем, прогноз отказов клиентов. Каждая из них — новый канал утечки.

— Со временем никто не может ответить, какие системы работают, кто за них отвечает, какие данные они обрабатывают и какие риски создают. Этот вопрос решают политика и регламент по использованию ИИ: в них закреплены владельцы, ведется реестр, прописано допустимое применение, — сообщил он и разложил то, что мы называем ИИ, на четыре ступени, которые различаются ценой ошибки.

Модель только получает текст и отдает текст. Баз данных внутри нее нет, только множество чисел, «весов», по которым она вычисляет вероятность следующего слова. Поэтому на один и тот же вопрос можно получить разные ответы.

Копилот, или ассистент, — это та же модель, но с доступом к регламентам, карточкам клиентов и переписке. Ответ остается текстом, только более точным.

Агент появляется, когда у ИИ есть инструменты, или, как говорит эксперт, «руки». Он может провести платеж, выпустить карту, отправить сообщение. У модели и ассистента ущерб ограничивается утечкой данных, а здесь это уже действие: в банке агент может сделать перевод, и деньги улетели.

Мультиагентная система самая опасная: агент сам создает субагентов и ставит им задачи. Если сервер упал, об этом знают все. А когда агент выдает уверенную ошибку и передает ее субагентам, а они друг другу, распознать это очень трудно.

— У модели есть голос, у агента есть руки. И чем больше самостоятельности, тем дороже машинка и тем короче должен быть поводок, — подытожил Гарик Давтян.

Удалили файл, а модель всё помнит

Спикер показал, как персональные данные попадают в модель и что с ними происходит:

— Первый раз спрашиваем модель: «Телефон клиента Ивана Ивановича?» Она выдает какой-то номер. Мы называем это конфабуляцией, в интернете чаще говорят «галлюцинация». У модели вероятностная природа: если данных нет, она подбирает самое вероятное, то есть выдумывает.

Если же данные использовались для обучения или дообучения модели, всё сложнее. Допустим, из CRM выгрузили файл с телефоном клиента Ивана Ивановича и передали его модели на обучение. Она не хранит такой файл как документ, а «впитывает» его содержимое в свои веса. Чем чаще подобные данные к ней попадают, тем прочнее она их запоминает. В итоге на вопрос «Какой телефон у Ивана Ивановича?» она может назвать точный номер. Компания удаляет исходный файл и считает, что номер стерт. Однако из модели он никуда не делся.

— Нам кажется, что мы удалили номер, но знание осталось, — подчеркнул эксперт.

Остается вопрос: считается ли то, что модель «знает» персональные данные, их обработкой?

— Единого ответа пока нет ни у нас, ни в мире, — ответил Гарик Давтян.

Но и без обучения данные не исчезают. Они могут оставаться в журналах запросов, историях чатов, резервных копиях и очереди на разметку.

Кейс Анны: как резюме оказалось в одиннадцати системах

Спикер разобрал условную ситуацию: девушка по имени Анна ищет работу и с помощью ИИ-помощника составляет резюме. Для этого она передает ему около 14 персональных данных, в том числе сведения о здоровье и фотографию. Дальше начинается движение этих данных по разным цифровым сервисам.

Первый вариант — Анна размещает резюме на специализированном сайте по поиску работы. Она принимает условия использования площадки, не зная, что ее данные передаются за границу. На сайте создается профиль, который видят работодатели. Они могут скачивать резюме, но Анна уже не знает, кто получил ее данные, сколько появилось копий и как добиться их удаления.

Затем девушка откликается на вакансию, с помощью ИИ составляет сопроводительное письмо и прикрепляет резюме.

Второй вариант — Анна заходит непосредственно на сайт компании и начинает общаться с чат-ботом. Переписка сохраняется у поставщика сервиса. Если бот работает на внешней платформе, данные могут передаваться за границу. Счетчики аналитики фиксируют действия посетительницы сайта. После заполнения анкеты резюме поступает в систему подбора персонала.

Впрочем, и здесь цепочка не заканчивается. После обновления сервиса в нем появилась функция автоматической оценки резюме с помощью ИИ. Если результат оказывается ниже 60 %, система автоматически отправляет отказ: до рекрутера документ даже не доходит. Еще одна копия резюме попадает в корпоративную почту.

— Я взял всю цепочку, чтобы показать, какие риски возникают на каждом этапе. Получается, что резюме еще никто не открыл, а данные Анны уже находятся в пяти системах. Когда они поступают в компанию, оператором персональных данных становится сама компания, — объяснил Гарик Давтян.

Теперь к резюме приступает рекрутер Ольга. Первое, что она видит, — оценку, которую выставил сервис подбора. Собственной корпоративной ИИ-системы у компании нет, а до конца недели ей необходимо обработать, допустим, 50 резюме. Чтобы ускорить работу, Ольга начинает использовать доступные внешние инструменты.

Сначала загружает документы в чат-бот, чтобы получить их краткое содержание. Затем отправляет резюме онлайн-переводчику: одному из руководителей компании, работающему за границей, нужен перевод. Чтобы дополнить сведения о кандидате, Ольга снова обращается к чат-боту и ищет информацию в открытых источниках. В работу попадают фотография Анны и другие сведения о ней, в том числе те, которые могут относиться к биометрическим данным.

Затем материалы поступают руководителю. Он использует ИИ для анализа электронной переписки и подготовки краткого содержания. Другие алгоритмы могут оценивать лицо, голос и эмоции кандидата, а также формировать черные списки. Если компания записывает видеоинтервью или проводит видеозвонки с последующей расшифровкой, голос Анны и ее рассказ о больничном тоже оказываются в облачном сервисе.

В итоге данные одной соискательницы оказываются уже в одиннадцати цифровых системах.

— Руководитель в конце концов отказывает Анне. Формально решение принимает человек, вот только на него повлияли результаты работы всех этих дополнительных систем. Сама кандидатка об этом даже не знает. При этом резюме непосредственно открыл всего один человек, — подчеркнул Гарик Давтян.

Обезличивание не выдержало сопоставления

Помогает ли обезличивание? Эксперт показал на примере. Данные Анны лежат в разных системах под разными идентификаторами, между собой они не связаны. Но руководитель пишет коллегам: «12 марта в 15:00 собеседование Анны. Кто с ней работал, напишите».

— Простое, нормальное сообщение. А для ИИ оно может стать ключом: он начинает пересобирать все данные. В итоге ИИ собрал всю мозаику, и на вопрос о кандидатке отвечает: «Анна, Минск, длительный больничный, видеоинтервью, отказ». Обезличивание не выдержало сопоставления, — резюмировал спикер.

Право быть забытым

Что будет, если Анна напишет оператору и потребует удалить ее данные? Это ее право, и компании нужно честно ответить, что именно она может сделать.

— Из своих систем компания удалит всё: кадровую систему, ящик отдела кадров, календари, почту продаж, копилот. У поставщиков, с которыми есть договор, например у сервиса подбора, видеосвязи, почтового клиента, удаление можно запросить. А у поставщиков без договора, таких как чат-бот на сайте, аналитика сайта, бесплатный чат-бот, онлайн-переводчик, удалить не получится. И из самой модели удалить ничего нельзя. Оператор отвечает за все копии, а управляет лишь некоторыми. Получается, что все копии, которыми компания не управляет, нужно выявить и запретить, — говорит эксперт.

Он разобрал четыре уровня контроля над ИИ-сервисом.

Бесплатный чат-бот. Приложение, данные, управление взаимодействием компонентов (оркестрация), сама ИИ-модель и техническая инфраструктура — всё находится у поставщика сервиса.

Корпоративный чат-бот по договору. Приложение и данные у компании, промпт-оркестрация может быть у нее же. Модель и инфраструктура остаются у поставщика. Договором можно закрепить, что обучение на данных выключено, обновления без согласования не приходят, действуют фильтры по персональным данным. По инфраструктуре в договоре прописывают место хранения, срок хранения журналов, порядок удаления и информирование об инцидентах.

Локальный ИИ. За всё отвечает сама компания, и это наилучший вариант.

— Если данные попали в модель и она на них обучилась или дообучилась, в крайнем случае ее можно уничтожить вместе с данными. Так права человека будут обеспечены, — разъяснил эксперт.

«Для закона всё это будет обработкой»

Гарик Давтян прошел по кейсу через призму законодательства:

— Для закона всё это обработка. Первое — должно быть основание: согласие Анны на подбор на конкретную вакансию. А здесь появились описание в чат-боте и перевод, то есть новые цели.

Дальше трансграничная передача: чат-бот и переводчик находятся за рубежом, а ни основания, ни разрешения нет.

Специальные категории данных — больничный, лицо, голос — прошли через ИИ. Нарушение в том, что данные находятся там, где компания их не контролирует, и она об этом не знает.

И наконец, удаление из весов чужой модели: оператор эти данные не удалит. Ходят слухи о методах «переобучения», после которых модель якобы забывает данные, но их эффективность не доказана. Поэтому пока принимаем: данные не удалить, акцентировал эксперт.

Еще один пример — кол-центр, который отправляет записи звонков в зарубежный сервис расшифровки.

— Сразу несколько красных флажков: нет основания, данные ушли за рубеж, нет договора, — отметил Гарик Давтян.

Что нужно сделать: чек-лист от эксперта

Спикер сформулировал практические шаги.

Оператору не стоит:

— использовать публичный сервис без договора;

— давать ИИ-агенту доступ ко всей почте: права агента должны быть минимальными;

— проводить обезличивание без проверки, что данные нельзя восстановить.

Оператору нужно:

— заключать договоры с поставщиками ИИ-сервисов;

— вести учет всех используемых ИИ-систем;

— определить, как, где и когда можно использовать зарубежные сервисы.

И еще один совет эксперта: не вводить полный запрет на ИИ.

Информации об авторе

Этот пост написан блогером Трибуны. Вы тоже можете начать писать: сделать это можно .

Начать дискуссию
ГлавнаяПодписка