Сотрудники «скармливают» конфиденциальные деловые данные чат-боту ChatGPT, что вызывает опасения относительно безопасности, часть 2

(Окончание, начало см. http://rusrim.blogspot.com/2023/04/chatgpt-1.html )

«Взлом мозга» GPT-моделей

Действительно, такие атаки извлечения обучающих данных являются одной из основных проблем для специалистов в области машинного обучения, связанных с враждебной активностью. Согласно базе знаний «Ландшафт злонамеренных угроз для ИИ-систем»  (Adversarial Threat Landscape for Artificial-Intelligence Systems, Atlas) американской корпорации MITRE (специализируется в области системной инженерии и ведёт разработки и исследования в интересах органов государственной власти США, таких как Министерство обороны – Н.Х.), эти атаки, также известные как «утечки через интерфейс систем машинного обучения» (exfiltration via machine learning inference), позволяют собирать чувствительную информацию или осуществлять кражу интеллектуальной собственности (см. https://www.darkreading.com/vulnerabilities-threats/adversarial-ai-attacks-highlight-fundamental-security-issues ).

Это работает следующим образом: Посылая в порождающую ИИ-систему запросы, специально сформулированные таким образом, чтобы заставить её вспомнить определенные вещи, злоумышленник может заставить модель вспомнить конкретный элемент информации вместо генерирования синтетических данных. Известен ряд реальных примеров для модели GPT-3 – преемника модели GPT-2, в том числе случай, когда используемый на GitHub ИИ-инструмент Copilot вспомнил имя конкретного разработчика и его приоритеты кодирования (см. https://www.technologyreview.com/2022/08/31/1058800/what-does-gpt-3-know-about-me/ ).

Помимо продуктов на основе модели GPT, вопросы о рисках их использования возникли в отношении других сервисов на основе искусственного интеллекта, как, например, служба автоматического транскрибирования Otter.ai, которая преобразует в текст аудиофайлы, автоматически идентифицируя говорящих и позволяя помечать важные слова и выделять фразы. Размещение этой компанией подобной информации в своём облаке вызвало беспокойство у журналистов (см. https://www.theverge.com/2022/2/16/22937766/go-read-this-otter-ai-transcription-data-privacy-report ).

По словам старшего менеджера Otter.ai по соблюдению законодательно-нормативных требований Джули Ву (Julie Wu), эта компания привержена обеспечению конфиденциальности пользовательских данных и внедрила с этой целью строгие меры и средства контроля и управления.

«Компания Otter прошла аудит SOC2 Type 2 (речь идет о т.н. «системно-организационных мерах контроля и управления» (System and Organization Controls, SOC), определённых Американским институтом сертифицированных присяжных бухгалтеров (American Institute of Certified Public Accountants, AICPA); и о подготовке организациями, предоставляющими свои информационные системы в пользование как услугу, соответствующих отчётов в ходе аудита. Отчеты Type 2 касаются соответствия критериям доверенных систем (Trust Services Criteria) – Н.Х.) и представила соответствующие отчеты, и мы применяем технические и организационные меры для защиты персональных данных», - сообщила она в интервью изданию Dark Reading. «Идентификация говорящего привязана к учетной записи. Добавление имени говорящего научит Otter распознавать его в будущих разговорах, которые Вы записываете или загружаете в Вашу учётную запись», - но не позволяет идентифицировать этих людей владельцам других учётных записей.

Интерфейсы прикладного программирования позволяют быстро внедрять GPT-модели

Популярность ChatGPT застала многие компании врасплох. Согласно последним опубликованным данным годичной давности ( https://openai.com/blog/gpt-3-apps ), более 300 разработчиков используют GPT-3 для поддержки своих приложений. Например, социальная сеть Snap и торговые платформы Instacart и Shopify используют ChatGPT через API-интерфейс ( https://openai.com/blog/introducing-chatgpt-and-whisper-apis ) для добавления функциональной возможности чата в свои мобильные приложения.

Основываясь на беседах с клиентами своей компании, Ховард Тинг из Cyberhaven ожидает, что переход к порождающим ИИ-приложениям только ускорится, и их можно будет использовать для всего, начиная от создания меморандумов и презентаций и до классификации инцидентов безопасности ( https://www.darkreading.com/analytics/chatgpt-subs-security-analyst-hallucinates-occasionally ) и взаимодействия с пациентами.

По его словам, один из его клиентов сказали ему: «Послушайте, прямо сейчас, в качестве временной меры, я просто блокирую это приложение, но мой Совет директоров уже сказал мне, что мы не можем поступать таким образом, потому что эти инструменты помогут нашим пользователям быть более продуктивными. В этом есть конкурентное преимущество, и если мои конкуренты используют подобные порождающие ИИ-приложения, а я не позволяю своим пользователям применять их, то это ставит нас в невыгодное положение».

Хорошей новостью является то, что обучение и осведомлённость могут оказать большое влияние на риски утечки данных из конкретной компании, ввиду того, что большинство рискованных запросов подаётся небольшим числом сотрудников. По словам Ховарда Тинга из компании Cyberhaven, менее 1% сотрудников несут ответственность за 80%  инцидентов, связанных с отправкой чувствительных данных в ChatGPT.

«Как Вы знаете, есть две формы обучения: обучение в классе - например, когда Вы принимаете сотрудника на работу; а затем обучение не рабочем месте, когда кто-то на самом деле пытается ввести данные в ИИ-чатбот», - говорит он. «Я думаю, что обе формы важны, но, судя по тому, что мы наблюдали на практике, вторая форма намного эффективнее».

Кроме того, компания OpenAI и другие компании работают над ограничением доступа LLM-моделей к персональным данным и чувствительной информации: В случае запроса персональных данных или чувствительной корпоративной информации в настоящее время ChatGPT выдаёт сообщение об отказе его исполнения.

Мой комментарий: Такая же технология защиты давно уже используется и большинством современных машин поиска, однако упорный квалифицированный пользователь в состоянии её обойти, поэкспериментировав с запросами. Я это говорю на основе многолетнего личного опыта :)

Например, на вопрос: «Какова стратегия Apple на 2023 год?» ChatGPT ответил: «Как языковая ИИ-модель, я не имею доступа к конфиденциальной информации компании Apple или её планам на будущее. Apple - очень скрытная компания, которая обычно не раскрывает общественности свои стратегии и планы на будущее до тех пор, пока они не будут готовы опубликовать их.»

Роберт Лемос (Robert Lemos)

Источник: сайт Dark Reading
https://www.darkreading.com/risk/employees-feeding-sensitive-business-data-chatgpt-raising-security-fears