(Окончание, начало см. http://rusrim.blogspot.com/2026/08/1_0609704074.html )
В отношении программного обеспечения, реализующего технологию ИИ, оператор совместно с разработчиком системы ИИ должен проводить анализ уязвимостей программного обеспечения на основании данных, получаемых из внешних источников (базы данных известных уязвимостей, официальные ресурсы разработчиков программных средств, специализированные публикации, форумы, иные источники), и принимать меры по их устранению.
При предоставлении подрядной организации систем ИИ в качестве внешнего сервиса в информационной инфраструктуре подрядной организации, с использованием которой функционирует указанный сервис, должны быть реализованы мероприятия и меры по защите информации, установленные требованиями по защите информации (обеспечению безопасности) по классу защищенности не ниже класса защищенности информационной системы оператора (обладателя информации).
Взаимодействие информационной системы оператора (обладателя информации) с информационной инфраструктурой подрядной организации, используемой для предоставления системы искусственного интеллекта в качестве сервиса, должно осуществляться с учетом требований по защите информации (обеспечению безопасности).
В случае если в системе ИИ осуществляется обработка персональных данных граждан Российской Федерации, иной информации ограниченного доступа и (или) с применением системы ИИ обеспечивается реализация значимых функций оператора, необходимо:
- Обеспечить реализацию мероприятий по безопасной разработке программного обеспечения, обеспечивающего реализацию системы искусственного интеллекта, предусмотренных национальными стандартами в области разработки безопасного программного обеспечения;
- Провести сертификацию программного обеспечения, обеспечивающего реализацию системы искусственного интеллекта, по требованиям безопасности информации, утвержденным ФСТЭК России в соответствии с подпунктом 4 пункта 8 Положения о Федеральной службе по техническому и экспортному контролю, утвержденного Указом Президента Российской Федерации от 16 августа 2004 г. № 1085.
Дополнительные требования:
- Должно быть обеспечено выделение информационной инфраструктуры разработки от иной инфраструктуры разработчика, не связанной с разработкой данной системы, в отдельный физически изолированный сегмент;
- Должно быть обеспечено хранение наборов обучающих данных в зашифрованном виде с использованием шифровальных (криптографических) средств защиты информации;
- В отношении выходной модели ИИ и ее параметров (весов) должны быть обеспечены:
- Применение методов состязательного обучения (включение состязательных примеров в обучающую выборку);
- Внедрение механизмов ограничения допустимых диапазонов данных, санитизации входных данных;
- Должно быть реализовано тестирование на устойчивость к промпт-атакам;
- Должно быть обеспечено выделение системы ИИ в информационной системе в отдельный изолированный сегмент информационной системы;
- Должна быть обеспечена целостность модели ИИ с использованием шифровальных (криптографических) средств защиты информации.
Мой комментарий: Системы ИИ выделены из общего класса ПО в обособленный объект защиты со своим уникальным набором рисков и угроз.
Однако ключевые требования (сертификация ПО ИИ при работе с ПД, обеспечение класса защищенности в инфраструктуре разработки, физическая изоляция) на практике могут быть выполнены только крупными игроками (госкорпорациями, ИТ-гигантами с собственной лицензируемой инфраструктурой). Для среднего бизнеса и госорганов со сторонними разработчиками это создаст дополнительные барьеры.
Фраза «в приоритетном порядке наборы из доверенных источников (например, госорганы, КИИ)» с моей точки декларативна. По каким критериям признавать «доверенные источники» и как действовать в случаях, если таких данных недостаточно для обучения узкоспециализированной модели.
Документ устанавливает требования к документированию на всех этапах жизненного цикла системы ИИ. Обязательные документы (согласно тексту методического документа):
- Техническое задание (ТЗ): Должно быть разработано по результатам оценки угроз безопасности информации и содержать требования к реализации мер защиты информации в системе ИИ;
- Результаты оценки угроз: Сведения об угрозах должны быть включены в банк данных угроз ФСТЭК России. Документирование проведенной оценки является обязательным;
- Результаты анализа уязвимостей: В отношении входной модели ИИ и ПО, обеспечивающего разработку и эксплуатацию, должен проводиться анализ уязвимостей на основании данных из внешних источников. Результаты анализа должны быть зафиксированы.
Требование хранить обучающие данные в обособленном хранилище и обеспечивать их целостность призвано предотвратить «отравление» обучающих выборок - одну из серьезных угроз в условиях их постоянного обновления, и это сложная техническая задача. Ошибки здесь могут привести к тому, что модель будет обучена на скомпрометированных данных, что поставит под угрозу всю систему.
Несмотря на все меры, полностью исключить уязвимости, характерные для ИИ (галлюцинации, промпт-инъекции, отравление данных), пока невозможно. Требования ФСТЭК должны рассматриваться как первый, но не последний шаг в долгом пути обеспечения безопасности ИИ.
Источник: Консультант Плюс
https://www.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=531896
Комментариев нет:
Отправить комментарий