Ключевое понятие «функциональная безопасность ИИ» трактуется как «отсутствие неразумного риска, связанного с ошибками ИИ, вызванными сбоями и функциональными недостатками».
В документе широко используется аббревиатура AI-SCS, означающая «система контроля и управления ИИ, связанной с обеспечением функциональной безопасности» (AI Safety-related Control System). Также широко используется аббревиатура AUL (от Application Usage Level) для обозначения степени критичности ошибок при использовании компоненты программного обеспечения системы ИИ.
Основное внимание в данной серии технических спецификаций уделяется функциям безопасности, выполняемым системами, использующими ИИ как внутри самой затрагивающей безопасность системы, так и на этапе её проектирования и разработки. Предполагается, что эти документы будут использоваться совместно с соответствующими стандартами функциональной безопасности для решения уникальных задач, возникающих при интеграции ИИ в приложения, критически важные в плане безопасности.
Сложность и внутренне присущая динамическая природа процессов принятия решений искусственным интеллектом требуют специализированного подхода к функциональной безопасности. В отличие от традиционных программных систем, модели ИИ не имеют чётко определенных спецификаций и легко объяснимого поведения. Данная серия документов решает эти проблемы, внедряя адаптированные к системам ИИ методологии и одновременно обеспечивая согласованность с общепризнанными стандартами функциональной безопасности, используемым в различных отраслях, такими как стандарты серий IEC 61508, ISO 26262 и другие.
Данная серия технических спецификаций предлагает всестороннюю концептуальную основу для решения связанных с ИИ уникальных проблем в критически важных для безопасности системах. В этих документах признается необходимость непрерывного проведения оценки и управления на протяжении всего жизненного цикла системы, с учётом таких факторов, как дрейф модели (model drift) и деградация производительности. Эта концептуальная структура использует многофасетный подход, принимая во внимание как технические, так и организационные аспекты разработки и внедрения ИИ.
Концептуальная структура предлагает методологии для:
- Выявления и классификации специфических ошибок и сбоев ИИ,
- Оценки их влияния на функции безопасности,
- Внедрения адекватных мер по снижению рисков, и
- Непрерывного ведения мониторинга и оценки.
В условиях, когда ИИ продолжает эволюционировать и затрагивать всё больше аспектов связанных с безопасностью систем, данная серия технических спецификаций является важнейшим ресурсом для разработчиков, инженеров по безопасности и регулирующих органов. Данные спецификации предлагают инструменты и методологии, необходимые для действий на сложном стыке искусственного интеллекта и функциональной безопасности, обеспечивая возможность получения отдачи от этих мощных технологий без ущерба для безопасности.
Документы данной серии включают общие соображения относительно угроз безопасности, влияющих на безопасность систем ИИ, - но сами по себе не содержат конкретных требований. Кроме того, в них принимается во внимание человеческий фактор при взаимодействии между безопасностью и защитой в системах ИИ.
Если не указано иное, эта серия документов применима ко всем типам технологий ИИ. Она включает в себя конкретные сведения о машинном обучении (МО).»
Серия технических спецификаций ISO/IEC CD TS 22440 состоит из 3 частей:
ISO/IEC CD TS 22440-1 «Искусственный интеллект – Функциональная безопасность и системы ИИ – Часть 1: Требования» (Artificial intelligence — Functional safety and AI systems - Part 1: Requirements) объёмом 71 страница, см. https://www.iso.org/standard/89535.html .
В данной части описаны ключевая терминология, свойства, факторы риска, процессы, методы, подходы и архитектуры, имеющие ключевое значение для обеспечения функциональной безопасности систем ИИ.
Содержание данной части следующее:
Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Схема классификации систем ИИ и их компонентов
6. Вопросы жизненного цикла системы контроля и управления ИИ, связанной с функциональной безопасностью (AI Safety-related Control System, AI-SCS)
7. Анализ ошибок ИИ
8. Снижение рисков, связанных с ошибками ИИ
9. Тестирование системы контроля и управления ИИ, связанной с функциональной безопасностью (AI Safety-related Control System, AI-SCS)
Приложение A (нормативное): Меры по смягчению рисков, связанных с ошибками ИИ
Приложение B (нормативное): Методы тестирования AI-SCS
Приложение C (нормативное): Программные инструменты на основе ИИ
Приложение D (справочное): Вопросы архитектуры AI-SCS
Библиография
ISO/IEC CD TS 22440-2 «Искусственный интеллект – Функциональная безопасность и системы ИИ – Часть 2: Рекомендации» (Artificial intelligence — Functional safety and AI systems - Part 2: Guidance) объёмом 73 страницы, см. https://www.iso.org/standard/89536.html
В данной части даются подробные рекомендации по внедрению, описываются практические методологии, а также рассматриваются аспекты интеграции процессов в интересах поддержки изложенных в данном документе требований.
Содержание данной части следующее:
Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Рекомендации по диаграммам архитектуры «степеней использования приложения» (Application Usage Level, AUL)
6. Рекомендации по вопросам жизненного цикла системы контроля и управления ИИ, связанной с функциональной безопасностью (AI Safety-related Control System, AI-SCS)
7. Рекомендации по анализу ошибок ИИ
8. Рекомендации по смягчению последствий ошибок ИИ
9. Рекомендации по тестированию системы контроля и управления ИИ, связанной с функциональной безопасностью (AI Safety-related Control System, AI-SCS)
Приложение A (справочное): Применимость к программному обеспечению с классом технологии I (Software Technology Class I, SWTC-I) стандарта IEC 61508-3:2010«Функциональная безопасность электрических / электронных / программируемых электронных систем, связанные с безопасностью - Часть 3. Требования к программному обеспечению» (Functional safety of electrical / electronic / programmable electronic safety-related systems - Part 3: Software requirements)
Приложение B (справочное): Возможные процессы и полезные технологии для верификации и валидации
Приложение C (справочное): Соображения в отношении других стандартов безопасности
Приложение D (справочное): Соображения по компиляторам графов машинного обучения
Приложение E (справочное): Количественная оценка вероятности ошибки для ИИ
Библиография
ISO/IEC CD TS 22440-3 «Искусственный интеллект – Функциональная безопасность и системы ИИ – Часть 3: Примеры применения» (Artificial intelligence — Functional safety and AI systems - Part 3: Examples of application) объёмом 50 страниц, см. https://www.iso.org/standard/89537.html
В данной части представлены конкретные варианты применения и примеры из реальной жизни, иллюстрирующие, каким образом технологии ИИ могут быть безопасно интегрированы и развернуты в критически важных для безопасности системах.
Содержание данной части следующее:
Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Введение
6. Система слежения за людьми с помощью ИИ-камеры
7. Нейронная сеть для калибровки гелиостатов на солнечных электростанциях башенного типа
8. Использование инструментов на основе ИИ/машинного обучения в технологиях мониторинга процессов
9. Навигация беспилотных летательных аппаратов в городской среде во время посадки
10. Использование инструментов на основе ИИ/машинного обучения для подтверждения заявлений о безопасности
11. Использование цифрового двойника для анализа безопасности
Библиография
Источник: сайт ИСО
https://www.iso.org/standard/89535.html
https://www.iso.org/standard/89536.html
https://www.iso.org/standard/89537.html
Комментариев нет:
Отправить комментарий