ИСО и МЭК: Продолжается работа над проектом технических спецификаций в 3-х частях ISO/IEC CD TS 22440 «Искусственный интеллект – Функциональная безопасность и системы ИИ»

Как сообщил сайт Международной организации по стандартизации (ИСО), 10 апреля 2026 года завершилось голосование по «проекту комитета» технических спецификаций в 3-х частях ISO/IEC CD TS 22440 «Искусственный интеллект – Функциональная безопасность и системы ИИ» (Artificial intelligence - Functional safety and AI systems), над которыми работает технический подкомитет ИСО/МЭК JTC1/SC42 «Искусственный интеллект». Можно сказать, что работа над данным проектом уже приближается к завершению.

Ключевое понятие «функциональная безопасность ИИ» трактуется как «отсутствие неразумного риска, связанного с ошибками ИИ, вызванными сбоями и функциональными недостатками».

В документе широко используется аббревиатура AI-SCS, означающая «система контроля и управления ИИ, связанной с обеспечением функциональной безопасности» (AI Safety-related Control System). Также широко используется аббревиатура AUL (от Application Usage Level) для обозначения степени критичности ошибок при использовании компоненты программного обеспечения системы ИИ.
 

В аннотации ко всей серии отмечается:

«Целью данной серии технических спецификаций является преодоление разрыва между традиционными практиками обеспечения функциональной безопасности, основанными на существующих стандартах, и уникальными проблемами в области искусственного интеллекта (ИИ). Серия призвана помочь в проектировании продуктов, которые отдают приоритет физической безопасности и предотвращают потенциальный вред как с помощью функциональных возможностей безопасности на основе ИИ, так и с помощью инструментов разработки на основе ИИ. Документы в составе серии могут использоваться при установлении в общих чертах требований по безопасности как для систем безопасности, включающих ИИ-компоненты, так и для инструментов на основе ИИ.

Основное внимание в данной серии технических спецификаций уделяется функциям безопасности, выполняемым системами, использующими ИИ как внутри самой затрагивающей безопасность системы, так и на этапе её проектирования и разработки. Предполагается, что эти документы будут использоваться совместно с соответствующими стандартами функциональной безопасности для решения уникальных задач, возникающих при интеграции ИИ в приложения, критически важные в плане безопасности.

Сложность и внутренне присущая динамическая природа процессов принятия решений искусственным интеллектом требуют специализированного подхода к функциональной безопасности. В отличие от традиционных программных систем, модели ИИ не имеют чётко определенных спецификаций и легко объяснимого поведения. Данная серия документов решает эти проблемы, внедряя адаптированные к системам ИИ методологии и одновременно обеспечивая согласованность с общепризнанными стандартами функциональной безопасности, используемым в различных отраслях, такими как стандарты серий IEC 61508, ISO 26262 и другие.

Данная серия технических спецификаций предлагает всестороннюю концептуальную основу для решения связанных с ИИ уникальных проблем в критически важных для безопасности системах. В этих документах признается необходимость непрерывного проведения оценки и управления на протяжении всего жизненного цикла системы, с учётом таких факторов, как дрейф модели (model drift) и деградация производительности. Эта концептуальная структура использует многофасетный подход, принимая во внимание как технические, так и организационные аспекты разработки и внедрения ИИ.

Концептуальная структура предлагает методологии для:

• Выявления и классификации специфических ошибок и сбоев ИИ,
  
  
• Оценки их влияния на функции безопасности,
  
  
• Внедрения адекватных мер по снижению рисков, и
  
  
• Непрерывного ведения мониторинга и оценки.

В условиях, когда ИИ продолжает эволюционировать и затрагивать всё больше аспектов связанных с безопасностью систем, данная серия технических спецификаций является важнейшим ресурсом для разработчиков, инженеров по безопасности и регулирующих органов. Данные спецификации предлагают инструменты и методологии, необходимые для действий на сложном стыке искусственного интеллекта и функциональной безопасности, обеспечивая возможность получения отдачи от этих мощных технологий без ущерба для безопасности.

Документы данной серии включают общие соображения относительно угроз безопасности, влияющих на безопасность систем ИИ, - но сами по себе не содержат конкретных требований. Кроме того, в них принимается во внимание человеческий фактор при взаимодействии между безопасностью и защитой в системах ИИ.

Если не указано иное, эта серия документов применима ко всем типам технологий ИИ. Она включает в себя конкретные сведения о машинном обучении (МО).»

Серия технических спецификаций ISO/IEC CD TS 22440 состоит из 3 частей:

ISO/IEC CD TS 22440-1 «Искусственный интеллект – Функциональная безопасность и системы ИИ – Часть 1: Требования» (Artificial intelligence — Functional safety and AI systems - Part 1: Requirements) объёмом 71 страница, см. https://www.iso.org/standard/89535.html . 

В данной части описаны ключевая терминология, свойства, факторы риска, процессы, методы, подходы и архитектуры, имеющие ключевое значение для обеспечения функциональной безопасности систем ИИ.

Содержание данной части следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Схема классификации систем ИИ и их компонентов
6. Вопросы жизненного цикла системы контроля и управления ИИ, связанной с функциональной безопасностью (AI Safety-related Control System, AI-SCS)
7. Анализ ошибок ИИ
8. Снижение рисков, связанных с ошибками ИИ
9. Тестирование системы контроля и управления ИИ, связанной с функциональной безопасностью (AI Safety-related Control System, AI-SCS)
Приложение A (нормативное): Меры по смягчению рисков, связанных с ошибками ИИ
Приложение B (нормативное): Методы тестирования AI-SCS
Приложение C (нормативное): Программные инструменты на основе ИИ
Приложение D (справочное): Вопросы архитектуры AI-SCS
Библиография

ISO/IEC CD TS 22440-2 «Искусственный интеллект – Функциональная безопасность и системы ИИ – Часть 2: Рекомендации» (Artificial intelligence — Functional safety and AI systems - Part 2: Guidance) объёмом 73 страницы, см. https://www.iso.org/standard/89536.html 

В данной части даются подробные рекомендации по внедрению, описываются практические методологии, а также рассматриваются аспекты интеграции процессов в интересах поддержки изложенных в данном документе требований.

Содержание данной части следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Рекомендации по диаграммам архитектуры «степеней использования приложения» (Application Usage Level, AUL) 
6. Рекомендации по вопросам жизненного цикла системы контроля и управления ИИ, связанной с функциональной безопасностью (AI Safety-related Control System, AI-SCS)
7. Рекомендации по анализу ошибок ИИ
8. Рекомендации по смягчению последствий ошибок ИИ
9. Рекомендации по тестированию системы контроля и управления ИИ, связанной с функциональной безопасностью (AI Safety-related Control System, AI-SCS)
Приложение A (справочное): Применимость к программному обеспечению с классом технологии I (Software Technology Class I, SWTC-I) стандарта IEC 61508-3:2010«Функциональная безопасность электрических / электронных / программируемых электронных систем, связанные с безопасностью - Часть 3. Требования к программному обеспечению» (Functional safety of electrical / electronic / programmable electronic safety-related systems - Part 3: Software requirements)
Приложение B (справочное): Возможные процессы и полезные технологии для верификации и валидации 
Приложение C (справочное): Соображения в отношении других стандартов безопасности
Приложение D (справочное): Соображения по компиляторам графов машинного обучения
Приложение E (справочное): Количественная оценка вероятности ошибки для ИИ
Библиография

ISO/IEC CD TS 22440-3 «Искусственный интеллект – Функциональная безопасность и системы ИИ – Часть 3: Примеры применения» (Artificial intelligence — Functional safety and AI systems - Part 3: Examples of application) объёмом 50 страниц, см. https://www.iso.org/standard/89537.html 

В данной части представлены конкретные варианты применения и примеры из реальной жизни, иллюстрирующие, каким образом технологии ИИ могут быть безопасно интегрированы и развернуты в критически важных для безопасности системах.

Содержание данной части следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Введение
6. Система слежения за людьми с помощью ИИ-камеры
7. Нейронная сеть для калибровки гелиостатов на солнечных электростанциях башенного типа
8. Использование инструментов на основе ИИ/машинного обучения в технологиях мониторинга процессов
9. Навигация беспилотных летательных аппаратов в городской среде во время посадки
10. Использование инструментов на основе ИИ/машинного обучения для подтверждения заявлений о безопасности
11. Использование цифрового двойника для анализа безопасности
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/89535.html 
https://www.iso.org/standard/89536.html 
https://www.iso.org/standard/89537.html 

ИСО и МЭК: Опубликован технический отчёт ISO/IEC TR 5469:2024 «ИИ - Функциональная безопасность и системы искусственного интеллекта»

В январе 2024 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации новой нового технического отчёта ISO/IEC TR 5469:2024 «Искусственный интеллект - Функциональная безопасность и системы искусственного интеллекта» (Artificial intelligence - Functional safety and AI systems) объёмом 82 страницы, см. см. https://www.iso.org/standard/81283.html и https://www.iso.org/obp/ui/en/#!iso:std:81283:en .

Документ подготовлен техническим подкомитетом по стандартизации ИСО/МЭК JTC1/SC42 «Искусственный интеллект» (Artificial Intelligence).

Напомню, что на основе финального проекта этого документа (ISO/IEC DTR 5469) был разработан российский предстандарт ПНСТ 836-2023 «Искусственный интеллект. Функциональная безопасность и системы искусственного интеллекта», о котором см. мой пост здесь: http://rusrim.blogspot.com/2024/01/836-2023.html

Во вводной части документа, в частности, отмечается:

«В настоящем документе описываются свойства, соответствующие факторы риска, существующие методы и процессы, имеющие отношение:

• к применению ИИ для реализации функциональной возможности, связанной с безопасностью;
  
  
• к применению связанных с безопасностью функциональных возможностей, реализованных без использования ИИ, - для обеспечения безопасности оборудования, управляемого ИИ;
  
  
• к применению ИИ-систем для проектирования и разработки связанных с безопасностью функциональных возможностей.»

Содержание технического отчёта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Обзор вопросов функциональной безопасности
6. Использование технологий ИИ в электрических / электронных / программируемых электронных (E/E/PE) системах, связанных с безопасностью
7. Элементы ИИ технологий и принцип трёхэтапной реализации
8. Свойства ИИ-систем и связанные с ними факторы риска
9. Методы верификации и валидации
10. Меры контроля / управления и смягчения рисков
11. Процессы и методологии
Приложение А: Применимость стандарта IEC 61508-3 к элементам ИИ-технологий
Приложение В: Примеры применения принципа трёхэтапной реализации
Приложение С: Возможный процесс и полезная технология для верификации и валидации
Приложение D: Соответствие между ISO/IEC 5338 и стандартами серии IEC 61508
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/81283.html
https://www.iso.org/obp/ui/en/#!iso:std:81283:en

МЭК: Важность функциональной безопасности

Данная редакционная заметка была опубликована 11 октября 2023 года на блоге на сайте Международной электротехнической комиссии (МЭК – International Electrotechnical Commission, IEC).

Рисунок: (С) Tung Nguyen / Pixabay

Куда бы мы ни пошли и что бы мы ни делали, мы, как правило, всегда находимся поблизости от каких-либо электрических или электронных устройств и систем. Целью функциональной безопасности является обеспечение безопасности этих устройств и систем, а также того, чтобы не причиняли нам неприемлемого вреда.

В центре внимания функциональной безопасности находится электроника и соответствующее программное обеспечение. Она активирует встроенные механизмы безопасности для снижения потенциальных рисков, способных привести к причинению вреда или уничтожению чего-либо или кого-либо.

Функциональная безопасность присутствует практически везде, от самолетов до промышленных машин и медицинских приборов.

Например, автоматические двери оснащены встроенными датчиками, которые открывают эти двери достаточно быстро, чтобы Вы не расквасили себе о них нос, и закрывают их позади Вас достаточно медленно, чтобы Вы не застряли на полпути.

Датчики в детекторах дыма активируют спринклерную систему тушения пожара, а используемые в различных системах (таких как водопровод и производство электроэнергии) перепускные клапаны предупреждают пользователей о достижении определенных уровней давления.

Стандарты функциональной безопасности разработаны для обеспечения безопасности и надёжности программного обеспечения, обеспечивающего эту автоматическую защиту.

Стандарт IEC 61508 ( https://webstore.iec.ch/searchform&q=iec%2061508 ) представляет собой горизонтальную серию стандартов, устанавливающих требования к функциональной безопасности, применимые к широкому спектру отраслей промышленности.

Мой комментарий: Опубликованная в 2010 году редакция стандарта IEC 61508:2010 «Функциональная безопасность связанных с безопасностью электрических / электронных /программируемых электронных систем» (Functional safety of electrical / electronic / programmable electronic safety-related systems) включает 7 частей:

• Часть 1: Общие требования (General requirements), см. https://webstore.iec.ch/publication/5515 . В России адаптирована как ГОСТ Р МЭК 61508-1-2012 «Функциональная безопасность систем электрических, электронных, программируемых электронных, связанных с безопасностью. Часть 1. Общие требования», https://protect.gost.ru/document1.aspx?control=31&baseC=6&page=7&id=183652
  
  
• Часть 2: Требования к электрическим / электронным/ программируемым электронным системам, связанным с безопасностью (Requirements for electrical/electronic/programmable electronic safety-related systems), см. https://webstore.iec.ch/publication/5516 . В России адаптирована как ГОСТ Р МЭК 61508-2-2012 «Функциональная безопасность систем электрических, электронных, программируемых электронных, связанных с безопасностью. Часть 2. Требования к системам», https://protect.gost.ru/document.aspx?control=7&baseC=6&page=16&id=181816 (с поправкой, см. https://protect.gost.ru/document1.aspx?control=31&baseC=6&page=16&id=239740 );
  
  
• Часть 3: Требования к программному обеспечению (Software requirements), см. https://webstore.iec.ch/publication/5517 . В России адаптирована как ГОСТ IEC 61508-3-2018 «Функциональная безопасность систем электрических, электронных, программируемых электронных, связанных с безопасностью. Часть 3. Требования к программному обеспечению»,   https://protect.gost.ru/document.aspx?control=7&id=231456 ; и ранее  ГОСТ Р МЭК 61508-3-2012 «Функциональная безопасность систем электрических, электронных, программируемых электронных, связанных с безопасностью. Часть 3. Требования к программному обеспечению» (отменён),  https://protect.gost.ru/document.aspx?control=7&id=182129
  
  
• Часть 4: Определения и сокращения (Definitions and abbreviations), см. https://webstore.iec.ch/publication/5518 . В России адаптирована как ГОСТ Р МЭК 61508-4-2012 «Функциональная безопасность систем электрических, электронных, программируемых электронных, связанных с безопасностью. Часть 4. Термины и определения», https://protect.gost.ru/document1.aspx?control=31&baseC=6&id=183575
  
  
• Часть 5: Примеры методов для определения уровней полноты безопасности (Examples of methods for the determination of safety integrity levels), см. https://webstore.iec.ch/publication/5519 . В России адаптирована как ГОСТ Р МЭК 61508-5-2012 «Функциональная безопасность систем электрических, электронных, программируемых электронных, связанных с безопасностью. Часть 5. Рекомендации по применению методов определения уровней полноты безопасности», https://protect.gost.ru/document.aspx?control=7&id=183603
  
  
• Часть 6: Руководство по применению стандартов IEC 61508-2 и IEC 61508-3 (Guidelines on the application of IEC 61508-2 and IEC 61508-3), см. https://webstore.iec.ch/publication/5520 . В России адаптирована как ГОСТ Р МЭК 61508-6-2012 «Функциональная безопасность систем электрических, электронных, программируемых электронных, связанных с безопасностью. Часть 6. Руководство по применению ГОСТ Р МЭК 61508-2 и ГОСТ Р МЭК 61508-3», https://protect.gost.ru/document1.aspx?control=31&id=183339
  
  
• Часть 7: Обзор методов и метрик (Overview of techniques and measures), см. https://webstore.iec.ch/publication/5521 . В России адаптирована как ГОСТ Р МЭК 61508-7-2012 «Функциональная безопасность систем электрических, электронных, программируемых электронных, связанных с безопасностью. Часть 7. Методы и средства», https://protect.gost.ru/document.aspx?control=7&id=183310

Кроме того, опубликованы:

• Технический отчёт IEC TR 61508-0:2005 «Функциональная безопасность связанных с безопасностью электрических / электронных /программируемых электронных систем – Часть 0: Функциональная безопасность и серия стандартов IEC 61508» (Functional safety of electrical/electronic/programmable electronic safety-related systems - Part 0: Functional safety and IEC 61508), см. https://webstore.iec.ch/publication/5514
  
  
• Технические спецификации IEC TS 61508-3-1:2016 «Функциональная безопасность связанных с безопасностью электрических / электронных /программируемых электронных систем – Часть 3-1: Требования к программному обеспечению - Повторное использование уже существующих элементов программного обеспечения для реализации всей или части функции безопасности» (Functional safety of electrical/electronic/programmable electronic safety-related systems - Part 3-1: Software requirements - Reuse of pre-existing software elements to implement all or part of a safety function), см. https://webstore.iec.ch/publication/25410 . В России адаптирован как ГОСТ Р 58489-2019 «Функциональная безопасность систем электрических, электронных, программируемых электронных, связанных с безопасностью. Часть 3-1. Требования к программному обеспечению. Повторное использование уже существующих элементов программного обеспечения для реализации всей или части функции безопасности», https://protect.gost.ru/document.aspx?control=7&id=233661

Стандарт IEC 61508 требует проведения анализа потенциальных рисков и угроз, связанных с данной системой или устройством, и описывает категории для определения уровня вероятности потенциальной угрозы и последствий в случае её реализации. Это обеспечивает снижение рисков за счет использования уровней полноты безопасности (Safety Integrity Levels, SIL).

SIL- уровни полноты безопасности определяются для указания на степень, в которой система будет соответствовать заданным функциональным возможностям обеспечения безопасности.

Технический комитет Международной электротехнической комиссии (МЭК) TC 65, известный своей работой над серией стандартов IEC 61508, уже много лет играет ключевую роль в области функциональной безопасности. Данные стандарты охватывают разработку и внедрение мер безопасности для предотвращения аварий и минимизации рисков в различных отраслях.

Искусственный интеллект (ИИ) всё чаще используется в системах, являющихся критически важными с точки зрения безопасности, таких как автономные системы и автономные мобильные роботы. Поэтому по мере развития этой технологии необходимо рассматривать функциональную безопасность ИИ.

Технический подкомитет SC 42 «Искусственный интеллект» Объединённого технического комитета ИСО/МЭК JTC1 «Информационные технологии» регулярно организует семинары по искусственному интеллекту для обсуждения новых тенденций, технологий, требований и приложений, а также роли стандартов. На семинары собираются работающие на переднем крае ИИ новаторы из различных мест, секторов и областей, занимающихся исследованиями, развёртыванием, стандартизацией, приложениями, работой в стартапах и надзором.

Четвертый из проводимых раз в два года семинаров ИСО/МЭК по искусственному интеллекту пройдет в декабре 2023 года (см. https://jtc1info.org/technology/subcommittees/ai/workshops/ , его программа доступна по адресу:  https://jtc1info.org/technology/subcommittees/ai/workshops/w4/ ) и будет охватывать четыре тематических направления: ИИ-приложения, полезный ИИ, новые подходы к стандартизации ИИ, а также новые и нарождающиеся тенденции и требования к ИИ-технологиям.

Подкомитет SC 42 разрабатывает международные стандарты в сфере искусственного интеллекта. В рамках его уникального целостного подхода рассматривается вся экосистема искусственного интеллекта ( https://etech.iec.ch/issue/2022-03/iec-and-iso-work-on-artificial-intelligence ), при этом рассматриваются требования к возможностям технологий, а также нетехнические требования, такие как деловые и законодательно-нормативные требования, требования политик, потребности предметной области, а также этические и социальные проблемы.

Источник: Блог МЭК
https://www.iec.ch/blog/importance-functional-safety