ИСО и МЭК: Опубликованы технические спецификации ISO/IEC TS 25058:2024 «Руководство по оценке качества систем искусственного интеллекта»

В январе 2024 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации новых технических спецификаций ISO/IEC TS 25058:2024 «Системная и программная инженерия - Требования и оценка качества систем и программного обеспечения (SQuaRE) – Руководство по оценке качества систем искусственного интеллекта» (Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Guidance for quality evaluation of artificial intelligence (AI) systems) объёмом 28 страниц, см. https://www.iso.org/standard/82570.html и https://www.iso.org/obp/ui/en/#!iso:std:82570:en .

Документ разработан техническим подкомитетом SC42 «Искусственный интеллект» (Artificial intelligence) Объединенного технического комитета ИСО/МЭК JTC1.

В России данный документ был адаптирован в виде предварительного национального стандарта ПНСТ 841-2023 (ISO/IEC DTS 25058) «Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Руководство по оценке качества систем искусственного интеллекта», см. https://protect.gost.ru/v.aspx?control=8&baseC=6&id=245037 , подготовленного на основе финального проекта документа ISO/IEC DTS 25058 (см. также мой пост http://rusrim.blogspot.com/2024/01/841-2023.html ).

Во вводной части документа, в частности, отмечается:

«Оценка системы искусственного интеллекта (ИИ-системы) может представлять собой сложную задачу. При этом негативное воздействие ИИ-систем низкого качества может быть значительным, поскольку такие системы могут разрабатываться для способствования автоматизации критически важных операций  и принятия критически важных решений.

Цель настоящего документа заключается в предоставлении рекомендаций разработчикам ИИ, проводящим оценку качества своих ИИ-систем. Настоящий документ не устанавливает точные значения параметров и пороговых значений, поскольку те варьируются в зависимости от характера конкретной системы. Вместо этого в настоящем документе содержатся всесторонние рекомендации, охватывающие те аспекты качества ИИ-систем, которые являются существенными для успешного проведения оценки качества.

… Настоящий документ содержит рекомендации по оценке ИИ-систем на основе модели качества ИИ-систем.

Данный документ может применяться в  организациях любого типа, которые вовлечены в разработку и использование ИИ.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Обзор
5. Методика оценки качества
6. Функциональная пригодность
7. Эффективность работы
8. Совместимость
9. Удобство использования
10. Надёжность
11. Безопасность и защищённость
12. Сопровождаемость
13. Переносимость
14. Эффективность
15. Производительность
16. Удовлетворённость
17. Свобода от риска
18. Полнота охвата ИИ-системой возможных ситуаций
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/82570.html
https://www.iso.org/obp/ui/en/#!iso:std:82570:en