Документ разработан техническим подкомитетом SC42 «Искусственный интеллект» (Artificial Intelligence) Объединённого технического комитета ИСО/МЭК JTC1.
В России проект данного документа был адаптирован как предварительный национальный стандарт ПНСТ 841-2023 (ISO/IEC DTS 25058) «Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Руководство по оценке качества систем искусственного интеллекта», см. https://protect.gost.ru/v.aspx?control=8&baseC=6&id=245037 (а также мой пост здесь: https://rusrim.blogspot.com/2024/01/841-2023.html ).
«Оценить систему искусственного интеллекта (ИИ-систему) может быть сложно. При этом воздействие низкокачественной ИИ- может быть значительным, поскольку она может быть разработана для способствования автоматизации критически важных действий и решений.
Цель настоящего документа - помочь разработчикам ИИ провести оценку качества своих ИИ-систем. В данном документе не указаны точные значения величин и пороговые значения, поскольку они различаются в зависимости от характера каждой конкретной системы. Вместо этого данный документ предлагает всесторонние рекомендации, охватывающие соответствующие аспекты качества ИИ-систем, с целью успешного проведения оценки качества.
Тестирование входит в круг рассматриваемых в документе вопросов в том плане, что каждая характеристика и подхарактеристика верифицируется с использованием стратегий тестирования, - однако подробности методов тестирования и выполнения измерений описаны в других источниках, например, в стандартах серии ISO/IEC/IEEE 29119 «Программная и системная инженерия. Тестирование программного обеспечения» (Software and systems engineering - Software testing).
… Настоящий документ содержит рекомендации по оценке ИИ-систем с использованием модели качества ИИ-системы.
Документ применим в организация любого типа, занимающихся разработкой и использованием ИИ.»
Содержание документа следующее:
Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Обзор
5. Методика оценки качества
6. Функциональная пригодность
7. Эффективность функционирования
8. Совместимость
9. Удобство использования
10. Надёжность
11. Безопасность
12. Ремонтопригодность
13. Переносимость
14. Эффективность
15. Продуктивность
16. Удовлетворенность пользователей
17. Отсутствие риска
18. Охват контекста
Библиография
Источник: сайт ИСО
https://www.iso.org/standard/82570.html
https://www.iso.org/obp/ui/en/#!iso:std:82570:en
Комментариев нет:
Отправить комментарий