Технические спецификации ISO/IEC AWI TS 5471 «Искусственный интеллект- Рекомендации по оценке качества ИИ-систем» (Artificial intelligence - Quality evaluation guidelines for AI systems), см. https://www.iso.org/standard/82570.html и https://standardsdevelopment.bsigroup.com/projects/9021-05162#/section
О данном документе сказано следующее:
Область применения
Настоящий документ содержит рекомендации по оценке систем на основе искусственного интеллекта с использованием модели качества ИИ-систем.
Документ применим в организациях любого типа, вовлечённых в разработку и использование искусственного интеллекта.
Назначение
Оценка систем на основе искусственного интеллекта (ИИ-системы) может оказаться очень сложным делом. В то же время последствия низкого качества ИИ-систем весьма существенные, поскольку такие системы часто разрабатываются для целей автоматизации критически важных действий и решений.
Задача данных технических спецификаций - показать разработчикам ИИ-систем, как провести надлежащую оценку качества их систем. В данном документе не устанавливаются точные показатели и пороговые значения, поскольку они варьируются в зависимости от природы каждой системы. Вместо этого документ предлагает всесторонний набор рекомендаций, охватывающих аспекты качества системы ИИ-систем, необходимые для проведения успешной оценки качества.
Тестирование входит в круг рассматриваемых вопросов, поскольку каждая характеристика и подхарактеристика проверяются с использованием стратегий тестирования, однако подробности методов и метрик тестирования следует искать в других документах, например, в публикациях серии ISO/IEC/IEEE 29119 «Системная и программная инженерия - Тестирование программного обеспечения» (Software and systems engineering - Software testing).
Стандарт ISO/IEC AWI 25059 «Системная и программная инженерия - Требования и оценка качества систем и программного обеспечения (SQuaRE) – Модель качества для систем на основе искусственного интеллекта» (Software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Quality model for AI-based systems), см. https://www.iso.org/standard/80655.html и https://standardsdevelopment.bsigroup.com/projects/9020-03839#/section .
О данном документе сказано следующее:
Область применения
В настоящем документе описывается модель качества для систем на основе искусственного интеллекта, и он представляет собой расширение серии SQuaRE для конкретного вида приложений. Характеристики и подхарактеристики, подробно описанные в модели, обеспечивают согласованную терминологию для установления требований, измерения и оценки качества ИИ-систем, а также набор характеристик качества, с которыми можно сопоставлять установленные требования к качеству с целью оценки их полноты.
Назначение
В стандарте ISO/IEC 25010:2011 «Системная и программная инженерия - Требования и оценка качества систем и программного обеспечения (SQuaRE) - Модели качества систем и программного обеспечения» (Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models, в России адаптирован как ГОСТ Р ИСО/МЭК 25010-2015 «Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов», см. http://protect.gost.ru/v.aspx?control=8&baseC=-1&id=192532 – Н.Х.) описаны модели качества продукта и качества при использовании (quality-in-use). Определенные в этих моделях характеристики, в настоящее время являются достаточно общими для всех компьютерных систем, однако их подхарактеристики требуют адаптации для систем на основе ИИ. Необходимо также определить взаимосвязь между характеристиками надёжности (trustworthiness) и качества. Всесторонние спецификации характеристик качества в соответствии с ценностями, целями, задачами и готовностью к принятию риска заинтересованных сторон является ключевым фактором в обеспечении создания надежных систем искусственного интеллекта.
ISO/IEC 25010 является популярным стандартом в области управления качеством программного обеспечения и систем, однако технические подкомитеты SC7 «Системное проектирование и разработка программного обеспечения» и SC42 «Искусственный интеллект» Объединённого технического комитета ИСО/МЭК JTC1 пришли к выводу о том, что он не является адекватным для ИИ-систем.
Если в настоящее время специалист-практик захочет определить стратегию или подход для целостной оценки качества ИИ-системы ИИ, то ему придётся проработать целый ряд научных статей, чтобы выделить соответствующие свойства. Появление стандартизированной модели, т.е. международного стандарта, согласованного с ISO/IEC 25010, будет способствовать эффективности деятельности отрасли.
Новый стандарт ISO/IEC 25059 укажет на различия в терминологии с рабочей группой SC7 / WG6, для поддержки усилий, связанных с продуктами подкомитета SC7 (такими, например, как ISO/IEC TR 29119-11), и обеспечит, чтобы другие продукты подкомитета SC42, которые определяют (связанные с качеством) измерения и методологии, использовали общую терминологию - например, технический отчёт ISO/IEC TR 29119-11:2020 «Системная и программная инженерия. Тестирование программного обеспечения. Часть 11. Руководящие указания по тестированию систем искусственного интеллекта (AI)» (Software and systems engineering - Software testing - Part 11: Guidelines on the testing of AI-based systems, см. https://www.iso.org/standard/79016.html и https://www.iso.org/obp/ui/#!iso:std:79016:en ). Сюда входят свойства, связанные с влиянием, которое система оказывает на соответствующие заинтересованные стороны; а также в модель качества включаются аспекты надёжности.
Источники: сайт ИСО / сайт BSI
https://www.iso.org/standard/82570.html
https://standardsdevelopment.bsigroup.com/projects/9021-05162#/section
https://www.iso.org/standard/80655.html
https://standardsdevelopment.bsigroup.com/projects/9020-03839#/section
Комментариев нет:
Отправить комментарий