Документ подготовлен техническим подкомитетом SC42 «Искусственный интеллект» (Artificial intelligence), входящим в состав Объединенного технического комитета JTC1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).
«Настоящий документ облегчает понимание того, как стандарты ISO/IEC/IEEE 29119 (части 1-4) и ISO/IEC 20246 применяются в отношении тестирования систем искусственного интеллекта (ИИ).
Цель стандарта ISO/IEC/IEEE 29119 «Системная и программная инженерия - Тестирование программного обеспечения» (Software and systems engineering - Software testing, все части) - предложить согласованный на международном уровне набор стандартов для тестирования программного обеспечения, который может использоваться любой организацией при выполнении любых видов тестирования программного обеспечения.
- Стандарт ISO/IEC/IEEE 29119-1:2022 «Системная и программная инженерия - Тестирование программного обеспечения – Часть 1: Общие понятия» (Software and systems engineering - Software testing - Part 1: General concepts, см. https://www.iso.org/standard/81291.html и https://www.iso.org/obp/ui/en/#!iso:std:81291:en ). Данный стандарт адаптирован в России как ГОСТ Р 56920-2024 (ISO/IEC/IEEE 29119-1:2022) «Системная и программная инженерия. Тестирование программного обеспечения. Общие положения», см. https://protect.gost.ru/document.aspx?control=7&id=260863.
Стандарт определяет понятия и концепции тестирования программного обеспечения, которые применимы к любой системе ИИ. - Стандарт ISO/IEC/IEEE 29119-2:2021 «Системная и программная инженерия - Тестирование программного обеспечения - Часть 2: Процессы тестирования» (Software and systems engineering - Software testing - Part 2: Test processes, см. https://www.iso.org/standard/79428.html и https://www.iso.org/obp/ui/en/#!iso:std:79428:en ). Более ранняя редакция данного стандарт адаптирована в России как ГОСТ Р 56921-2016 (ISO/IEC/IEEE 29119-2:2013) «Системная и программная инженерия. Тестирование программного обеспечения. Часть 2. Процессы тестирования», см. https://protect.gost.ru/document.aspx?control=7&id=203394 .
Стандарт содержит описания процессов тестирования, которые определяют процессы тестирования программного обеспечения на организационном уровне, на уровне управления тестированием и на уровне динамического тестирования. Он поддерживает динамическое тестирование, функциональное и нефункциональное тестирование, ручное и автоматизированное тестирование, а также тестирование по сценариям и без них - и может использоваться для тестирования любых программных систем, включая системы ИИ. - Стандарт ISO/IEC/IEEE 29119-3:2021 «Системная и программная инженерия - Тестирование программного обеспечения - Часть 3: Документация тестирования» (Software and systems engineering - Software testing - Part 3: Test documentation, см. https://www.iso.org/standard/79429.html и https://www.iso.org/obp/ui/en/#!iso:std:79429:en ). Более ранняя редакция данного стандарт адаптирована в России как ГОСТ Р 56922-2016 (ISO/IEC/IEEE 29119-3:2013) «Системная и программная инженерия. Тестирование программного обеспечения. Часть 3. Документация тестирования», см. https://protect.gost.ru/document.aspx?control=7&id=203388
Стандарт описывает документацию, относящуюся к тестированию программного обеспечения. Приведенные в данном стандарте требования, шаблоны и примеры документации по тестированию могут быть использованы при подготовке документации по тестированию для любой системы ИИ. - Стандарт ISO/IEC/IEEE 29119-4:2021 «Системная и программная инженерия - Тестирование программного обеспечения - Часть 3: Методы тестирования» (Software and systems engineering - Software testing - Part 4: Test techniques, см. https://www.iso.org/standard/79430.html и https://www.iso.org/obp/ui/en/#!iso:std:79430:en ).
Стандарт устанавливает методы проектирования тестов, которые могут быть использованы при тестировании систем ИИ и их компонентов.
Стандарт ISO/IEC 20246:2017 «Системная и программная инженерия – Анализ программных продуктов и систем» (Software and systems engineering - Work product reviews, https://www.iso.org/developing-standards.html и https://www.iso.org/obp/ui/en/#!iso:std:67407:en ) определяет процессы и шаблоны для анализа программных продуктов и систем, включая инспекции, пошаговые прохождения и технический анализ.
В настоящем документе объясняется, каким образом стандарт ISO/IEC/IEEE 29119-2 можно адаптировать для тестирования систем ИИ и их компонентов, а также как можно использовать шаблоны тестовой документации, описанные в стандарте ISO/IEC/IEEE 29119-3, в ходе тестирования систем ИИ и их компонентов.
… Настоящий документ содержит требования и рекомендации по применению стандартов серии ISO/IEC/IEEE 29119 при тестировании систем ИИ. Данный документ следует подходу на основе анализа рисков, - рассматривая риски, связанные с системами ИИ, их разработкой и поддержкой, для выбора подходящих методов, подходов и приёмов тестирования, применимых к системам ИИ и их компонентам.
В тех случаях, когда методы, подходы и приёмы тестирования уже описаны в стандартах серии ISO/IEC/IEEE 29119, данный документ предоставляет дополнительную информацию и описывает их применение в контексте систем ИИ.»
Содержание документа следующее:
Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Введение в тестирование систем ИИ и программного обеспечения
6. Выявление рисков в системах ИИ
7. Подходы к тестированию систем ИИ
Приложение A: Введение в тестирование программного обеспечения
Приложение B: Характеристики систем ИИ
Приложение C: Пример оценки рисков
Библиография
Источник: сайт ИСО
https://www.iso.org/standard/84127.html
https://www.iso.org/obp/ui/en/#!iso:std:84127:en
Комментариев нет:
Отправить комментарий