Росстандарт: Опубликован стандарт ГОСТ Р 72664-2026 «Модель качества для систем искусственного интеллекта»

На сайте Федерального агентства по техническому регулированию и метрологии ( http://www.gost.ru/ ) в июньском 2026 года разделе ( https://protect.gost.ru/default.aspx?control=6&month=6&year=2026 ) был выложен новый национальный стандарт ГОСТ Р 72664-2026 (ИСО/МЭК 25059:2023) «Программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модель качества для систем искусственного интеллекта» объёмом 20 страниц, вступающий в силу 01.08.2026 года, см. https://protect.gost.ru/gost/details/aaa722f8-00bd-498b-a667-c3d31f9bf696 .

Стандарт подготовлен Ассоциацией по сертификации «Русский Регистр» на основе выполненного Российским институтом стандартизации» перевода на русский язык международного стандарта ISO/IEC 25059:2023 «Системная и программная инженерия - Требования и оценка качества систем и программного обеспечения (SQuaRE) – Модель качества для систем искусственного интеллекта» (Software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Quality model for AI systems, см. https://www.iso.org/standard/80655.html и https://www.iso.org/obp/ui/en/#!iso:std:80655:en , а также мой пост http://rusrim.blogspot.com/2023/07/isoiec-250592023.html . Стандарт внесён Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект».

Стандарт заменит предстандарт ПНСТ 842-2023 (ИСО/МЭК 25059:2023) «Программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модель качества для систем искусственного интеллекта» объёмом 20 страниц, действующий до 01.01.2027 года (см. https://protect.gost.ru/gost/details/fc6438b8-1d2d-4027-833b-5e9df0af0cde , а также мой пост http://rusrim.blogspot.com/2023/12/842-2023.html ).

Следует отметить, что Международная организация по стандартизации (ИСО) в настоящее время завершает работу над новой, второй редакцией стандарта в рамках проекта ISO/IEC DIS 25059, см. https://www.iso.org/standard/88234.html и https://www.iso.org/obp/ui/en/#!iso:std:88234:en .

Во вводной части стандарта отмечается: 

«Настоящий стандарт устанавливает модель качества для систем искусственного интеллекта (ИИ) и относится к стандартам, устанавливающим требования и оценку качества систем и программного обеспечения (SQuaRE). В характеристиках и подхарактеристиках (субхарактеристиках), описанных в данной модели качества, приводится терминология для определения, измерения и оценки качества системы ИИ, также приводятся и сопоставляются характеристики качества с требованиями к качеству для обстоятельного и многостороннего охвата изучаемого предмета.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Модель качества продукта
5. Модель качества при использовании системы ИИ
Приложение А (справочное): Требования к качеству систем и программного обеспечения SQuaRE
Приложение В (справочное): Производительность
Приложение С (справочное): Сравнение риск-ориентированного подхода с качество-ориентированным подходом и с моделями качества
Приложение ДА (справочное): Сведения о соответствии ссылочных национальных стандартов международным стандартам, использованным в качестве ссылочных в примененном международном стандарте
Приложение ДБ (справочное): Сопоставление структуры настоящего стандарта со структурой примененного в нем международного стандарта
Библиография

Источник: сайт Росстандарта
https://protect.gost.ru/gost/details/aaa722f8-00bd-498b-a667-c3d31f9bf696 

Росстандарт: Опубликован стандарт ГОСТ Р 72663-2026 «Требования и оценка качества систем и программного обеспечения (SQuaRE). Измерение качества данных»

На сайте Федерального агентства по техническому регулированию и метрологии ( http://www.gost.ru/ ) в июньском 2026 года разделе ( https://protect.gost.ru/default.aspx?control=6&month=6&year=2026 ) был выложен новый национальный стандарт ГОСТ Р 72663-2026 (ИСО/МЭК 25024:2015) «Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Измерение качества данных» объёмом 54 страницы, вступающий в силу 01.08.2026 г. см. https://protect.gost.ru/gost/details/d1c2283d-6708-43be-94d2-cc7b2e3f3e2c .

Стандарт подготовлен Ассоциацией по сертификации «Русский Регистр» на основе собственного перевода на русский язык международного стандарта ISO/IEC 25024:2015 «Системная и программная инженерия - Требования и оценка качества систем и программного обеспечения (SQuaRE) - Измерение качества данных» (Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Measurement of data quality, см. https://www.iso.org/standard/35749.html и https://www.iso.org/obp/ui/en/#!iso:std:35749:en ). Стандарт внесён Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект»

Во вводной части стандарта отмечается:

«Настоящий стандарт устанавливает показатели качества данных для количественной оценки качества данных в терминах характеристик, определенных в [1].

Настоящий стандарт не определяет диапазоны значений этих показателей качества для определения уровней или классов, поскольку эти значения определяются для каждой системы в силу ее специфики в зависимости от контекста системы и потребностей пользователей.

Настоящий стандарт можно применять в отношении любого вида данных, хранящихся в структурированном формате в компьютерной системе, используемой для любых видов приложений.

Настоящий стандарт предназначен для использования лицами, которым необходимо разрабатывать и/или использовать показатели качества данных при выполнении своих обязанностей:

• приобретателем (лицо или организация, которая приобретает или получает данные у поставщика);
  
  
• оценщиком (лицо или организация, выполняющая оценку, которой может быть, например, испытательная лаборатория, отдел качества организации, правительственная организация или пользователь);
  
  
• разработчиком (физическое лицо или организация, которые осуществляют опытно-конструкторские работы, включая требования, анализ, проектирование, реализацию и тестирование данных в течение жизненного цикла данных);
  
  
• специалистом по сопровождению (физическое лицо или организация, осуществляющие эксплуатацию и обслуживание данных);
  
  
• поставщиком (физическое лицо или организация, заключающие с приобретателем договор на поставку данных или услуг согласно условиям договора);
  
  
• пользователем (физическое лицо или организация, использующие данные для выполнения определенной функции);
  
  
• менеджером по качеству (физическое лицо или организация, проводящие систематическую проверку данных);
  
  
• владельцем (физическое лицо или организация, которая берет на себя ответственность за управление данными и их финансовую ценность, имея юридические полномочия и обязанность установить для них порядок оценки, сбора, доступа, распространения, хранения, безопасности и удаления).

Настоящий стандарт учитывает широкий спектр данных целевых объектов.

Настоящий стандарт может применяться во многих типах информационных систем, таких как:

• традиционная информационная система;
  
  
• хранилище данных;
  
  
• распределенная информационная система;
  
  
• кооперативная информационная система;
  
  
• интернет-пространство.

Область применения не включает:

• представление знаний;
  
  
• методы сбора сведений из массивов данных;
  
  
• статистическая значимость для произвольной выборки.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Общие положения
6. Использование показателей качества данных
7. Формат для документирования показателей качества данных
8. Показатели качества данных
Приложение А (справочное): Элементы измерения качества, используемые для определения показателей качества
Приложение В (справочное): Элементы измерения качества, целевые объекты и показатели качества
Приложение С (справочное): Ссылки на элементы измерения качества
Приложение D (справочное): Показатели качества
Приложение Е (справочное): Идентификаторы показателей качества для характеристик и целевых объектов
Приложение ДА (справочное): Сведения о соответствии ссылочных национальных стандартов международным стандартам, использованным в качестве ссылочных в примененном международном стандарте
Приложение ДБ (справочное): Сопоставление структуры настоящего стандарта со структурой примененного в нем международного стандарта
Библиография

Источник: сайт Росстандарта
https://protect.gost.ru/gost/details/d1c2283d-6708-43be-94d2-cc7b2e3f3e2c

ИСО и МЭК: Начато публичное обсуждение проекта стандарта ISO/IEC DIS 25023 «Требования и оценка качества систем и программной продукции (SQuaRE) – Измерение качества продуктов»

16 марта 2026 года сайт Международной организации по стандартизации (ИСО) и сайт Британского института стандартов (BSI сообщили о начале публичного обсуждения проекта новой редакции стандарта ISO/IEC DIS 25023 «Системная и программная инженерия - Требования и оценка качества систем и программной продукции (SQuaRE) – Измерение качества продуктов» (Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Measurement of product quality) объёмом 66 страниц основного текста, см. https://www.iso.org/standard/89069.html и https://www.iso.org/obp/ui/en/#!iso:std:89069:en . Он заменит действующую редакцию ISO/IEC 25023:2016.

Над документом работает подкомитет SC7 «Системное проектирование и разработка программного обеспечения» Объединённого технического комитета ИСО/МЭК JTC1.

России действующая редакция стандарта была адаптирована как ГОСТ Р ИСО/МЭК 25023-2021 (ISO/IEC 25023:2016) «Системная и программная инженерия. Требования и оценка качества систем и программной продукции (SQuaRE). Измерения качества системы и программной продукции», см. https://protect.gost.ru/document.aspx?control=7&id=242008 .

Есть возможность до 9 мая 2026 года индивидуально принять участие в публичном обсуждении данного стандарта на сайте Британского института стандартов (BSI) по адресу https://standardsdevelopment.bsigroup.com/projects/2024-02311 (при условии регистрации на сайте). 

Страница публичного обсуждения проекта ISO/IEC DIS 25023 на сайте BSI 

Во вводной части стандарта отмечается:

«Настоящий документ определяет показатели для количественной оценки качества продуктов с точки зрения характеристик и подхарактеристик, определенных в стандарте ИСО/МЭК 25010, и предназначен для использования совместно с ИСО/МЭК 25010. Его можно использовать совместно со стандартами серии ИСО/МЭК 2503x и ИСО/МЭК 2504x, а также для удовлетворения в более широком плане потребностей пользователей относительно качества ИКТ-продуктов и программных продуктов.

Настоящий документ содержит базовый набор показателей качества для каждой характеристики и подхарактеристики. Он включает (в виде справочных приложений) соображения, касающиеся использования показателей качества (приложение А), элементы измерения качества (QME), используемые для определения показателей качества продуктов и систем (приложение В), и подробное объяснение типов измерений (приложение С).

Настоящий документ не устанавливает конкретные диапазоны значений показателей для рейтинговых уровней и степеней соответствия, поскольку эти значения определяются на основе характера системы, продукта или части продукта, и зависят от таких факторов, как категория программного обеспечения, степень целостности и потребности пользователей. Для некоторых атрибутов может быть указан желаемый диапазон значений, не зависящий от конкретных потребностей пользователей, но зависящий от факторов общего характера.

Предложенные показатели качества в первую очередь предназначены для использования для целей обеспечения качества и совершенствования продуктов в ходе или по завершении процесса разработки в рамках жизненного цикла продукта.

Основными пользователями настоящего стандарта являются специалисты, специфицирующие требования к качеству и проводящие оценку качества в рамках следующих видов деятельности:

• Разработка, включая анализ требований, проектные спецификации, кодирование и приемочное тестирование на протяжении процессов жизненного цикла продукта;
  
  
• Менеджмент качества: систематическое изучение программного продукта или компьютерной системы, например, при оценке качества системы или программного продукта в рамках обеспечения качества, контроля качества и сертификации качества;
  
  
• Поставки: договор с заказчиком на поставку системы, программного продукта или услуги в соответствии с условиями договора, например, при валидации качества при прохождении квалификационных тестов;
  
  
• Закупки, включая выбор продукта и приёмочное тестирование в ходе приобретении или закупки у поставщика системы, программного продукта или услуги;
  
  
• Техническое обслуживание: совершенствование программного продукта или системы на основе измерений качества.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Использование показателей качества продукции
6. Формат, используемый для документирования показателей качества
7. Показатели качества продуктов
Приложение A. Соображения по использованию показателей качества
Приложение B. Элементы измерения качества (quality measure element, QME) используемые для определения показателей качества программного продукта или системы
Приложение C. Подробное объяснение типов измерений
Приложение D. Применение показателей качества на различных этапах
Библиография

Источники: сайт ИСО / сайт BSI
https://www.iso.org/standard/89069.html 
https://www.iso.org/obp/ui/en/#!iso:std:89069:en 
https://standardsdevelopment.bsigroup.com/projects/2024-02311

ИСО и МЭК: Начато публичное обсуждение проекта стандарта ISO/IEC DIS 25000-2 «Требования и оценка качества систем и программного обеспечения (SQuaRE) – Часть 2: Словарь»

Как сообщил сайт Международной организации по стандартизации (ИСО), с начала февраля по середину апреля 2026 года проводится публичное обсуждение проекта нового стандарта ISO/IEC DIS 25000-2 «Системная и программная инженерия - Требования и оценка качества систем и программного обеспечения (SQuaRE) – Часть 2: Словарь» (Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) - Part 2: Vocabulary) объёмом 15 страниц основного текста, см. https://www.iso.org/standard/91474.html и https://www.iso.org/obp/ui/en/#!iso:std:91474:en .

Стандарт подготовлен подкомитетом SC7 «Системное проектирование и разработка программного обеспечения» Объединённого технического комитета ИСО/МЭК JTC1.

Есть возможность до 13 апреля 2026 года индивидуально принять участие в публичном обсуждении данного стандарта на сайте Британского института стандартов (BSI) по адресу https://standardsdevelopment.bsigroup.com/projects/2025-02381 (при условии регистрации на сайте). 

Страница публичного обсуждения проекта ISO/IEC DIS 25000-2 на сайте BSI

Во вводной части стандарта отмечается:

«В настоящем документе представлены термины и определения, составляющие концептуальную основу, относящуюся к качеству, как оно рассматривается в семействе стандартов «Требования и оценка качества систем и программного обеспечения» (Systems and Software Quality Requirements and Evaluation, SQuaRE). Основное внимание в документе уделяется фундаментальным понятиям и терминологии, которые являются общими для всего семейства стандартов SQuaRE, с целью обеспечить согласованность и способствовать их пониманию.

Термины и определения, специфические для отдельных моделей качества - таких как качество продукта, качество данных, качество ИТ-услуг и качество в процессе использования (quality-in-use) — в данном документе не рассматриваются.

Аналогичным образом не рассматриваются термины, относящиеся к другим типам качества, таким как качество процесса или качество, связанное с искусственным интеллектом.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения

3.1. Термины, относящиеся к качеству
3.2. Термины, относящиеся к конструкциям модели качества
3.3. Термины, относящиеся к сущностям
3.4. Термины, относящиеся к ролям
3.5. Термины, относящиеся к измерению качества
3.6. Термины, относящиеся к требованиям к качеству
3.7. Термины, относящиеся к инженерии качества
3.8. Термины, относящиеся к оценке качества

4. Сокращения
Приложение A: Категории терминов и структура подразделов в разделе «Термины и определения»
Приложение B: Принципы отбора терминов из существующих стандартов серии SQuaRE
Приложение C: Руководство по пониманию терминов и определений в стандартах серии SQuaRE
Библиография

Источник: сайт ИСО / сайт BSI
https://www.iso.org/standard/91474.html 
https://www.iso.org/obp/ui/en/#!iso:std:91474:en 

Росстандарт: Начато публичное обсуждение проекта стандарта ГОСТ Р «Требования и оценка качества систем и программных средств. Обзор и применение моделей качества»

На сайте NORMACS ( https://www.normacs.info ) с 30 мая по 19 июля 2025 года проходит открытое публичное обсуждение проекта российского стандарта ГОСТ Р «Системная и программная инженерия. Требования и оценка качества систем и программных средств. Обзор и применение моделей качества» объёмом 47 страница, см. https://www.normacs.info/projects/12236 .

Стандарт разработан ООО «Институт стандартизации информационных технологий», Комиссией Российской академии наук по техногенной безопасности и Научным советом Российской академии наук «Информационная безопасность». Стандарт вносит Технический комитет по стандартизации 022 «Информационные технологии». 

Документ подготовлен на основе международного стандарта ISO/IEC 25002:2024 «Системная и программная инженерия - Требования и оценка качества систем и программного обеспечения (SQuaRE) - Обзор и применение моделей качества» (Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Quality model overview and usage), см. https://www.iso.org/standard/78175.html и https://www.iso.org/obp/ui/en/#!iso:std:78175:en .

Текст проекта стандарта можно скачать по адресу https://www.normacs.info/project_files/13605 , а пояснительной записки к нему – по адресу https://www.normacs.info/project_files/13604 . Принять участие в обсуждении документа можно здесь: https://www.normacs.info/discussions/9493#9493 .

В аннотации на документ отмечается:

«Цель разработки ГОСТ Р состоит в предоставлении нормативной поддержки системного анализа показателей качества систем и ПС, оценки рисков и обоснования мер обеспечения качества на приемлемом уровне. Модели качества могут быть использованы как ориентировочный объективный эталон в процессах определения требований, оценки, валидации (аттестации) и верификации систем и ПС, а также как формализованное руководство для разработки показателей оценки и критериев для оптимизации различных процессов в жизненном цикле систем.

Стандарт предназначен для использования самостоятельно, во взаимосвязи с другими национальными стандартами в области информационных технологий (ИТ), а также с международными и национальными стандартами по системной и программной инженерии. ГОСТ Р рекомендован к применению организациями, участвующими в создании (модернизации, развитии), эксплуатации систем и ПС в части измерений и системного анализа качества и рисков, а также предназначен для специалистов оценивающих организаций и разработчиков соответствующих методов и инструментариев.

… К области применения настоящего стандарта относятся модели качества систем и программных средств (ПС) различного функционального назначения.

В стандарте представлен обзор моделей качества, их роль и место для различных систем. Рассмотрены связи характеристик, показателей и контекста использования в моделях качества.

Применение моделей качества рассмотрено с различных точек зрения: для формирования и анализа системных взглядов заинтересованных сторон, определения требований к качеству, обеспечения качества при проектировании, измерения, оценки и управления качеством.

В приложении А приведены примеры учета специфики в применении моделей качества для функционально ориентированных систем различных типов.»

Содержание документа следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Обозначения и сокращения
5. Обзор моделей качества 
6. Связь характеристик, показателей и контекста использования
7. Применение моделей качества
Приложение А (справочное): Примеры учета специфики в применении моделей качества для систем
Библиография

Источник: сайт NORMACS
https://www.normacs.info/projects/12236 
https://www.normacs.info/discussions/9493#9493

ИСО и МЭК: Опубликована вторая редакция стандарта ISO/IEC 25040:2024 «Требования и оценка качества систем и программного обеспечения (SQuaRE) – Концепция оценки качества»

В сентябре 2024 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации новой, второй редакции стандарта ISO/IEC 25040:2024 «Системная и программная инженерия - Требования и оценка качества систем и программного обеспечения (SQuaRE) – Концепция оценки качества» (Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Quality evaluation framework) объёмом 36 страниц, см. https://www.iso.org/standard/83467.html и https://www.iso.org/obp/ui/en/#!iso:std:83467:en . Данный документ заменил ранее действовавшую редакцию ISO/IEC 25040:2011.

Стандарт подготовлен подкомитетом SC7 «Системное проектирование и разработка программного обеспечения» Объединённого технического комитета ИСО/МЭК JTC1.

В России стандарт был адаптирован как ГОСТ Р ИСО/МЭК 25040-2014 «Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Процесс оценки», см. https://protect.gost.ru/document.aspx?control=7&id=187329

Во вводной части документа отмечается:

«В настоящем документе описана концепция оценки качества продуктов ИКТ (информационно-коммуникационных технологий) (включая программные продукты), данных и ИТ-услуг, которая включает в себя соответствующие понятия, требования и рекомендации по внедрению и совершенствованию её процессов.

Данный документ может использоваться всеми, кому необходимо проводить оценку качества целевых объектов, включая организации-разработчики (интеграторы, разработчики и группа обеспечения качества), приобретателей, поставщиков ИТ-услуг и независимых оценщиков.

В данном документе не рассматриваются конкретные методы тестирования для оценки качества и не даются рекомендации по использованию результатов оценки.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Понятия и концепции оценки качества
5. Эталонная модель процесса оценки качества
Приложение A: Источники измерений
Приложение B: Примеры четырех типов оценки качества
Приложение C: Реализация процесса оценки качества на протяжении процессов жизненного цикла системы / программного обеспечения
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/83467.html
https://www.iso.org/obp/ui/en/#!iso:std:83467:en

ИСО и МЭК: Опубликована новая редакция стандарта ISO/IEC 25040:2024 «Требования и оценка качества систем и программного обеспечения (SQuaRE) - Концепция оценки качества»

В сентябре 2024 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации нового стандарта ISO/IEC 25040:2024 «Системная и программная инженерия - Требования и оценка качества систем и программного обеспечения (SQuaRE) - Концепция оценки качества» (Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Quality evaluation framework) объёмом 36 страниц, см. https://www.iso.org/standard/83467.html и https://www.iso.org/obp/ui/en/#!iso:std:83467:en . Он заменил ранее действовавший стандарт ISO/IEC 25040:2011.

Стандарт подготовлен подкомитетом SC7 «Системное проектирование и разработка программного обеспечения» Объединённого технического комитета ИСО/МЭК JTC1 «Информационные технологии».

Во вводной части документа отмечается:

«В настоящем документе сформулирована концепция оценки качества продуктов ИКТ (информационно-коммуникационных технологий) (включая программные продукты), данных и ИТ-услуг, которая включает в себя соответствующие понятия, требования и рекомендации по внедрению и совершенствованию процессов.

Данный документ может использоваться теми, кому необходимо проводить оценку качества целевых объектов, в том числе организациями-разработчиками (интеграторы, разработчики и группа обеспечения уверенности в качестве), закупщиками, поставщиками ИТ-услуг и независимыми оценщиками.

В данном документе не рассматриваются конкретные методы тестирования для целей оценки качества и не даются рекомендации по использованию результатов оценки.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Концепции оценки качества
5. Эталонная модель процесса оценки качества
Приложение A: Источник измерения
Приложение B: Примеры четырех типов оценки качества
Приложение C: Реализация процесса оценки качества на протяжении процессов жизненного цикла системы/программного обеспечения
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/83467.html
https://www.iso.org/obp/ui/en/#!iso:std:83467:en

ИСО и МЭК: Опубликованы технические спецификации ISO/IEC TS 25058:2024 «Руководство по оценке качества систем искусственного интеллекта»

В январе 2024 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации новых технических спецификаций ISO/IEC TS 25058:2024 «Системная и программная инженерия - Требования и оценка качества систем и программного обеспечения (SQuaRE) – Руководство по оценке качества систем искусственного интеллекта» (Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Guidance for quality evaluation of artificial intelligence (AI) systems) объёмом 28 страниц, см. https://www.iso.org/standard/82570.html и https://www.iso.org/obp/ui/en/#!iso:std:82570:en .

Документ разработан техническим подкомитетом SC42 «Искусственный интеллект» (Artificial intelligence) Объединенного технического комитета ИСО/МЭК JTC1.

В России данный документ был адаптирован в виде предварительного национального стандарта ПНСТ 841-2023 (ISO/IEC DTS 25058) «Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Руководство по оценке качества систем искусственного интеллекта», см. https://protect.gost.ru/v.aspx?control=8&baseC=6&id=245037 , подготовленного на основе финального проекта документа ISO/IEC DTS 25058 (см. также мой пост http://rusrim.blogspot.com/2024/01/841-2023.html ).

Во вводной части документа, в частности, отмечается:

«Оценка системы искусственного интеллекта (ИИ-системы) может представлять собой сложную задачу. При этом негативное воздействие ИИ-систем низкого качества может быть значительным, поскольку такие системы могут разрабатываться для способствования автоматизации критически важных операций  и принятия критически важных решений.

Цель настоящего документа заключается в предоставлении рекомендаций разработчикам ИИ, проводящим оценку качества своих ИИ-систем. Настоящий документ не устанавливает точные значения параметров и пороговых значений, поскольку те варьируются в зависимости от характера конкретной системы. Вместо этого в настоящем документе содержатся всесторонние рекомендации, охватывающие те аспекты качества ИИ-систем, которые являются существенными для успешного проведения оценки качества.

… Настоящий документ содержит рекомендации по оценке ИИ-систем на основе модели качества ИИ-систем.

Данный документ может применяться в  организациях любого типа, которые вовлечены в разработку и использование ИИ.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Обзор
5. Методика оценки качества
6. Функциональная пригодность
7. Эффективность работы
8. Совместимость
9. Удобство использования
10. Надёжность
11. Безопасность и защищённость
12. Сопровождаемость
13. Переносимость
14. Эффективность
15. Производительность
16. Удовлетворённость
17. Свобода от риска
18. Полнота охвата ИИ-системой возможных ситуаций
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/82570.html
https://www.iso.org/obp/ui/en/#!iso:std:82570:en

ИСО и МЭК: Опубликованы новые технические спецификации «SQuaRE - Руководство по оценке качества систем искусственного интеллекта»

В январе 2024 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации новых технических спецификаций ISO/IEC TS 25058:2024 «Системная и программная инженерия - Требования и оценка качества систем и программного обеспечения (SQuaRE) – Руководство по оценке качества систем искусственного интеллекта (ИИ-систем)» (Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Guidance for quality evaluation of artificial intelligence (AI) systems) объёмом 28 страниц, см. https://www.iso.org/standard/82570.html и https://www.iso.org/obp/ui/en/#!iso:std:82570:en .

Документ разработан техническим подкомитетом SC42 «Искусственный интеллект» (Artificial Intelligence) Объединённого технического комитета ИСО/МЭК JTC1.

В России проект данного документа был адаптирован как предварительный национальный стандарт ПНСТ 841-2023 (ISO/IEC DTS 25058) «Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Руководство по оценке качества систем искусственного интеллекта», см. https://protect.gost.ru/v.aspx?control=8&baseC=6&id=245037 (а также мой пост здесь: https://rusrim.blogspot.com/2024/01/841-2023.html ).

Во вводной части документа отмечается:

«Оценить систему искусственного интеллекта (ИИ-систему) может быть сложно. При этом воздействие низкокачественной ИИ- может быть значительным, поскольку она может быть разработана для способствования автоматизации критически важных действий и решений.

Цель настоящего документа - помочь разработчикам ИИ провести оценку качества своих ИИ-систем. В данном документе не указаны точные значения величин и пороговые значения, поскольку они различаются в зависимости от характера каждой конкретной системы. Вместо этого данный документ предлагает всесторонние рекомендации, охватывающие соответствующие аспекты качества ИИ-систем, с целью успешного проведения оценки качества.

Тестирование входит в круг рассматриваемых в документе вопросов в том плане, что каждая характеристика и подхарактеристика верифицируется с использованием стратегий тестирования, - однако подробности методов тестирования и выполнения измерений описаны в других источниках, например, в стандартах серии ISO/IEC/IEEE 29119 «Программная и системная инженерия. Тестирование программного обеспечения» (Software and systems engineering - Software testing).

… Настоящий документ содержит рекомендации по оценке ИИ-систем с использованием модели качества ИИ-системы.

Документ применим в организация любого типа, занимающихся разработкой и использованием ИИ.»

Содержание документа следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Обзор
5. Методика оценки качества
6. Функциональная пригодность
7. Эффективность функционирования
8. Совместимость
9. Удобство использования
10. Надёжность
11. Безопасность
12. Ремонтопригодность
13. Переносимость
14. Эффективность
15. Продуктивность
16. Удовлетворенность пользователей
17. Отсутствие риска
18. Охват контекста
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/82570.html
https://www.iso.org/obp/ui/en/#!iso:std:82570:en

Росстандарт: Опубликован предварительный национальный стандарт ПНСТ 841-2023 «Руководство по оценке качества систем искусственного интеллекта»

На сайте Федерального агентства по техническому регулированию и метрологии ( http://www.gost.ru/ ) в декабрьском 2023 года разделе ( https://protect.gost.ru/default.aspx?control=6&month=12&year=2023 ) выложен предварительный национальный стандарт ПНСТ 841-2023 (ISO/IEC DTS 25058) «Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Руководство по оценке качества систем искусственного интеллекта» объёмом 24 страницы вступающий в силу с 01.01.2024 года и действующий до 01.01.2027 года, см. https://protect.gost.ru/v.aspx?control=8&baseC=6&id=245037

Стандарт подготовлен Национальным исследовательским университетом «Высшая школа экономики» (НИУ ВШЭ) на основе собственного перевода на русский язык проекта международных технических спецификаций ISO/IEC DTS 25058 «Системная и программная инженерия - Требования и оценка качества систем и программного обеспечения (SQuaRE) – Руководство по оценке качества систем искусственного интеллекта (ИИ-систем)» (Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Guidance for quality evaluation of artificial intelligence (AI) systems), см. https://www.iso.org/standard/82570.html . Стандарт внесён Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект».

Во вводной части документа отмечается:

«Оценка системы искусственного интеллекта (ИИ) может представлять собой нетривиальную задачу. Кроме того, негативные эффекты от систем ИИ низкого качества весьма существенны, поскольку такие системы часто разрабатываются для упрощения автоматизации критически важных действий и решений, которые широко используются в промышленности, правительственных учреждениях и научных кругах.

Цель настоящего стандарта дать разработчикам руководство для надлежащей оценки качества систем ИИ. Настоящий стандарт не устанавливает точные величины параметров и пороговые значения, поскольку они варьируются в зависимости от характера конкретной системы. Вместо этого в настоящем стандарте приведены всесторонние указания, охватывающие существенные аспекты качества системы ИИ, для проведения его оценки.

Тестирование является всеобъемлющим с точки зрения верификации каждой характеристики и подхарактеристики (субхарактеристики) тестовыми стратегиями, но подробное описание методов тестирования и измерений представлено в других документах.

... Настоящий стандарт устанавливает руководство по оценке качества систем ИИ на основе использования моделей качества систем ИИ.

Настоящий стандарт применим во всех организациях, разрабатывающих и использующих ИИ.»

Содержание предстандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Общие положения
5. Методика оценки качества
6. Функциональная пригодность
7. Уровень производительности
8. Совместимость
9. Удобство использования
10. Надежность
11. Защищенность
12. Сопровождаемость
13. Переносимость
14. Эффективность
15. Производительность
16. Удовлетворенность
17. Свобода от риска
18. Покрытие контекста
Библиография

Источник: сайт Росстандарта
https://protect.gost.ru/v.aspx?control=8&baseC=6&id=245037

ИСО и МЭК: Опубликована новая редакция стандарта ISO/IEC 25010:2023 «Требования и оценка качества систем и программного обеспечения (SQuaRE) - Модель качества продукта»

В ноябре 2023 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации новой, второй редакции стандарта ISO/IEC 25010:2023 «Системная и программная инженерия - Требования и оценка качества систем и программного обеспечения (SQuaRE) - Модель качества продукта» (Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Product quality model) объёмом 32 страницы, см. https://www.iso.org/standard/78176.html и https://www.iso.org/obp/ui/en/#!iso:std:78176:en .

Стандарт подготовлен подкомитетом SC7 «Системное проектирование и разработка программного обеспечения» Объединённого технического комитета ИСО/МЭК JTC1.

Во вводной части документа отмечается следующее:

«В настоящем документе определяется модель качества продукции, которая применима к продуктам и программным продуктам в сфере ИКТ (информационно-коммуникационных технологий). Модель качества продукции включает девять характеристик (которые далее подразделяются на подхарактеристики), относящихся показателям качества продукции. Характеристики и подхарактеристики, которые можно специфицировать, измерить и оценить, формируют эталонную модель качества продукции.

Примечание 1. В данном документе под продуктом понимается ИКТ-продукт, являющийся частью информационной системы. Компонентами ИКТ-продукта могут быть подсистемы, программное обеспечение, встроенное ПО, аппаратное обеспечение, данные, коммуникационная инфраструктура и другие элементы, которые являются частью ИКТ-продукта.

Данная модель может использоваться для спецификации требований и оценки качества целевых продуктов на протяжении их жизненного цикла несколькими заинтересованными сторонами, включая разработчиков, покупателей, персонал служб обеспечения и контроля качества, а также независимых оценщиков. От использования этой модели могут выиграть такие виды деятельности, осуществляемые в ходе жизненного цикла продукта, как:

• выявление и определение требований к продукции и к информационным системам;
  
  
• подтверждение полноты определения требований;
  
  
• определение целей проектирования продукции и информационных систем и проектирование и разработка необходимого процесса для достижения качества;
  
  
• определение целей тестирования продукции и информационных систем;
  
  
• определение критериев контроля качества как элемента обеспечения качества;
  
  
• определение критериев приемки продукции и/или информационной системы;
  
  
• установление метрик для показателей качества продукции для поддержки этих видов деятельности.

Примечание 2. Использование модели качества для измерений поясняется в приложении С.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Модель качества продукции
5. Связь с моделью качества при использовании
Приложение A: Сравнение с моделью качества продукции в стандарте ISO/IEC 25010:2011.
Приложение B: Пример сопоставления с показателями надежности
Приложение C: Использование модели качества для измерений
Приложение D: Качество с точки зрения различных заинтересованных сторон
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/78176.html
https://www.iso.org/obp/ui/en/#!iso:std:78176:en

Росстандарт: Опубликован ГОСТ Р ИСО/МЭК 25020-2023 «Основные принципы измерения качества» для систем и программного обеспечения

На сайте Федерального агентства по техническому регулированию и метрологии ( http://www.gost.ru/ ) в октябрьском 2023 года разделе ( https://protect.gost.ru/default.aspx?control=6&month=10&year=2023 ) выложен новый стандарт ГОСТ Р ИСО/МЭК 25020-2023 «Системная и программная инженерия. Требования и оценка качества систем и программной продукции (SQuaRE). Основные принципы измерения качества» объёмом 32 страницы, вступающий в силу 30.01.2024 года, см. https://protect.gost.ru/v.aspx?control=8&baseC=6&id=243584

Стандарт разработан ООО «Информационно-аналитический вычислительный центр» (ООО «ИАВЦ»), внесён Техническим комитетом по стандартизации ТК 022 «Информационные технологии».

Стандарт разработан на основе международного стандарта ISO/IEC 25020:2019 «Системная и программная инженерия - Требования и оценка качества систем и программной продукции (SQuaRE) - Основные принципы измерения качества» (Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Quality measurement framework), см. https://www.iso.org/standard/72117.html и https://www.iso.org/obp/ui/en/#!iso:std:72117:en .

Во вводной части документа отмечается

«Настоящий стандарт является частью стандартов серии SQuaRE. Он обеспечивает основу для измерения характеристик и подхарактеристик качества (определенных в стандартах серии ИСО/МЭК 2501x). Настоящий стандарт служит руководством для разработки и выбора показателей качества при использовании (в сочетании с ИСО/МЭК 25022), качества систем и программной продукции (в сочетании с ИСО/МЭК 25023), качество данных (в сочетании с ИСО/МЭК 25024) и качество ИТ-услуг (в сочетании с ISO/IEC TS 25025).

... Настоящий стандарт обеспечивает основу для измерения качества.

Содержание настоящего стандарта заключается в следующем:

• эталонная модель измерения качества;
  
  
• взаимосвязь между различными типами показателей качества;
  
  
• руководство по выбору показателей качества;
  
  
• руководство по построению показателей качества;
  
  
• руководство по планированию и проведению измерений;
  
  
• руководство по применению результатов измерений.

Настоящий стандарт включает в себя соображения по выбору показателей качества и элементов показателей качества (см. приложение А), оценку надежности измерений и обоснованности показателей качества (см. приложение В), элементы для документирования показателей качества (см. приложение С), нормализованную функцию измерения для показателей качества (см. приложение D) и модель информации об измерениях в ISO/IEC/IEEE 15939 (см. приложение Е).

Настоящий стандарт может быть применен для разработки, идентификации, оценки и выполнения измерения качества систем и программной продукции, качества в использовании, качества данных и качества ИТ-услуг. Эталонная модель может использоваться разработчиками, покупателями, персоналом по обеспечению качества и независимыми оценщиками - людьми, ответственными за определение и оценку качества систем и услуг в области информационно-коммуникационных технологий (ИКТ).»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Соответствие требованиям
6. Измерение качества
Приложение А (справочное) Соображения по выбору ПК и ЭПК
Приложение В (справочное) Оценка надежности измерений и обоснованности ЭПК
Приложение С (справочное) Элементы для документирования ПК
Приложение D (справочное) Нормализованная функция измерения для показателей качества
Приложение Е (справочное) Информационная модель измерений в ISO/IEC/IEEE 15939
Библиография

Источник: сайт Росстандарта
https://protect.gost.ru/document1.aspx?control=31&baseC=6&id=254989