воскресенье, 6 марта 2022 г.

Росстандарт: Опубликован стандарт ГОСТ Р 59898-2021 «Оценка качества систем искусственного интеллекта. Общие положения»

На сайте Федерального агентства по техническому регулированию и метрологии ( http://www.gost.ru/ ) в январском 2022 года разделе ( http://protect.gost.ru/default.aspx?control=6&month=1&year=2022 ) выложен новый стандарт ГОСТ Р 59898-2021 «Оценка качества систем искусственного интеллекта. Общие положения» объёмом 24, вступающий в силу  01.03.2022 года, см. http://protect.gost.ru/v.aspx?control=8&baseC=6&id=232224 .

Стандарт разработан Национальным исследовательским университетом «Высшая школа экономики» (НИУ ВШЭ), внесён Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект».

Во вводной части документа, в частности, отмечается:

«Настоящий стандарт устанавливает общие требования к оценке качества СИИ [систем искусственного интеллекта – Н.Х.], включая:

  • виды существенных характеристик СИИ, подтверждение значений которых установленным требованиям обеспечивает доверие к этим системам;

  • порядок выбора и оценки метрик качества на основании представленного набора существенных характеристик;

  • требования к набору входных и выходных данных для тестирования СИИ;

  • вопросы планирования, разработки программы и процедуры оценки качества СИИ в целях подтверждения его надежности, безопасности и функциональности.

Принципы, установленные в стандарте, применимы к СИИ в различных отраслях и их следует придерживаться, насколько это возможно, с учетом отраслевых и национальных регулирующих требований.

Требования к наборам данных и показателям качества СИИ, приведенные в настоящем стандарте, могут быть дополнены требованиями конкретных стандартов в соответствующих областях применения СИИ (например, для оценки биометрических технологий и систем необходимо использовать ГОСТ Р ИСО/МЭК 19795-1, ГОСТ Р 58292, ГОСТ Р ИСО/МЭК 19795-6, ГОСТ Р 58624.1, ГОСТ Р 58667.3).

Настоящий стандарт распространяется на все системы, использующие различные методы искусственного интеллекта (ИИ), включая алгоритмы на основе машинного обучения (обучение по прецедентам) и экспертные системы (на основе дедуктивного обучения), для решения конкретных практически значимых задач. Настоящий стандарт не может быть использован для систем «сильного» или «общего» искусственного интеллекта.»

Понятие ИИ-системы трактуется следующим образом:

3.20 Система искусственного интеллекта: Техническая система, в которой используются технологии искусственного интеллекта, и обладающая искусственным интеллектом (!). [ГОСТ Р 59276—2020, статья 3.16]

Мой комментарий: Вторая часть определения – это ненужное и, скорее, запутывающее «масло масленое» … В чём разница между системой, использующей ИИ, и системой, «обладающей искусственным интеллектом»?

Содержание стандарта следующее:

Предисловие
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Модель качества
6. Методология и критерии оценки качества на стадиях жизненного цикла СИИ [систем искусственного интеллекта – Н.Х.]
7. Общие принципы и порядок оценки качества СИИ
8. Представительный набор существенных характеристик и показатели качества СИИ
9. Требования к набору входных и выходных данных для тестирования СИИ
Библиография

Источник: сайт Росстандарта
http://protect.gost.ru/v.aspx?control=8&baseC=6&id=232224

Комментариев нет:

Отправить комментарий