воскресенье, 4 октября 2026 г.

ИСО и МЭК: Опубликован технический отчёт ISO/IEC TR 42106:2026 «Обзор дифференцированного сравнительного анализа показателей качества ИИ-систем»

В июле 2026 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации нового технического отчёта ISO/IEC TR 42106:2026 «Информационные технологии – Искусственный интеллект (ИИ) – Обзор дифференцированного сравнительного анализа показателей качества ИИ-систем»  (Information technology - Artificial intelligence (AI) - Overview of differentiated benchmarking of AI system quality characteristics) объёмом 28 страниц, см. https://www.iso.org/standard/86903.html .

Документ подготовлен подкомитетом SC42 «Искусственный интеллект» (Artificial intelligence), входящим в состав Объединенного технического комитета JTC1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).

Во вводной части документа отмечается:

«Сравнительный анализ (бенчмаркинг – benchmarking) часто используется для сопоставления показателей качества программных систем с эталонными или с целевыми значениями. Учитывая разнообразный характер и неоднородное воздействие систем ИИ, такого рода эталонные и целевые значения могут значительно различаться в разных системах и в разных внедрениях аналогичных систем в различных контекстах использования. Для учёта этого разнообразия и неоднородности, дифференцированный сравнительный анализ (дифференцированный бенчмаркинг) может рассматривать разные показатели качества в сопоставлении с различными эталонными значениями. В настоящем документе проведен анализ концептуальных структур управления ИИ с точки зрения их способности предлагать рекомендации по проведению дифференцированного бенчмаркинга показателей качества систем ИИ.

… В настоящем документе представлен обзор концептуальных рамок для градуированного бенчмаркинга показателей качества систем искусственного интеллекта (ИИ). Цель заключается в том, чтобы изучить возможность использования дифференцированного сравнительного анализа (дифференцированного бенчмаркинга) показателей качества на основе сложности и контекста использования системы ИИ.»

Содержание документа следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Обзор соответствующих методов сравнительного анализа (бенчмаркинга)
5. Сравнительный анализ (бенчмаркинг) систем ИИ
6. Методы дифференцированного сравнительного анализа (бенчмаркинга)
7. Анализ возможности применения
Приложение А: Примеры уровней спецификации
Приложение Б: Описание показателей
Библиография

Источники: сайт ИСО
https://www.iso.org/standard/86903.html  


Опубликована англоязычная версия статьи о стандартизации в области больших данных (где я была одним из соавторов)

В 2021 году в номере 4-5 (2021) журнала «Информационное общество» была опубликована статья группы авторов - А.Н.Аверкин, С.Д.Афанасьев, А.А.Микрюков, В.В.Паджев, А.Н.Райков, Ю.Е.Хохлов и Н.А.Храмцовская – на тему «Стандартизация работы с большими данными: Международные и национальные стандарты» объёмом 39 страниц, см. http://infosoc.iis.ru/article/view/650/505  .


В этом году версия статьи на английском языке публикуется в журнале «Lobachevskii Journal of Mathematics» издательства Pleiades Publishing (см. https://www.pleiades.online/ru/journal/lobjmat/ ), 2026, Vol. 47, Suppl. 1, pp. 151-176 (26 страниц). Название на английском языке: «Big Data Standardization: International and National Standards».


Источники: сайт eLibrary / сайт ResearchGate
http://infosoc.iis.ru/article/view/650/505  
https://elibrary.ru/item.asp?id=47161826 
https://www.researchgate.net/publication/357854683_BIG_DATA_STANDARDIZATION_INTERNATIONAL_AND_NATIONAL_STANDARDS

суббота, 3 октября 2026 г.

ИСО и МЭК: Завершается публичное обсуждение новой редакции стандарта ISO/IEC DIS 4213 «Измерение производительности для ИИ-задач классификации, регрессии, кластеризации и предоставления рекомендаций»

В конце июля 2026 года сайты Международной организации по стандартизации (ИСО) и Британского института стандартов (BSI) сообщили о начале публичного обсуждения новой, второй редакции стандарта ISO/IEC DIS 4213 «Информационные технологии - Искусственный интеллект - Измерение производительности для ИИ-задач классификации, регрессии, кластеризации и предоставления рекомендаций» (Information technology - Artificial Intelligence - Performance measurement for AI classification, regression, clustering and recommendation tasks) объёмом 61 страница основного текста, см. https://www.iso.org/standard/89455.html . 

Публичное обсуждение продлится до конца сентября 2026 года. Документ заменит действующие технические спецификации ISO/IEC TS 4213:2022 «Информационные технологии - Искусственный интеллект - Оценка производительности при классификации на основе машинного обучения» (Information technology - Artificial intelligence - Assessment of machine learning classification performance), см. https://www.iso.org/standard/79799.html 

Документ подготовлен подкомитетом SC42 «Искусственный интеллект» (Artificial intelligence), входящим в состав Объединенного технического комитета JTC1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).

В России действующая редакция документа была адаптирована как предстандарт ПНСТ 835-2023 (ISO/IEC TS 4213:2022) «Искусственный интеллект. Оценка эффективности моделей и алгоритмов машинного обучения в задаче классификации», см. https://protect.gost.ru/gost/details/8cda0cc1-63f7-4cd9-8360-d7e8d3863a8a ,  также мой пост 
http://rusrim.blogspot.com/2024/01/835-2023.html 

До 20 сентября 2026 года есть возможность индивидуально принять участие в публичном обсуждении данного стандарта на сайте Британского института стандартов (BSI) по адресу https://standardsdevelopment.bsigroup.com/projects/2024-01986  (при условии регистрации на сайте).


Страница обсуждения на сайте BSI

Во вводной части документа отмечается:

«По мере того, как исследователи из академических, коммерческих и государственных организаций и учреждений продолжают совершенствовать модели искусственного интеллекта, сформировалась общепринятая система показателей для количественной оценки этого совершенствования. Некоторые виды достижений в области искусственного интеллекта описываются в терминах повышения функциональной корректности (functional correctness – которую специалисты-практики в сфере ИИ также называют производительностью (performance)) по сравнению с современным уровнем или разумным эталонным уровнем.

Функциональная корректность может быть измерена для задач классификации, регрессии, кластеризации и выработки рекомендаций, выполняемых с использованием ИИ. Для этих задач выбор подходящей метрики зависит от варианта использования и ограничений предметной области. Кроме того, для систем машинного обучения (МО) выбранная метрика может отличаться от метрики, использованной во время обучения.

… В настоящем документе описаны методологии измерения производительности моделей ИИ для задач классификации, регрессии, кластеризации и предоставления рекомендаций.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Общие принципы
6. Оценка функциональной корректности для выполняемых ИИ задач классификации 
7. Оценка функциональной корректности для выполняемых ИИ задач регрессии 
8. Оценка функциональной корректности для выполняемых ИИ задач кластеризации
9. Оценка функциональной корректности для выполняемых ИИ задач предоставления рекомендаций 
10. Статические тесты значимости для классификации
Приложение А: Иллюстрация функциональной корректности на примере мультиклассовой классификации
Приложение В: Пример ROC-кривой, полученной на основе результатов классификации
Приложение С: Сводная информация, получаемая из рейтинговых тестов 
Приложение D: Доля смертности по конкретным причинам с поправкой на случайность
Библиография

Источник: сайт ИСО / сайт BSI
https://www.iso.org/standard/89455.html 
https://standardsdevelopment.bsigroup.com/projects/2024-01986 


США: Национальная организация по информационным стандартам (NISO) открыла публичное обсуждение стандарта NISO Z39.107 «Метаданные для улучшения доступности»

Данная новость была опубликована 24 сентября 2024 года на сайте и в новостной рассылке американской Национальной организации по информационным стандартам (National Information Standards Organization, NISO) – органа, разрабатывающего стандарты в области библиотечного и издательского дела и аккредитованного при национальном органе по стандартизации ANSI.

Американская Национальная организация по информационным стандартам (National Information Standards Organization, NISO) объявила 24 сентября 2026 года о том, что проект стандарта NISO Z39.107 «Метаданные для улучшения доступности» (Accessibility Remediation Metadata, ARM) доступен для общественного обсуждения, которое продлится до 9 ноября 2026 года, на веб-странице проекта по адресу https://www.niso.org/standards-committees/arm .

Мой комментарий:
Проект документа объёмом 23 страницы доступен по адресу
https://www.dropbox.com/...

Многие информационные ресурсы, включая книги и статьи, недоступны для людей с ограниченными возможностями, несмотря на существующие требования законодательства к образовательным учреждениям и государственным органам обеспечивать наличие доступных версий таких материалов. Большинство опубликованных материалов не обеспечивает полной доступности, что требует их специальной адаптации под индивидуальные потребности. Зачастую такая работа по адаптации дублируется в разных учреждениях, поскольку отсутствует единая система, позволяющая им легко обмениваться результатами усилий по адаптации.

Проект FRAME и созданная в его рамках платформа EMMA (Educational Materials Made Accessible - «Образовательные материалы, сделанные доступными»), финансируемые фондом Меллона (Andrew W. Mellon Foundation), ставили своей целью устранение дублирования усилий и поощрение обмена адаптированными ресурсами посредством создания модели метаданных для детального описания процесса адаптации. Для расширения, уточнения и стандартизации модели метаданных EMMA с целью удовлетворения потребностей широкого сообщества специалистов в области обеспечения доступности, была создана рабочая группа «Метаданные для улучшения доступности» (Accessibility Remediation Metadata, ARM). 

«Потребности людей с ограниченными возможностями в плане доступности существенно различаются. Например, незрячему пользователю может потребоваться математический контент в формате MathML и развернутые описания сложных изображений. Человеку с дислексией может подойти формат EPUB с возможностью изменения параметров представления (reflowable)», — отметил Билл Касдорф (Bill Kasdorf), консультант и сопредседатель рабочей группы ARM. «Метаданные для улучшения доступности (ARM-метаданные) позволяют детально описать эти свойства, облегчая отдельным лицам и учреждениям поиск ресурсов, отвечающих потребностям конкретного человека, - что является распространенной потребностью в библиотеках и учебных аудиториях».

«ARM-метаданные также позволяют захватить важную библиографическую и техническую информацию, используя стандартизированный словарь, понятный как человеку, так и машине», - добавляет Джейкоб Джетт (Jacob Jett), научный библиотекарь Ассоциации государственных управляющих зонами возможного затопления (Association of State Floodplain Managers) и сопредседатель рабочей группы. «Такое расширение модели метаданных EMMA позволит улучшить обмен информацией о доступности ресурсов и поможет заложить основу для совместного использования результатов усилий по адаптации материалов».

«Мы рады представить этот проект сообществу», - говорит Дж. Стивен Дауни (J. Stephen Downie), профессор и заместитель декана по научной работе факультета библиотечного- информационного дела Иллинойсского университета, также сопредседатель рабочей группы. «Дополнительные замечания и предложения помогут обеспечить удовлетворение ARM-метаданными широкого спектра потребностей, что, в свою очередь, будет способствовать более широкому внедрению стандарта после его окончательного утверждения». 

«Мы высоко ценим самоотдачу Билла, Джейкоба, Стивена и всех участников рабочей группы, работавших над проектом стандарта ARM», - отметила менеджер программы стандартизации NISO Кеондра Бейли (Keondra Bailey). «Мы с нетерпением ждём продолжения сотрудничества с ними после завершения этапа общественного обсуждения, с тем, чтобы проанализировать и интегрировать в проект отзывы профессионального сообщества, и тем самым способствовать завершению процесса национальной стандартизации в ANSI (американский национальный орган по стандартизации – Н.Х.) и NISO».

Мой комментарий: Содержание стандарта следующее:

Предисловие
1. Область применения и назначение
2. Нормативные ссылки
3. Определения
4. Пространства имен
5. Устранение проблем доступности
6. Свойства ARM-метаданных 
Приложение А: Примеры
Библиография

Источник: сайт NISO
https://www.niso.org/standards-committees/arm