Публичное обсуждение продлится до конца сентября 2026 года. Документ заменит действующие технические спецификации ISO/IEC TS 4213:2022 «Информационные технологии - Искусственный интеллект - Оценка производительности при классификации на основе машинного обучения» (Information technology - Artificial intelligence - Assessment of machine learning classification performance), см. https://www.iso.org/standard/79799.html
Документ подготовлен подкомитетом SC42 «Искусственный интеллект» (Artificial intelligence), входящим в состав Объединенного технического комитета JTC1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).
В России действующая редакция документа была адаптирована как предстандарт ПНСТ 835-2023 (ISO/IEC TS 4213:2022) «Искусственный интеллект. Оценка эффективности моделей и алгоритмов машинного обучения в задаче классификации», см. https://protect.gost.ru/gost/details/8cda0cc1-63f7-4cd9-8360-d7e8d3863a8a , также мой пост
http://rusrim.blogspot.com/2024/01/835-2023.html
До 20 сентября 2026 года есть возможность индивидуально принять участие в публичном обсуждении данного стандарта на сайте Британского института стандартов (BSI) по адресу https://standardsdevelopment.bsigroup.com/projects/2024-01986 (при условии регистрации на сайте).
Страница обсуждения на сайте BSI
«По мере того, как исследователи из академических, коммерческих и государственных организаций и учреждений продолжают совершенствовать модели искусственного интеллекта, сформировалась общепринятая система показателей для количественной оценки этого совершенствования. Некоторые виды достижений в области искусственного интеллекта описываются в терминах повышения функциональной корректности (functional correctness – которую специалисты-практики в сфере ИИ также называют производительностью (performance)) по сравнению с современным уровнем или разумным эталонным уровнем.
Функциональная корректность может быть измерена для задач классификации, регрессии, кластеризации и выработки рекомендаций, выполняемых с использованием ИИ. Для этих задач выбор подходящей метрики зависит от варианта использования и ограничений предметной области. Кроме того, для систем машинного обучения (МО) выбранная метрика может отличаться от метрики, использованной во время обучения.
… В настоящем документе описаны методологии измерения производительности моделей ИИ для задач классификации, регрессии, кластеризации и предоставления рекомендаций.»
Содержание стандарта следующее:
Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Общие принципы
6. Оценка функциональной корректности для выполняемых ИИ задач классификации
7. Оценка функциональной корректности для выполняемых ИИ задач регрессии
8. Оценка функциональной корректности для выполняемых ИИ задач кластеризации
9. Оценка функциональной корректности для выполняемых ИИ задач предоставления рекомендаций
10. Статические тесты значимости для классификации
Приложение А: Иллюстрация функциональной корректности на примере мультиклассовой классификации
Приложение В: Пример ROC-кривой, полученной на основе результатов классификации
Приложение С: Сводная информация, получаемая из рейтинговых тестов
Приложение D: Доля смертности по конкретным причинам с поправкой на случайность
Библиография
Источник: сайт ИСО / сайт BSI
https://www.iso.org/standard/89455.html
https://standardsdevelopment.bsigroup.com/projects/2024-01986
Комментариев нет:
Отправить комментарий