ИСО и МЭК: Завершается публичное обсуждение новой редакции стандарта ISO/IEC DIS 4213 «Измерение производительности для ИИ-задач классификации, регрессии, кластеризации и предоставления рекомендаций»

В конце июля 2026 года сайты Международной организации по стандартизации (ИСО) и Британского института стандартов (BSI) сообщили о начале публичного обсуждения новой, второй редакции стандарта ISO/IEC DIS 4213 «Информационные технологии - Искусственный интеллект - Измерение производительности для ИИ-задач классификации, регрессии, кластеризации и предоставления рекомендаций» (Information technology - Artificial Intelligence - Performance measurement for AI classification, regression, clustering and recommendation tasks) объёмом 61 страница основного текста, см. https://www.iso.org/standard/89455.html . 

Публичное обсуждение продлится до конца сентября 2026 года. Документ заменит действующие технические спецификации ISO/IEC TS 4213:2022 «Информационные технологии - Искусственный интеллект - Оценка производительности при классификации на основе машинного обучения» (Information technology - Artificial intelligence - Assessment of machine learning classification performance), см. https://www.iso.org/standard/79799.html 

Документ подготовлен подкомитетом SC42 «Искусственный интеллект» (Artificial intelligence), входящим в состав Объединенного технического комитета JTC1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).

В России действующая редакция документа была адаптирована как предстандарт ПНСТ 835-2023 (ISO/IEC TS 4213:2022) «Искусственный интеллект. Оценка эффективности моделей и алгоритмов машинного обучения в задаче классификации», см. https://protect.gost.ru/gost/details/8cda0cc1-63f7-4cd9-8360-d7e8d3863a8a ,  также мой пост 
http://rusrim.blogspot.com/2024/01/835-2023.html 

До 20 сентября 2026 года есть возможность индивидуально принять участие в публичном обсуждении данного стандарта на сайте Британского института стандартов (BSI) по адресу https://standardsdevelopment.bsigroup.com/projects/2024-01986  (при условии регистрации на сайте).

Страница обсуждения на сайте BSI

Во вводной части документа отмечается:

«По мере того, как исследователи из академических, коммерческих и государственных организаций и учреждений продолжают совершенствовать модели искусственного интеллекта, сформировалась общепринятая система показателей для количественной оценки этого совершенствования. Некоторые виды достижений в области искусственного интеллекта описываются в терминах повышения функциональной корректности (functional correctness – которую специалисты-практики в сфере ИИ также называют производительностью (performance)) по сравнению с современным уровнем или разумным эталонным уровнем.

Функциональная корректность может быть измерена для задач классификации, регрессии, кластеризации и выработки рекомендаций, выполняемых с использованием ИИ. Для этих задач выбор подходящей метрики зависит от варианта использования и ограничений предметной области. Кроме того, для систем машинного обучения (МО) выбранная метрика может отличаться от метрики, использованной во время обучения.

… В настоящем документе описаны методологии измерения производительности моделей ИИ для задач классификации, регрессии, кластеризации и предоставления рекомендаций.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Общие принципы
6. Оценка функциональной корректности для выполняемых ИИ задач классификации 
7. Оценка функциональной корректности для выполняемых ИИ задач регрессии 
8. Оценка функциональной корректности для выполняемых ИИ задач кластеризации
9. Оценка функциональной корректности для выполняемых ИИ задач предоставления рекомендаций 
10. Статические тесты значимости для классификации
Приложение А: Иллюстрация функциональной корректности на примере мультиклассовой классификации
Приложение В: Пример ROC-кривой, полученной на основе результатов классификации
Приложение С: Сводная информация, получаемая из рейтинговых тестов 
Приложение D: Доля смертности по конкретным причинам с поправкой на случайность
Библиография

Источник: сайт ИСО / сайт BSI
https://www.iso.org/standard/89455.html 
https://standardsdevelopment.bsigroup.com/projects/2024-01986 

Особенности предоставления информации с применением рекомендательных технологий

Федеральный закон от 31 июля 2023 года №408-ФЗ «О внесении изменения в Федеральный закон «Об информации, информационных технологиях и о защите информации»» дополнил федеральный закон от 27 июля 2006 года №149-ФЗ «Об информации, информационных технологиях и о защите информации» статьей 10_2-2 «Особенности предоставления информации с применением рекомендательных технологий». Федеральный закон вступил в силу с 1 октября 2023 года.

Владелец сайта и/или страницы в сети «Интернет», и/или информационной системы, и/или программы для электронных вычислительных машин, на которых применяются информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети «Интернет», находящихся на территории Российской Федерации, обязан соблюдать требования законодательства Российской Федерации, в частности (п.1):

• Не допускать применение информационных технологий предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети «Интернет», находящихся на территории Российской Федерации (далее - рекомендательные технологии), которые нарушают права и законные интересы граждан и организаций, а также не допускать применение рекомендательных технологий в целях предоставления информации с нарушением законодательства Российской Федерации;
  
  
• Не допускать предоставление информации с применением рекомендательных технологий (РТ) без информирования пользователей сети «Интернет» о применении на данном сайте и/или странице сайта в сети «Интернет», и/или в информационной системе, и/или в программе для электронных вычислительных машин РТ. Требования к содержанию информации о применении этих технологий и размещению такой информации на информационном ресурсе устанавливаются Роскомнадзором;
  
  
• Разместить на информационном ресурсе, на котором применяются РТ, документ, устанавливающий правила их применения;
  
  
• Разместить на информационном ресурсе, на котором применяются РТ, адрес электронной почты для направления ему юридически значимых сообщений, свои фамилию и инициалы (для физического лица) или наименование (для юридического лица).

Мой комментарий: Например, «В Контакте» уже информируют об использовании рекомендательных технологий (см. скриншот справа):

Правила применения рекомендательных технологий должны содержать (п.2):

• Описание процессов и методов сбора, систематизации, анализа сведений, относящихся к предпочтениям пользователей сети «Интернет», предоставления информации на основе этих сведений, а также способов осуществления таких процессов и методов;
  
  
• Виды сведений, относящихся к предпочтениям пользователей сети «Интернет», которые используются для предоставления информации с применением этих технологий, источники получения таких сведений.

Правила применения РТ должны быть размещены на информационном ресурсе, на котором они применяются, на русском языке. Владелец информационного ресурса должен обеспечить беспрепятственный и безвозмездный доступ пользователей к правилам применения (п.3).

В случае обнаружения в сети «Интернет» информационного ресурса, на котором РТ применяются с признаками нарушения требований, Роскомнадзор вправе запрашивать у владельца информационного ресурса (п.4):

• Информацию, связанную с применением РТ;
  
  
• Доступ к программно-техническим средствам РТ для проведения оценки соответствия их применения требованиям настоящей статьи.

В случае установления факта неисполнения владельцем информационного ресурса, на котором применяются РТ, обязанностей, предусмотренных настоящей статьей, Роскомнадзор направляет ему уведомление, содержащее требование принять меры по устранению выявленного нарушения. Владелец информационного ресурса обязан принять меры по устранению указанного в уведомлении нарушения не позднее чем через десять дней со дня получения уведомления или в иной, установленный в уведомлении срок (п.5).

В случае непринятия владельцем информационного ресурса мер Роскомнадзор незамедлительно направляет ему требование о прекращении предоставления информации с применением РТ (п.6).

В течение суток с момента получения требования владелец информационного ресурса, обязан прекратить предоставление информации с применением РТ (п.7).

В случае неисполнения владельцем информационного ресурса требования о прекращении предоставления информации с применением РТ Роскомнадзор незамедлительно направляет по системе взаимодействия операторам связи требование о принятии мер по ограничению доступа к информационному ресурсу. Данное требование должно содержать доменное имя сайта в сети «Интернет», сетевой адрес, указатели страниц сайта в сети «Интернет», позволяющие идентифицировать такой информационный ресурс (п.8).

После получения по системе взаимодействия требования Роскомнадзора о принятии мер по ограничению доступа оператор связи, оказывающий услуги по предоставлению доступа к информационно-телекоммуникационной сети «Интернет», обязан незамедлительно ограничить доступ к информационному ресурсу (п.9).

В случае, если владелец информационного ресурса принял меры, он направляет уведомление об этом в Роскомнадзор. Такое уведомление может быть направлено также в электронном виде (п.10).

После получения уведомления и проверки его достоверности Роскомнадзор обязан незамедлительно уведомить по системе взаимодействия оператора связи о возобновлении доступа к информационному ресурсу, на котором применяются рекомендательные технологии (п.11).

После получения уведомления оператор связи незамедлительно возобновляет доступ к информационному ресурсу, на котором применяются РТ (п.12).

Порядок взаимодействия Роскомнадзора с владельцами информационных ресурсов, на которых применяются РТ, устанавливается Роскомнадзором (п.14).

Положения настоящей статьи не распространяются на операторов государственных информационных систем, государственные органы и органы местного самоуправления (п.15).

Нарушение владельцем информационного ресурса, на котором применяются РТ, требований настоящей статьи влечет за собой уголовную, административную и иную ответственность в соответствии с законодательством Российской Федерации (п.16).

Источник: Консультант Плюс
https://www.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=453264