Над стандартом работает объединённый технический комитет CEN-CENELEC JTC21 «Искусственный интеллект» (Artificial Intelligence). В целом же стандарт EN 18229 «Концепция обеспечения надежности ИИ и доверия к нему» (AI trustworthiness framework) будет содержать следующие части:
- Часть 1 «Ведение журналов аудита» (Logging) – идёт публичное обсуждение, см. также мой пост http://rusrim.blogspot.com/2026/07/cen-pren-18229-1-1.html ;
- Часть 2 «Прозрачность» (Transparency) – в разработке;
- Часть 3 «Надзор со стороны человека» (Human oversight) - идёт публичное обсуждение;
- Часть 4 «Точность» (Accuracy) – в разработке;
- Часть 5 «Робастность» (Robustness) – в разработке.
Страница обсуждения на сайте BSI
Документ также доступен на сайте немецкого органа по стандартизации DIN (при условии прохождения бесплатной регистрации) по адресу https://www.din.de/de/mitwirken/entwuerfe/ne-stellung/wdc-beuth:din21:404712503 .
Во вводной части документа отмечается:
«Настоящий документ содержит терминологию, концепции, требования и рекомендации надзору со стороны человека над системами искусственного интеллекта (ИИ). Он в первую очередь адресован организациям, выводящим системы ИИ на рынок или вводящих их в эксплуатацию, и не является специфическим для какого-либо конкретного сектора.»
Содержание документа следующее:
6. Документация
Редактор проекта стандарта prEN 18229, испанский специалист по политике в области ИИ Лука Наннини (Luca Nannini - на фото) в своём посте в социальной сети LinkedIn о начале публичного обсуждения 3-й части стандарта, в частности, отметил следующее:
Обращение к экспертам немецкого органа по стандартизации DIN
Исходя из этого ключевого положения, в стандарте определяются три категории мер надзора:
Источник: сайт CEN / сайт BSI / сайт LinkedIn / сайт эстонского органа по стандартизации
https://standards.cencenelec.eu/ords/f?p=CEN:110:::::FSP_PROJECT,FSP_ORG_ID:83968,2916257&cs=1AE0E84FB77D7D3D0D502227093B42A42
https://standardsdevelopment.bsigroup.com/projects/2026-02119
https://www.linkedin.com/posts/luca-nannini_pren-18229-3-jt021056-the-human-oversight-share-7488480074355228672-R8Ai/
https://komport.evs.ee/Default.aspx?s=standardCommenting&doc=21119
Европейское предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5 Надзор со стороны человека
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5 Надзор со стороны человека
5.1. Цели
5.2. Интеграция с менеджментом риска
5.3. Категории мер надзора со стороны человека
5.4. Спецификация мер надзора и контроля, реализуемых развертывающей систему ИИ стороной
5.5. Необъективность при автоматизации и человеческий фактор
5.6. Интерпретация выходных результатов и инструменты интерпретации
5.7. Функциональные требования к функциональным возможностям, поддерживающим вмешательство уполномоченного лица
5.8. Системы удалённой биометрической идентификации (RBI) - требования к надзору со стороны человека
5.2. Интеграция с менеджментом риска
5.3. Категории мер надзора со стороны человека
5.4. Спецификация мер надзора и контроля, реализуемых развертывающей систему ИИ стороной
5.5. Необъективность при автоматизации и человеческий фактор
5.6. Интерпретация выходных результатов и инструменты интерпретации
5.7. Функциональные требования к функциональным возможностям, поддерживающим вмешательство уполномоченного лица
5.8. Системы удалённой биометрической идентификации (RBI) - требования к надзору со стороны человека
Мой комментарий: Термин «системы RBI» взят из п.41 ст.3 «Определения» европейского Закона об ИИ, где дано следующее определение: «Под «системой удалённой (дистанционной) биометрической идентификации» (remote biometric identification system) понимается система искусственного интеллекта, предназначенная для идентификации физических лиц без их активного участия, - как правило, дистанционно, - посредством сравнения биометрических данных человека с биометрическими данными, содержащимися в эталонной базе данных.»
6. Документация
6.1. Инструкция по применению
6.2. Техническая документация
6.2. Техническая документация
Приложение ZA (справочное): Взаимосвязь между данным европейским стандартом и основными требованиями европейского Регламента 2024/1689 (это европейский Закон об искусственном интеллекте – Н.Х.), которые предполагается охватить
Библиография
Библиография
«Проект европейского стандарта prEN 18229-3, по вопросам надзора со стороны человека в рамках концепции обеспечения надёжности ИИ и доверия к нему, вышел на стадию публичного обсуждения.
Статья 14 «Надзор со стороны человека» (Human oversight) европейского Закона об ИИ цитируется гораздо чаще, чем конкретизируется: до тех пор, пока стандарт не определит, что необходимо уполномоченному лицу (designated person), как обеспечивается его способность вмешиваться, и в течение какого периода времени вмешательство должно оставаться возможным, «осмысленный надзор» ('meaningful oversight) остается лишь красивыми словами, а данный проект конкретизирует данное понятие и трансформирует его в требования.
Ключевой посыл проекта - установить рамки надзора, а не его заявить о его необходимости: период времени, в течение которого должна обеспечиваться возможность вмешательства, определяется по итогам процесса управления рисками, предусмотренного проектом европейского стандарта prEN 18228 «Управление рисками, связанными с ИИ» (AI Risk Management, о нём см. мой пост http://rusrim.blogspot.com/2025/09/pren-18228.html - Н.Х.) - и привязываются к конкретным сценариям риска, что превращает обнадеживающие красивые слова в метрику действий, которую может оценить уполномоченный регулирующий орган.
Статья 14 «Надзор со стороны человека» (Human oversight) европейского Закона об ИИ цитируется гораздо чаще, чем конкретизируется: до тех пор, пока стандарт не определит, что необходимо уполномоченному лицу (designated person), как обеспечивается его способность вмешиваться, и в течение какого периода времени вмешательство должно оставаться возможным, «осмысленный надзор» ('meaningful oversight) остается лишь красивыми словами, а данный проект конкретизирует данное понятие и трансформирует его в требования.
Ключевой посыл проекта - установить рамки надзора, а не его заявить о его необходимости: период времени, в течение которого должна обеспечиваться возможность вмешательства, определяется по итогам процесса управления рисками, предусмотренного проектом европейского стандарта prEN 18228 «Управление рисками, связанными с ИИ» (AI Risk Management, о нём см. мой пост http://rusrim.blogspot.com/2025/09/pren-18228.html - Н.Х.) - и привязываются к конкретным сценариям риска, что превращает обнадеживающие красивые слова в метрику действий, которую может оценить уполномоченный регулирующий орган.
Обращение к экспертам немецкого органа по стандартизации DIN
Исходя из этого ключевого положения, в стандарте определяются три категории мер надзора:
- ретроспективный анализ,
- вмешательство при получении оповещения, и
- непрерывный мониторинг,
- а также четыре функциональных возможности, доступные назначенному лицу:
- игнорирование (disregard),
- принятие человеком иного решения (override),
- возврат к прежнему состоянию (reverse), и
- перевод системы в безопасное состояние.
При этом документ исходит из того, что предвзятость при автоматизации (automation bias) должна проверяться, а не предполагаться, а также предусматривает специальные положения в отношении удаленной биометрической идентификации.
Архитектура стандарта prEN 18229 в целом выстроена так, что она предусматривает взаимодействие с поставщиком, документирование информации об инструкциях по надзору для использования при обеспечении прозрачности (prEN 18229-2), определяет временные рамки на основе менеджмента риска (prEN 18228-3) и сохраняет соответствующие свидетельства / доказательства ыв интересах управления документами (prEN 18229-1).
С моей точки зрения, вопрос надзора являлся интересной частью работы над концепцией в целом, поскольку в этой области гораздо легче прийти к согласию по принципам, чем по методам, - и именно этот пробел стандарт призван заполнить. Именно поэтому аргументированные комментарии будут сейчас иметь больший вес в ходе публичного обсуждения (по итогам которого проект всё еще может быть изменён и, будем надеяться, улучшен...).»
С моей точки зрения, вопрос надзора являлся интересной частью работы над концепцией в целом, поскольку в этой области гораздо легче прийти к согласию по принципам, чем по методам, - и именно этот пробел стандарт призван заполнить. Именно поэтому аргументированные комментарии будут сейчас иметь больший вес в ходе публичного обсуждения (по итогам которого проект всё еще может быть изменён и, будем надеяться, улучшен...).»
Источник: сайт CEN / сайт BSI / сайт LinkedIn / сайт эстонского органа по стандартизации
https://standards.cencenelec.eu/ords/f?p=CEN:110:::::FSP_PROJECT,FSP_ORG_ID:83968,2916257&cs=1AE0E84FB77D7D3D0D502227093B42A42
https://standardsdevelopment.bsigroup.com/projects/2026-02119
https://www.linkedin.com/posts/luca-nannini_pren-18229-3-jt021056-the-human-oversight-share-7488480074355228672-R8Ai/
https://komport.evs.ee/Default.aspx?s=standardCommenting&doc=21119
