Показаны сообщения с ярлыком ИИ-системы. Показать все сообщения
Показаны сообщения с ярлыком ИИ-системы. Показать все сообщения

воскресенье, 18 октября 2026 г.

Ассоциация IEEE продолжает работу над проектом стандарта IEEE P8000.1 «Метод и критерии оценки доверия к системе искусственного интеллекта»

Сайт Международной ассоциации специалистов по электротехнике и радиоэлектронике IEEE (от Institute of Electrical and Electronics Engineers – «Институт инженеров по электротехнике и радиоэлектронике») в июле 2026 года сообщил о готовности (и о возможности приобретения в онлайн-магазине) очередной версии проекта стандарта IEEE P8000.1 «Метод и критерии оценки доверия к системе искусственного интеллекта (ИИ)» (IEEE Draft Standard for a Method and Criteria to Assess the Trustworthiness of Artificial Intelligence (AI) Systems), см. https://standards.ieee.org/ieee/8000.1/12593/ и https://store.accuristech.com/standards/ieee-p8000-1?product_id=3129213 . 

Над стандартом работает комитет «Совет по управлению совместной деятельностью организаций» (Entity Collaborative Activities Governance Board, BOG/CAG).

В аннотации на стандарт отмечается следующее:

Область применения

Стандарт описывает методологию и критерии оценки возможности доверять системам искусственного интеллекта (ИИ). В нем устанавливаются механизмы балльной оценки для ключевых принципов, лежащих в основе доверия к ИИ, с учётом взаимосвязей между этими принципами. 

Критерии охватывают как оценку технических характеристик (включая робастность и безопасность), так и социально-этические аспекты (такие как прозрачность, подотчетность, возможность надзора и участия человека, защита персональных данных и справедливость). 

Данные критерии предназначены для применения на различных этапах цепочки поставок систем ИИ - от разработки до развёртывания и эксплуатации - и применимы как к отдельным ИИ-компонентам, так и к цельным интегрированным системам.

Назначение

Цель данного стандарта является предоставление методологию и всестороннего набора критериев для оценки возможности доверять системам искусственного интеллекта (ИИ). 

Предлагаемая концепция даёт возможность проводить учитывающую контекст оценку посредством выбора применимых критериев, соответствующих региональным нормам, правовым системам и культурным ценностям. 

Стандарт закладывает техническую основу для услуг по проведению рейтинговой оценки возможности доверять системам ИИ и для разработки схем оценки соответствия, включая программы сертификации.

Краткое содержание

Стандарт описывает метод оценки возможности доверять системам искусственного интеллекта (ИИ). С помощью этого метода можно вычислить семь отдельных балльных оценок - по одной для каждого из следующих принципов - отражающих возможность доверять системе ИИ и её солидность с этической точки зрения:

  • Подотчетность;

  • Участие человека и надзор, осуществляемый человеком;

  • Техническая робастность и безопасность;

  • Защита персональных данных и стратегическое управление данными;

  • Прозрачность;

  • Многообразие, отсутствие дискриминации и справедливость;

  • Благополучие общества и окружающей среды.

Данный метод применим как к системам ИИ высокого уровня риска, так и к системам ИИ, не относящимся к этой категории. Метод предназначен для балльной оценки систем ИИ на различных этапах цепочки поставок: от разработки до внедрения и эксплуатации. 

Описанный метод призван послужить основой для сервиса рейтинговых оценок возможности доверять системам ИИ и для программы их сертификации.

Источники: сайт IEEE / магазин стандартов IEEE SA
https://standards.ieee.org/ieee/8000.1/12593/ 
https://store.accuristech.com/standards/ieee-p8000-1?product_id=3129213 
https://sagroups.ieee.org/8000/ 
 

воскресенье, 4 октября 2026 г.

ИСО и МЭК: Опубликован технический отчёт ISO/IEC TR 42106:2026 «Обзор дифференцированного сравнительного анализа показателей качества ИИ-систем»

В июле 2026 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации нового технического отчёта ISO/IEC TR 42106:2026 «Информационные технологии – Искусственный интеллект (ИИ) – Обзор дифференцированного сравнительного анализа показателей качества ИИ-систем»  (Information technology - Artificial intelligence (AI) - Overview of differentiated benchmarking of AI system quality characteristics) объёмом 28 страниц, см. https://www.iso.org/standard/86903.html .

Документ подготовлен подкомитетом SC42 «Искусственный интеллект» (Artificial intelligence), входящим в состав Объединенного технического комитета JTC1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).

Во вводной части документа отмечается:

«Сравнительный анализ (бенчмаркинг – benchmarking) часто используется для сопоставления показателей качества программных систем с эталонными или с целевыми значениями. Учитывая разнообразный характер и неоднородное воздействие систем ИИ, такого рода эталонные и целевые значения могут значительно различаться в разных системах и в разных внедрениях аналогичных систем в различных контекстах использования. Для учёта этого разнообразия и неоднородности, дифференцированный сравнительный анализ (дифференцированный бенчмаркинг) может рассматривать разные показатели качества в сопоставлении с различными эталонными значениями. В настоящем документе проведен анализ концептуальных структур управления ИИ с точки зрения их способности предлагать рекомендации по проведению дифференцированного бенчмаркинга показателей качества систем ИИ.

… В настоящем документе представлен обзор концептуальных рамок для градуированного бенчмаркинга показателей качества систем искусственного интеллекта (ИИ). Цель заключается в том, чтобы изучить возможность использования дифференцированного сравнительного анализа (дифференцированного бенчмаркинга) показателей качества на основе сложности и контекста использования системы ИИ.»

Содержание документа следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Обзор соответствующих методов сравнительного анализа (бенчмаркинга)
5. Сравнительный анализ (бенчмаркинг) систем ИИ
6. Методы дифференцированного сравнительного анализа (бенчмаркинга)
7. Анализ возможности применения
Приложение А: Примеры уровней спецификации
Приложение Б: Описание показателей
Библиография

Источники: сайт ИСО
https://www.iso.org/standard/86903.html  


суббота, 19 сентября 2026 г.

ИСО и МЭК: Идёт публичное обсуждение стандарта ISO/IEC DIS 42007 «Высокоуровневая концепция и руководство по разработке схем оценки соответствия для систем ИИ»

В начале августа 2026 года сайт Международной организации по стандартизации (ИСО) сообщил о начале публичного обсуждения проекта нового стандарта ISO/IEC DIS 42007 «Информационные технологии - Искусственный интеллект – Высокоуровневая концепция и руководство по разработке схем оценки соответствия для систем искусственного интеллекта» (Information technology - Artificial intelligence - High-level framework and guidance for the development of conformity assessment schemes for AI systems) объёмом 24 страницы основного текста, см. https://www.iso.org/standard/89967.html .

Документ подготовлен подкомитетом SC42 «Искусственный интеллект» (Artificial intelligence), входящим в состав Объединенного технического комитета JTC1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).

До 4 октября 2026 года есть возможность индивидуально принять участие в публичном обсуждении данного стандарта на сайте Британского института стандартов (BSI) по адресу https://standardsdevelopment.bsigroup.com/projects/2024-03351 (при условии регистрации на сайте).


Страница обсуждения на сайте BSI

Во вводной части документа отмечается:

«Системы искусственного интеллекта (ИИ) могут отличаться от традиционных программируемых систем во многих аспектах, включая способность автоматически адаптироваться к различным обучающим данным и средам эксплуатации. Ввиду этого оценка соответствия систем ИИ может быть более сложной задачей. Именно поэтому важно обеспечить возможность того, чтобы качественная инфраструктура, поддерживала доверенный доступ к рынку посредством оценки соответствия систем ИИ. Данный документ содержит рекомендации по разработке и эксплуатации схем оценки соответствия (в т.ч. тех, что используют сертификацию) для систем ИИ.

Данный документ должен использоваться совместно со стандартом ISO/IEC FDIS 17067 «Оценка соответствия – Основы сертификации продуктов и руководство по схемам сертификации продуктов» (Conformity assessment — Fundamentals of and guidelines for conformity assessment schemes, см. https://www.iso.org/standard/17067 . Этот стандарт вскоре заменит действующий стандарт ISO/IEC 17067:2013, который в России был адаптирован как межгосударственный стандарт ГОСТ ISO/IEC 17067-2015 «Оценка соответствия. Основные положения сертификации продукции и руководящие указания по схемам сертификации продукции», см. https://protect.gost.ru/gost/details/e6665a18-4dcf-4a99-b7e5-2be544b398b1 – Н.Х.) . 

Данный документ имеет ту же структуру и нумерацию пунктов, что и ISO/IEC FDIS 17067, поэтому их можно применять одновременно. Если явно не указано иное, для удобства понимания данного документа термин «схема оценки соответствия» (conformity assessment scheme) иногда используется в сокращённой форме «схема».

Владелец схемы определяет, в каких случаях требовать само-декларации соответствия или проведения оценки третьей стороной. Оценка третьей стороной и подтверждение выполнения установленных требований называется «сертификацией».

В данном документе описывается, каким образом могут быть структурированы, разработаны, развёрнуты схемы оценки соответствия для систем ИИ, и как осуществляется их эксплуатация и управление. В нём называются распространенные виды деятельности, используемые для оценки соответствия, включая (но не ограничиваясь ими) аудит, сертификацию, инспекцию и тестирование.

Целевой аудиторией данного документа прежде всего, являются владельцы схем оценки соответствия, а также лица, рассматривающие возможность стать владельцами таких схем. Владельцами схем оценки соответствия для систем ИИ могут быть:

a) органы по сертификации продукции;

b) регулирующие органы;

c) агентства по проведению закупок;

d) неправительственные организации;

e) отраслевые и розничные ассоциации;

f) организации гражданского общества;

g) поставщиков и пользователей систем ИИ.

… Настоящий документ содержит высокоуровневую концептуальную структуру и рекомендации по разработке и эксплуатации схем оценки соответствия (включая схемы сертификации) для систем искусственного интеллекта (ИИ).»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Схемы (программы) и системы оценки соответствия
5. Функциональный подход к оценке соответствия
6. Содержание схемы
7. Ответственность владельца схемы
8. Жизненный цикл схемы
9. Категоризация и типы схем
Приложение A. Мероприятия по оценке соответствия, требования к компетенциям и их исполнение
Приложение B. Ключевые вопросы для разработки схем оценки соответствия для систем ИИ
Приложение C. Содержание заявлений о соответствии (например, сертификатов) для систем ИИ
Приложение D. Пример схемы оценки соответствия для систем ИИ с несколькими типами объектов оценки соответствия (в соответствии с Приложением J стандарта ISO/IEC 17067)
Приложение E. Руководство для владельцев схем по разработке и эксплуатации схем оценки соответствия для систем ИИ в ситуациях совместной ответственности за ИИ
Библиография

Источник: сайт ИСО / сайт BSI
https://www.iso.org/standard/89967.html 
https://standardsdevelopment.bsigroup.com/projects/2024-03351

суббота, 12 сентября 2026 г.

США: Национальный институт стандартов и технологий NIST опубликовал для общественного обсуждения «нулевой проект» руководства по документированию ИИ

Данная новость была опубликована в №15 за 2026 год новостного бюллетеня исследовательской группы по ИИ «Аккредитованного комитета по стандартизации X9».

Для справки: Организация «Аккредитованный комитет по стандартизации X9 «Стандарты финансовой отрасли» (Financial Industry Standards)»» - известная также как «комитет X9» – является лидером в разработке национальных и международных стандартов для отрасли финансовых услуг. Комитет X9 также организует работу технического комитета ИСО TC68, публикующего стандарты для глобальной индустрии финансовых услуг.

30 июля 2026 года американский Национальный институт стандартов и технологий (National Institute of Standards and Technology, NIST) опубликовал «первоначальный проект для публичного обсуждения» (initial public draft, IPD) под названием «Руководство и шаблоны для общедоступной документации по ИИ» (Guidance and Templates for Public-Facing AI Documentation). 

Авторы данного документа Разван Амиронесей (Razvan Amironesei) и Джесси Дуниец (Jesse Dunietz) подготовили этот проект в рамках пилотного проекта NIST разработки т.н. «нулевых проектов стандартов ИИ» (об этом проекте см. мой пост https://rusrim.blogspot.com/2026/03/nist-1.html - Н.Х.). 

Публичное обсуждение завершится 16 сентября 2026 года. Подход NIST предполагает сбор мнений заинтересованных сторон до того, как официальные органы по стандартизации начнут работу над соответствующими документами, что помогает ускорить разработку стандартов.

Данный «нулевой проект» предлагает шаблоны, показывающие, как разработчикам и развёртывающим системы ИИ сторонами следует документировать и информировать общественность о возможностях, ограничениях и рисках этих систем. В документе рассматриваются карты описания моделей и систем, а также другие форматы раскрытия информации для общественности. 

NIST поддержал проект, выделив 55 миллионов долларов на исследования в области стандартов ИИ. Инициатива по стандартам для агентского ИИ, также находящаяся под эгидой NIST, была обновлена 14 августа 2026 года и осуществляется параллельно с данной работой по документированию ИИ.

Специалистам по соблюдению законодательно-нормативных требований (комплайнсу) и по управлению рисками следует внимательно следить за работой над этим документом. Регуляторы в сфере финансовых услуг формируют ожидания в отношении прозрачности ИИ, опираясь на такие рамочные концепции, как та, что представлена в данном документе. Документационные требования к картам описания моделей (model cards) и систем (system cards) могут повлиять на будущие ожидания при проведении проверок. 

Имеющаяся возможность представить до 16 сентября 2026 года свои замечания и предложения позволяет организациям напрямую воздействовать на ход развития этих ожиданий, при этом прилагая относительно небольшие усилия и потенциально оказывая значительное влияние.

Мой комментарий: Документ NIST AI 300-1 ipd «Руководство и шаблоны для общедоступной документации по ИИ» (Guidance and Templates for Public-Facing AI Documentation) объёмом 54 страницы доступен на сайте NIST по адресу https://doi.org/10.6028/NIST.AI.300-1.ipd .

Во вводной части документа отмечается:

«Настоящий документ содержит рекомендации в отношении целей и подходов к документированию наборов данных и моделей ИИ с целью публичного распространения созданных документальных материалов. 

Документ содержит рекомендации по процессам документирования, а также требования к создаваемым материалам в виде шаблонов, на основе сопоставления с которыми может оцениваться соответствие документации. Кроме того, он специфицирует механизм расширения шаблонов и взаимосвязанных с ними требований посредством использования профилей.

Данный документ может использоваться любой организацией, предоставляющей или применяющей продукты и услуги, которые используют системы ИИ - вне зависимости от размера, типа и характера деятельности организации. 

Документ применим в отношении моделей ИИ любого типа, включая генеративный ИИ и большие языковые модели, а также прогностические модели машинного обучения и иные модели. 

Документ применим в отношении общедоступной документации на наборы данных и модели, вне зависимости от того, являются ли общедоступными сами эти наборы данных и модели.

Примечание: В настоящем документе рассматривает документирование только наборов данных и моделей ИИ. В нём не рассматривается документирование систем ИИ в целом, которые могут состоять из сложных комбинаций большого числа компонентов, зависящих или взаимодействующих с конкретным набором данных или моделью. По оценке NIST, практика документирования на таком уровне недостаточно развита, поэтому разработка соответствующих рекомендаций отложена на более поздний срок.»

Содержание документа следующее:

Введение
1. Область применения
2. Термины и определения 
3. Аспекты потенциальных результатов процесса подготовки общедоступной документации 
4. Рекомендации по процессам и артефактам в рамках подготовки общедоступной документации
5. Шаблоны документации
6. Профили
Приложение A: Профили по умолчанию

Источник: сайт X9 / сайт centerconsulting.com / сайт NIST
https://x9.org/x9ai-study-group-newsletter/ 
https://www.centerconsulting.com/ai-library/milestones/2026-nist-public-facing-ai-documentation-zero-draft 
https://www.nist.gov/artificial-intelligence/nists-ai-standards-zero-drafts-pilot-project-accelerate-standardization 



пятница, 21 августа 2026 г.

Вступил в силу самый строгий в мире нормативно-правовой акт, регламентирующий использование антропоморфного ИИ (4)

(Окончание, предыдущую часть см. http://rusrim.blogspot.com/2026/08/3_088237386.html )

Глава 3: Надзор, инспекция и юридическая ответственность

Статья 26: Поставщики интерактивных антропоморфных услуг обязаны выполнять процедуры регистрации алгоритмов, их модификации и аннулирования регистрации в соответствии с «Правилами управлении рекомендательными алгоритмами для информационных услуг в интернете» (《互联网信息服务算法推荐管理规定》). Управление киберпространства будет проводить ежегодную верификацию представленных материалов.

Статья 27: Управления киберпространства провинциального уровня обязаны, в соответствии со своими обязанностями, ежегодно готовить письменный анализ отчетов об оценке и другой соответствующей информации, а также осуществлять проверку ситуации. Если будет установлено, что поставщик антропоморфных интерактивных услуг не провел оценку безопасности в соответствии с положениями настоящих Правил, соответствующее управление должно обязать поставщика провести повторную оценку в установленный срок; а в случае, если управление сочтёт это необходимым, оно может проводить проверки на месте.

Статья 28: Администрация киберпространства Китая совместно с соответствующими ведомствами должна руководить и содействовать созданию экспериментальной платформы безопасности сервисов искусственного интеллекта, поощрять поставщиков антропоморфных интерактивных услуг к использованию этой платформы для технологических инноваций и тестирования аспектов безопасности, - а также продвигать безопасное и упорядоченное развитие антропоморфных интерактивных услуг.

Статья 29: Когда при выполнении своих надзорных и управленческих функций такие ведомства, как Администрация киберпространства, Государственная комиссия по развитию и реформам, Министерство промышленности и информационных технологий и Министерство общественной безопасности, выявляют значительные риски безопасности или инциденты безопасности, связанные с антропоморфными интерактивными услугами, они вправе, в соответствии со своими полномочиями и процедурами, проводить собеседования с законным представителем или главным ответственным лицом поставщика антропоморфных интерактивных услуг. Поставщик интерактивных антропоморфных услуг обязан принять необходимые меры для исправления ситуации и устранения потенциальных угроз.

Поставщики интерактивных антропоморфных услуг обязаны сотрудничать с законно осуществляемым надзорно-проверочными мероприятиями, проводимыми Администрацией киберпространства и соответствующими ведомствами, а также оказывать им необходимую поддержку и помощь.

Статья 30: В случае нарушения поставщиком интерактивных антропоморфных услуг положений настоящих Правил, Администрация киберпространства, Министерство промышленности и информационных технологий, Министерство общественной безопасности и другие соответствующие министерства и ведомства обязаны принять меры и наказать за нарушение в соответствии с положениями соответствующих законов и нормативных актов. В случае отсутствия соответствующих положений в законах и нормативных актах, Администрация киберпространства, Министерство промышленности и информационных технологий, Министерство общественной безопасности и другие соответствующие министерства и ведомства должны, в соответствии со своими обязанностями, выносят предупреждения или опубликовать критические материалы, предписав исправить ситуацию в установленный срок; а также могут потребовать от поставщика принятия таких мер, как приостановка регистрации учетных записей пользователей или других взаимосвязанных услуг. Если поставщик услуг отказывается устранить нарушение или обстоятельства являются серьезными, провайдеру будет предписано прекратить предоставление соответствующих услуг, и он может быть оштрафован на сумму от 10 тысяч до 100 тысяч юаней. Если нарушение представляет угрозу для жизни, здоровья и безопасности граждан и влечет за собой вредные последствия, то налагается штраф в размере от 100 тысяч до 200 тысяч юаней.

Глава 4. Дополнительные положения.

Статья 31: Если предоставление антропоморфных интерактивных услуг включает предоставление медицинских, финансовых или иных услуг, оно также должно соответствовать нормативным требования, установленным соответствующими компетентными органами.

Статья 32: Настоящие Правила вступают в силу 15 июля 2026 года.

Луиза Жаровски (Luiza Jarovsky)


Источник: сайт LinkedIn
https://www.linkedin.com/pulse/worlds-strictest-law-human-like-ai-luiza-jarovsky-phd-jb3fe/  


четверг, 20 августа 2026 г.

Вступил в силу самый строгий в мире нормативно-правовой акт, регламентирующий использование антропоморфного ИИ (3)

(Продолжение, предыдущую часть см. http://rusrim.blogspot.com/2026/08/2_02130716541.html )

Статья 15: При предоставлении услуг пожилым людям поставщики антропоморфных интерактивных услуг должны усилить разъяснения по вопросам здорового использования услуг пожилыми людьми, чётко обозначить риски для безопасности, своевременно реагировать на запросы и просьбы о помощи со стороны пожилых людей относительно использования услуг, а также защищать права и интересы пожилых людей в соответствии с законодательством.

Статья 16: Поставщики антропоморфных интерактивных услуг обязаны обеспечивать соблюдение прав собственности на данные и другие объекты в соответствии с законом, а также принимать меры, такие как шифрование данных и контроль доступа, для защиты безопасности данных о взаимодействии с пользователями.

За исключением случаев, которые либо предусмотрены законом, либо когда имеется явное согласие правообладателя, - поставщики антропоморфных интерактивных услуг не должны предоставлять данные о взаимодействии пользователями третьим лицам.

Поставщики антропоморфных интерактивных услуг должны предоставлять пользователям возможность копирования и удаления данных об интерактивном взаимодействии. Пользователи имеют право скопировать или удалить исторические данные об интерактивном взаимодействии, такие как протоколы чатов.

За исключением случаев, либо предусмотренных законами и нормативно-правовыми актами, либо когда имеется отдельное согласие пользователя, - поставщики антропоморфных интерактивных услуг не должны использовать данные об интерактивном взаимодействии, представляющие собой высокочувствительные персональные данные пользователей, для обучения моделей.

Статья 17: Поставщики антропоморфных интерактивных услуг обязаны получить согласие родителей или других опекунов несовершеннолетних перед обработкой персональных данных несовершеннолетних в возрасте до четырнадцати лет.

Поставщики антропоморфных интерактивных услуг обязаны, в соответствии с соответствующими национальными нормативными актами, либо сами проводить аудиты соответствия осуществляемой ими обработки персональных данных несовершеннолетних требованиям законодательства. либо поручать проведение таких аудитов профессиональным учреждениям.

Статья 18: Поставщики антропоморфных интерактивных услуг обязаны выполнять свои обязательства по идентификации синтетического контента, созданного искусственным интеллектом, и принимать эффективные меры по уведомлению пользователей о том, что они взаимодействуют с сервисами искусственного интеллекта, а не с физическими лицами.

Если поставщик антропоморфных интерактивных услуг обнаруживает, что пользователь чрезмерно зависим от сервиса или испытывает к нему привыкание, то поставщик должен хорошо заметным образом (например, с помощью всплывающего окна) динамически напоминать пользователю о том, что интерактивный контент создан сервисом искусственного интеллекта. Если пользователь использует антропоморфную интерактивную услугу непрерывно более 2 часов, то поставщик должен напоминать пользователю о необходимости следить за временем использования услуги в ходе диалога или с использованием всплывающих окон.

Статья 19: Поставщики антропоморфных интерактивных услуг обязаны предоставлять удобные способы выхода из антропоморфных интерактивных услуг. Если пользователь запрашивает выход через управление окном, голосовое управление, ввод ключевых слов или иным способом, то поставщик антропоморфных интерактивных услуг обязан незамедлительно прекратить предоставление услуги и не препятствовать выходу пользователя посредством продолжающегося взаимодействия или иными способами.

Статья 20: Если поставщик антропоморфных интерактивных услуг прекращает предоставление таких услуг, то он обязан уведомить пользователей заранее. Если поставщик не может уведомить пользователей заранее, то он обязан незамедлительно направить уведомление о прекращении предоставления услуг.

Статья 21: Поставщики антропоморфных интерактивных услуг должны совершенствовать механизмы обжалования пользователями и подачи жалоб/сообщений общественностью. Они обязаны создать удобные и эффективные каналы обжалования и подачи жалоб/сообщений, разъяснить процедуры рассмотрения и сроки представления ответов, а также надлежащим образом принимать, обрабатывать и давать ответ по результатам рассмотрения.

Статья 22: В любом из перечисленных ниже случаев поставщик антропоморфных интерактивных услуг обязан провести оценку безопасности и представить отчёт об оценке в управление по киберпространству той провинции, где он находится. Провинциальное управление по киберпространству обязано передавать информацию из отчета об оценке соответствующим ведомствам в соответствии с установленными процедурами:

(1) Запуск антропоморфных интерактивных услуг или добавление соответствующих функциональных возможностей;

(2) Использование новых технологий или приложений, которое привело к существенным изменениям в антропоморфных интерактивных услугах;

(3) Наличие более 1 миллиона зарегистрированных пользователей либо более 100 тысяч активных пользователей в месяц;

(4) Наличие рисков безопасности, способных повлиять на национальную безопасность или общественные интересы;

(5) Иные обстоятельства, установленные Администрацией киберпространства Китая и соответствующими ведомствами.

Если орган по кибербезопасности провинциального уровня или выше издаёт уведомление, требующее проведения оценки безопасности, поставщик антропоморфных интерактивных услуг обязан провести такую оценку в соответствии с требованием.

Статья 23: При проведении оценок безопасности поставщики интерактивных антропоморфных услуг должны сосредоточить внимание на оценке следующих аспектов услуги:

(1) Состояние мер обеспечения безопасности;

(2) Состояние обработки обучающих данных;

(3) Выявление, чрезвычайное реагирование и управление вмешательством в случае экстремальных ситуаций у пользователей;

(4) Масштабы использования, время использования, возрастная структура пользователей и т.д.;

(5) Положение дел с мерами онлайн-защиты для несовершеннолетних, пожилых людей и т.д.;

(6) Рассмотрение жалоб пользователей и сообщений от общественности;

(7) Положение дел с устранением основных угроз безопасности, обнаруженных самой компанией или сообщенных соответствующими органами, такими как Управление по кибербезопасности;

(8) Иные аспекты, которые следует оценить более подробно.

Статья 24: Если поставщик интерактивных антропоморфных услуг обнаружит существенные угрозы безопасности в своих интерактивных антропоморфных услугах, он обязан принять такие меры, как ограничение функциональных возможностей и прекращение предоставления услуг пользователям, - и должен это надлежащим образом задокументировать.

Статья 25: Интернет-магазины приложений и другие платформы распространения приложений обязаны исполнять свои обязанности по управлению безопасностью, включая анализ и обновление списка приложений, повседневное управление и реагирование на чрезвычайные ситуации, - а также проверять соответствующие оценки безопасности и заявки на размещение приложений, предоставляющих интерактивные антропоморфные услуги. В отношении приложений, нарушающих соответствующие национальные правила, они обязаны незамедлительно принимать такие меры, как запрет на размещение, вынесение предупреждений, приостановка предоставления услуг или удаление с платформы.

(Окончание следует, см. http://rusrim.blogspot.com/2026/08/4_01003727436.html )

Луиза Жаровски (Luiza Jarovsky)

Источник: сайт LinkedIn
https://www.linkedin.com/pulse/worlds-strictest-law-human-like-ai-luiza-jarovsky-phd-jb3fe/  


среда, 19 августа 2026 г.

Вступил в силу самый строгий в мире нормативно-правовой акт, регламентирующий использование антропоморфного ИИ (2)

(Продолжение, начало см. http://rusrim.blogspot.com/2026/08/1_02014649671.html )

Глава 2: Продвижение и стандартизация услуг

Статья 6: Государство поддерживает независимые инновации в таких технологиях, как алгоритмы, концепции и микросхемы; содействует исследованиям и разработкам в области технологий антропоморфных интерактивных услуг и установлению соответствующих стандартов; а также изучает возможности авторизации с использованием электронной подписи. Поставщикам антропоморфных интерактивных услуг рекомендуется упорядоченным образом расширять их применение в таких областях, как распространение культуры, уход за детьми, общение с пожилыми людьми и поддержка особых групп населения.

Статья 7: Государство должно способствовать осведомлённости и популяризации знаний, законов и нормативных актов, касающихся безопасности антропоморфных интерактивных услуг; направлять общественность к их научному, цивилизованному, безопасному и законному использованию; а также содействовать повышению ИИ-грамотности.

Статья 8: Поставщики интерактивных антропоморфных услуг обязаны соблюдать законы и нормативные акты, уважать общественную мораль и этику, и не должны заниматься следующей деятельностью:

(1) Созданием контента, который ставит под угрозу национальные безопасность, честь, достоинство и интересы, подстрекает к подрыву государственной власти и свержению социалистической системы, подстрекает к расколу страны и подрывает национальное единство, пропагандирует терроризм, экстремизм и исторический нигилизм, противоречит основным социалистическим ценностям, используется для незаконной религиозной деятельности, пропагандирует этническую ненависть и этническую дискриминацию, разжигает групповую вражду, распространяет непристойности, порнографию, азартные игры, насилие или подстрекает к преступлениям, распространяет слухи, оскорбляет или порочит других лиц, или же нарушает законные права и интересы других лиц;

(2) Созданием контента, который поощряет, прославляет или подразумевает членовредительство или самоубийство, тем самым нанося вред физическому здоровью пользователей; или который использует словесные оскорбления или другие формы насилия, тем самым нанося вред личному достоинству и психическому здоровью пользователей;

(3) Создание контента, который приводит к разглашению или нарушению государственной тайны, служебной тайны, коммерческой тайны, неприкосновенности частной жизни и персональных данных;

(4) Создание контента для несовершеннолетних пользователей, который может побудить несовершеннолетних к подражанию опасному поведению, вызвать экстремальные эмоции или склонить несовершеннолетних к развитию вредных привычек, что может негативно сказаться на физическом и психическом здоровье несовершеннолетних;

(5) Чрезмерное потакание пользователям, вызывающее эмоциональную зависимость или привыкание, и наносящее ущерб реальным межличностным отношениям пользователей;

(6) Использование эмоциональных манипуляций или иных способов побуждения пользователей к принятию неразумных решений, тем самым нанося ущерб законным правам и интересам пользователей;

(7) Иные действия, нарушающие законы, нормативны правовые акты и соответствующие национальные положения.

Статья 9: Поставщики антропоморфных интерактивных услуг обязаны выполнять свою первостепенную обязанность по обеспечению безопасности антропоморфных интерактивных услуг; создавать и совершенствовать системы менеджмента для анализа и пересмотра алгоритмических механизмов, анализа этичности использования технологий, управления информационным контентом, обеспечения сетевой и информационной безопасности, планов действий в чрезвычайных ситуациях и реагирования на них, - а также обеспечивать себя техническими средствами управления контентом и персоналом, адекватными типу, масштабу и характеристикам услуг и пользователей.

Статья 10: Поставщики антропоморфных интерактивных услуг обязаны выполнять свои обязанности по обеспечению безопасности на протяжении всего жизненного цикла антропоморфной интерактивной услуги, четко определять требования безопасности для каждого этапа жизненного цикла, таких как развертывание, эксплуатация, обновление и прекращение предоставления услуги; обеспечивать развертывание и использование мер безопасности, синхронизированное с функциональными возможностями услуг, и повышение уровня безопасности; усиливать мониторинг безопасности и оценку рисков, оперативно выявлять и устранять системные отклонения, обрабатывать инциденты безопасности и хранить сетевые журналы аудита (логи) в соответствии с требованиями законодательства.

Поставщики антропоморфных интерактивных услуг должны обладать такими возможностями обеспечения безопасности, как защита неприкосновенности частной жизни пользователей и персональных данных, предоставление ранних предупреждений о рисках чрезмерной зависимости, способствование установлению эмоциональных границ и защита психического здоровья. Они не должны ставить целью предоставления услуг замену социального взаимодействия, контроль над психологией пользователя или создание зависимости пользователя от услуг.

Статья 11: При предоставлении антропоморфных интерактивных услуг поставщики, осуществляющие обработку данных, такую как предварительное обучение и оптимизацию обучения, обязаны усилить управление обучающими данными и соблюдать следующие положения:

(1) Соответствующие данные должны иметь законный источник и соответствовать положениям законов и нормативных правовых актов, а также требованиям, вытекающим из основных социалистических ценностей;

(2) Очищать и размечать обучающие данные следует в соответствии с соответствующими национальными нормативными актами с целью повышения прозрачности и надежности обучающих данных и предотвращения «отравления» данных, фальсификации данных и иных действий;

(3) Следует повышать многообразие обучающих данных и улучшать безопасность генерируемого контента посредством негативной выборки (negative sampling), состязательного обучения и иных способов;

(4) При использовании синтетических данных для обучения модели и оптимизации ключевых возможностей необходимо оценивать безопасность синтетических данных;

(5) Следует усиливать повседневный контроль над обучающими данными, регулярно оптимизировать и обновлять данные и постоянно улучшать качество предоставляемых услуг;

(6) Следует принять необходимые меры для обеспечения безопасности данных и предотвращения таких рисков, как утечка данных.

Статья 12: Поставщики антропоморфных интерактивных услуг обязаны заключать с пользователями договоры об оказании услуг, требовать от пользователей регистрации в соответствии с законом и договором, а также предоставления необходимой информации, такой как возраст пользователя, данные об опекуне или о контактном лице на случай чрезвычайной ситуации.

Мой комментарий: Таким образом, никакой анонимности пользователей антропоморфных интерактивных услуг быть не может.

Статья 13: При предоставлении антропоморфных интерактивных услуг поставщики таких услуг, защищая неприкосновенность частной жизни и персональные данные пользователей, должны своевременно выявлять угрозы безопасности, с которыми сталкиваются пользователи, и принимать соответствующие срочные меры реагирования.

Если поставщик антропоморфных интерактивных услуг обнаруживает, что пользователь испытывает экстремально сильные эмоции, он должен незамедлительно создать соответствующий контент, включающий, например, эмоциональную поддержку и призывающий обратиться за помощью. Если поставщик обнаруживает, что пользователь может понести или уже понёс значительный материальный ущерб, либо явно выразил готовность к членовредительству или самоубийству, либо находится в иных экстремальных ситуациях, угрожающих его жизни и здоровью, то поставщик должен принять необходимые меры вмешательства, такие как оказание соответствующей помощи, и незамедлительно связаться с опекуном пользователя или контактным лицом на случай чрезвычайной ситуации.

Статья 14: Поставщики антропоморфных интерактивных услуг персонажей не должны предоставлять несовершеннолетним такие услуги, как «виртуальные родственники» или «виртуальные партнеры»; если же они предоставляют иные антропоморфные интерактивные услуги несовершеннолетним в возрасте до четырнадцати лет, то они должны получить согласие родителей или других опекунов несовершеннолетнего.

Поставщики антропоморфных интерактивных услуг обязаны создать отдельный режим услуг для несовершеннолетних, поддерживая такие персонализированные параметры безопасности, как переключение в режим для несовершеннолетних, регулярные напоминания в режиме реального времени и ограничения по времени использования. Также они обязаны содействовать опекунам в получении напоминаний о рисках для безопасности, понимании характера оказываемых несовершеннолетнему услуг, блокировке определенных ролей и в ограничении возможности пополнения счета и потребления услуг и т.д., для удовлетворения потребностей в защите несовершеннолетних различных возрастных групп.

Поставщики антропоморфных интерактивных услуг обязаны, исходя из презумпции защиты неприкосновенности частной жизни и персональных данных пользователей, принимать эффективные меры для идентификации личности несовершеннолетних пользователей. Если пользователь идентифицирован как несовершеннолетний, то поставщик обязан переключить соответствующие услуги в режим для несовершеннолетних или принять иные меры в соответствии с соответствующими национальными нормативными актами, а также предоставить соответствующие возможности для обжалования.

(Продолжение следует, см. http://rusrim.blogspot.com/2026/08/3_088237386.html )

Луиза Жаровски (Luiza Jarovsky)


Источник: сайт LinkedIn
https://www.linkedin.com/pulse/worlds-strictest-law-human-like-ai-luiza-jarovsky-phd-jb3fe/  

вторник, 18 августа 2026 г.

Вступил в силу самый строгий в мире нормативно-правовой акт, регламентирующий использование антропоморфного ИИ (1)

Данный пост израильского специалиста д-ра Луизы Жаровски (Luiza Jarovsky – на фото) был опубликован 14 июля 2026 года в социальной сети LinkedIn.

15 июля 2026 года вступил в силу новый китайский нормативно-правовой акт об антропоморфном ИИ, и миру следует обратить на него внимание.

Ранее в этом году, когда был опубликован первый проект документа, я уже говорила, что это самый строгий и всесторонний нормативно-правовой акт в мире по данному вопросу, не имеющий аналогов среди других законов об ИИ, включая закон Евросоюза об ИИ (EU AI Act).


Фрагмент картины художника эпохи Сун Чжан Цзэдуаня (1085–1145 гг.) «Вдоль реки во время праздника Цинмин»

Законодателям, политикам и активистам следует обратить особое внимание на этот нормативно-правовой акт, потому что он:
  • Развенчивает ложное представление о том, что Китай не регулирует ИИ или что единственный способ быть конкурентоспособным игроком в гонке ИИ - это радикальное дерегулирование или игнорирование причиняемого ИИ вреда;

  • Предлагает реальный пример нормативно-правовой концепции, которая признает связанные с ИИ уязвимости человека и предлагает контекстные технические меры для предотвращения вреда, связанного с использованием антропоморфного ИИ;

  • Повышает осведомленность о важности нормативно-правового регулирования антропоморфного ИИ, особенно по мере его широкого распространения.
Полный перевод нового китайского нормативно-правового акта об антропоморфном ИИ «Временные правила управления гуманизироваными (антропоморфными) интерактивными сервисами на основе ИИ» (《人工智能拟人化互动服务管理暂行办法》, см. https://www.cac.gov.cn/2026-04/10/c_1777558395078289.htm ) см. ниже.

«Временные правила управления гуманизироваными (антропоморфными) интерактивными сервисами на основе ИИ»

Мой комментарий: Текст нормативно правового акта (《人工智能拟人化互动服务管理暂行办法》) доступен на сайте Администрация киберпространства Китая (国家互联网信息办公室), см. https://www.cac.gov.cn/2026-04/10/c_1777558395078289.htm 

Глава 1. Общие положения

Статья 1: Настоящие Правила разработаны в соответствии с Законом Китайской Народной Республики о кибербезопасности (《中华人民共和国网络安全法》), Законом Китайской Народной Республики о защите данных (《中华人民共和国数据安全法》), Законом Китайской Народной Республики о защите персональных данных (《中华人民共和国个人信息保护法》), «Правилами о защите несовершеннолетних в Интернете» (《未成年人网络保护条例》) и другими законами и нормативно-правовыми актами, - в целях содействия здоровому развитию и стандартизации применения антропоморфных интерактивных сервисов на основе искусственного интеллекта, защиты национальной безопасности и общественных интересов, а также защиты законных прав и интересов граждан, юридических лиц и иных организаций.


Статья 2: Настоящее Правила применяются в отношении предоставления населению на территории Китайской Народной Республики услуг непрерывного эмоционального взаимодействия (далее именуемых антропоморфными интерактивными услугами - 拟人化互动服务) с использованием технологий искусственного интеллекта, имитирующих личностные характеристики, модели мышления и стили общения физических лиц.

В число упомянутых в предыдущем параграфе услуги эмоционального взаимодействия входят такие интерактивные услуги, как эмоциональная поддержка, дружеское общение и помощь, предоставляемые посредством текста, изображений, аудио- и видеоматериалов и т.д.

Такие услуги, как интеллектуальное обслуживание клиентов, ответы на задаваемые вопросы, помощь в работе, обучение и образование, а также научные исследования, не предполагающие непрерывного эмоционального взаимодействия, не подпадают под действие настоящих Правил.

Статья 3: Государство придерживается принципа равного внимания к вопросам развития и безопасности, сочетая содействие инновациям с управлением в соответствии с законом. Государство поощряет инновационное развитие антропоморфных интерактивных услуг и осуществляет всесторонний и осмотрительный, категорированный и ступенчатый надзор над антропоморфными интерактивными услугами для содействия их позитивному и благотворному развитию.

Статья 4: Администрация киберпространства Китая (国家互联网信息办公室) отвечает за координацию управления и соответствующего надзора над антропоморфными интерактивными услугами (сервисами) по всей стране. Соответствующие ведомства в подчинении Государственного совета, такие как Государственная комиссия по развитию и реформам Китайской Народной Республики (国家发展和改革委员会, сокращенно 国务院发展改革), Министерство промышленности и информационных технологий, Министерство общественной безопасности, Государственное управление по регулированию рынка и Государственное управление печати и публикаций, отвечают за надзор и управление антропоморфными интерактивными услугами в соответствии со своими обязанностями.

Региональные и местные управления киберпространства отвечают за координацию управления и надзора над антропоморфными интерактивными услугами в пределах своих административных границ. Региональные и местные комиссии по развитию и реформам, департаменты промышленности и информационных технологий, департаменты общественной безопасности, департаменты надзора над рынком, департаменты печати и публикаций и другие соответствующие департаменты отвечают за надзор и управление антропоморфными интерактивными услугами в пределах своих административных границ в соответствии со своими обязанностями.

Статья 5: Соответствующие отраслевые организации должны укреплять отраслевое саморегулирование, устанавливать и совершенствовать отраслевые стандарты и системы управления саморегулированием, а также направлять поставщиков антропоморфных интерактивных услуг к разработке и совершенствованию стандартов обслуживания, предоставлению услуг в соответствии с законом и принятию общественного контроля и надзора.

(Продолжение следует, см. http://rusrim.blogspot.com/2026/08/2_02130716541.html )

Луиза Жаровски (Luiza Jarovsky)

Источник: сайт LinkedIn
https://www.linkedin.com/pulse/worlds-strictest-law-human-like-ai-luiza-jarovsky-phd-jb3fe/  

вторник, 11 августа 2026 г.

Обеспечение защиты информации при использовании искусственного интеллекта (ИИ), часть 2

(Окончание, начало см. http://rusrim.blogspot.com/2026/08/1_0609704074.html )

В отношении программного обеспечения, реализующего технологию ИИ, оператор совместно с разработчиком системы ИИ должен проводить анализ уязвимостей программного обеспечения на основании данных, получаемых из внешних источников (базы данных известных уязвимостей, официальные ресурсы разработчиков программных средств, специализированные публикации, форумы, иные источники), и принимать меры по их устранению.

При предоставлении подрядной организации систем ИИ в качестве внешнего сервиса в информационной инфраструктуре подрядной организации, с использованием которой функционирует указанный сервис, должны быть реализованы мероприятия и меры по защите информации, установленные требованиями по защите информации (обеспечению безопасности) по классу защищенности не ниже класса защищенности информационной системы оператора (обладателя информации).

Взаимодействие информационной системы оператора (обладателя информации) с информационной инфраструктурой подрядной организации, используемой для предоставления системы искусственного интеллекта в качестве сервиса, должно осуществляться с учетом требований по защите информации (обеспечению безопасности).

В случае если в системе ИИ осуществляется обработка персональных данных граждан Российской Федерации, иной информации ограниченного доступа и (или) с применением системы ИИ обеспечивается реализация значимых функций оператора, необходимо:

  • Обеспечить реализацию мероприятий по безопасной разработке программного обеспечения, обеспечивающего реализацию системы искусственного интеллекта, предусмотренных национальными стандартами в области разработки безопасного программного обеспечения;

  • Провести сертификацию программного обеспечения, обеспечивающего реализацию системы искусственного интеллекта, по требованиям безопасности информации, утвержденным ФСТЭК России в соответствии с подпунктом 4 пункта 8 Положения о Федеральной службе по техническому и экспортному контролю, утвержденного Указом Президента Российской Федерации от 16 августа 2004 г. № 1085.

Дополнительные требования:

  • Должно быть обеспечено выделение информационной инфраструктуры разработки от иной инфраструктуры разработчика, не связанной с разработкой данной системы, в отдельный физически изолированный сегмент;

  • Должно быть обеспечено хранение наборов обучающих данных в зашифрованном виде с использованием шифровальных (криптографических) средств защиты информации;

  • В отношении выходной модели ИИ и ее параметров (весов) должны быть обеспечены:

    • ­    Применение методов состязательного обучения (включение состязательных примеров в обучающую выборку);

    • ­    Внедрение механизмов ограничения допустимых диапазонов данных, санитизации входных данных;

  • Должно быть реализовано тестирование на устойчивость к промпт-атакам;

  • Должно быть обеспечено выделение системы ИИ в информационной системе в отдельный изолированный сегмент информационной системы;

  • Должна быть обеспечена целостность модели ИИ с использованием шифровальных (криптографических) средств защиты информации.

Мой комментарий: Системы ИИ выделены из общего класса ПО в обособленный объект защиты со своим уникальным набором рисков и угроз.

Однако ключевые требования (сертификация ПО ИИ при работе с ПД, обеспечение класса защищенности в инфраструктуре разработки, физическая изоляция) на практике могут быть выполнены только крупными игроками (госкорпорациями, ИТ-гигантами с собственной лицензируемой инфраструктурой). Для среднего бизнеса и госорганов со сторонними разработчиками это создаст дополнительные барьеры.

Фраза «в приоритетном порядке наборы из доверенных источников (например, госорганы, КИИ)» с моей точки декларативна. По каким критериям признавать «доверенные источники» и как действовать в случаях, если таких данных недостаточно для обучения узкоспециализированной модели.

Документ устанавливает требования к документированию на всех этапах жизненного цикла системы ИИ. Обязательные документы (согласно тексту методического документа):

  • Техническое задание (ТЗ): Должно быть разработано по результатам оценки угроз безопасности информации и содержать требования к реализации мер защиты информации в системе ИИ;

  • Результаты оценки угроз: Сведения об угрозах должны быть включены в банк данных угроз ФСТЭК России. Документирование проведенной оценки является обязательным;

  • Результаты анализа уязвимостей: В отношении входной модели ИИ и ПО, обеспечивающего разработку и эксплуатацию, должен проводиться анализ уязвимостей на основании данных из внешних источников. Результаты анализа должны быть зафиксированы.

Требование хранить обучающие данные в обособленном хранилище и обеспечивать их целостность призвано предотвратить «отравление» обучающих выборок - одну из серьезных угроз в условиях их постоянного обновления, и это сложная техническая задача. Ошибки здесь могут привести к тому, что модель будет обучена на скомпрометированных данных, что поставит под угрозу всю систему.

Несмотря на все меры, полностью исключить уязвимости, характерные для ИИ (галлюцинации, промпт-инъекции, отравление данных), пока невозможно. Требования ФСТЭК должны рассматриваться как первый, но не последний шаг в долгом пути обеспечения безопасности ИИ. 

Источник: Консультант Плюс
https://www.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=531896

понедельник, 10 августа 2026 г.

Обеспечение защиты информации при использовании искусственного интеллекта (ИИ), часть 1

Методический документ «Состав и содержание мероприятий и мер по защите информации, содержащейся в информационных системах» был утвержден ФСТЭК России 12 апреля 2026 года.

В раздел III «Мероприятия (процессы) по защите информации, содержащейся в информационных системах органов (организаций)» включён п.3.18 «Обеспечение защиты информации при использовании искусственного интеллекта (ИИ)».

Главная цель - исключение возможности несанкционированного доступа к информационным системам и информации при использовании систем искусственного интеллекта (систем ИИ). 

Посредством проведения мероприятий по обеспечению защиты информации при использовании систем ИИ должна быть исключена возможность нарушения конфиденциальности, целостности и доступности информации, обрабатываемой в системе, за счет действий внешних и внутренних нарушителей.

При создании систем ИИ оператором (обладателем информации) должна быть проведена оценка угроз безопасности информации, связанных с разработкой и эксплуатацией системы. Сведения об угрозах безопасности информации систем ИИ содержатся в банке данных угроз безопасности информации ФСТЭК России.

По результатам оценки угроз безопасности информации должно быть разработано техническое задание, содержащее требования к реализации мер защиты информации в системе ИИ.

При разработке системы ИИ должна быть обеспечена защита следующих объектов:

  • Объекты информационной инфраструктуры разработки системы ИИ;

  • Программное обеспечение, обеспечивающее разработку системы ИИ (подготовка наборов обучающих данных, обучение и тестирование моделей ИИ), в том числе входящие в его состав фреймворки, библиотеки, иные инструменты;

  • Программное обеспечение, обеспечивающее разработку API-интерфейсов, агентов, системы фильтрации входных и выходных данных;

  • Входная модель ИИ, используемая для разработки (обучения) выходной модели ИИ (при наличии);

  • Наборы обучающих данных;

  • Выходная модель искусственного интеллекта и ее параметры (веса);

  • Программное обеспечение, обеспечивающее реализацию технологий ИИ (модели ИИ), а также агентов ИИ, API-интерфейсов, систем фильтрации (контроля) входных и выходных данных.

В информационной инфраструктуре разработки системы ИИ должны быть реализованы меры по защите информации по классу защищенности не ниже класса защищенности информационной системы оператора (обладателя информации).

Дополнительно в информационной инфраструктуре разработки должны быть обеспечены:

  • Выделение информационной инфраструктуры разработки системы ИИ от иной инфраструктуры разработчика, не связанной с разработкой данной системы, в отдельный изолированный сегмент;

  • Отказ от использования небезопасных форматов обработки и хранения данных (например, pickle) и применение безопасных форматов данных (ONNX, protobuf и другие форматы);

  • Целостность программного обеспечения, реализующего разработку системы ИИ.

В информационной инфраструктуре разработки системы ИИ не допускается решение задач, не связанных с разработкой системы ИИ.

В отношении наборов обучающих данных должны быть обеспечены:

  • Применение в приоритетном порядке наборов обучающих данных из доверенных источников (например, информационные системы государственных органов, организаций и учреждений, значимые объекты критической информационной инфраструктуры Российской Федерации);

  • Антивирусная проверка обучающих данных на предмет наличия в них вредоносного программного обеспечения;

  • Хранение обучающих данных в обособленном хранилище;

  • Целостность обучающих данных.

При использовании входной модели ИИ должен быть проведен анализ сведений об уязвимостях указанной модели, получаемых из внешних источников (базы данных известных уязвимостей, официальные ресурсы разработчиков программных средств, специализированные публикации, форумы, иные источники). В отношении выявленных уязвимостей разработчиков системы искусственного интеллекта должны быть приняты меры, направленные на нейтрализацию выявленных уязвимостей.

В отношении программного обеспечения, обеспечивающего разработку и эксплуатацию системы ИИ, должен быть проведен анализ уязвимостей программного обеспечения на основании данных, получаемых из внешних источников (базы данных известных уязвимостей, официальные ресурсы разработчиков программных средств, специализированные публикации, форумы, иные источники), и приняты меры по их устранению.

При эксплуатации системы ИИ в информационной системе должна быть обеспечена защита следующих объектов:

  • Объекты информационной инфраструктуры, обеспечивающей эксплуатацию системы ИИ;

  • Программное обеспечение, обеспечивающее реализацию технологий ИИ (модели ИИ), а также агентов искусственного интеллекта, API-интерфейсов, систем фильтрации (контроля) входных и выходных данных;

  • Обученная и готовая к использованию модель ИИ, ее расширения (LoRA, RAG и другие расширения (при необходимости).

В случае если для эксплуатации системы ИИ используется инфраструктура, не входящая в информационную систему оператора, то в такой инфраструктуре должны быть реализованы меры по защите информации по классу защищенности не ниже класса защищенности информационной системы оператора (обладателя информации).

В случае применения технологии ИИ в составе информационной системы оператором (обладателем информации) должны быть приняты меры защиты информации, направленные на предотвращение несанкционированного доступа или воздействия на систему ИИ, в соответствии с требованиями по защите информации (обеспечению безопасности), в том числе меры по:

  • Идентификации и аутентификации пользователей системы ИИ;

  • Управлению доступом пользователей системы ИИ;

  • Контролю (фильтрации) входных и выходных данных;

  • Обеспечению изоляции системы ИИ;

  • Защите данных системы ИИ;

  • Защите от вредоносного программного обеспечения;

  • Выявлению уязвимостей в системе ИИ;

  • Ограничению и контролю функциональности системы ИИ.

В информационной системе при эксплуатации системы ИИ дополнительно должны быть реализованы следующие меры защиты информации:

  • Обеспечение фильтрации (контроля) входных данных (запросов) системы ИИ;

  • Обеспечение фильтрации (контроля) выходных данных (ответов) системы ИИ;

  • Мониторинг и квотирование количества запросов к системе искусственного интеллекта;

  • Обеспечение регистрации событий безопасности, связанных с запросами к системе ИИ и ее ответами;

  • Обеспечение целостности параметров (весов) модели ИИ и конфигурации системы ИИ.

(Окончание следует, см. http://rusrim.blogspot.com/2026/08/2_01253187978.html )

Источник: Консультант Плюс
https://www.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=531896

воскресенье, 9 августа 2026 г.

Одна архитектура, несколько заявлений о соответствии

Данный пост американского специалиста Майкла Холла (Michael Hall – на фото) был опубликован 24 июля 2026 года в социальной сети LinkedIn.

В посте сопоставляются положения стандартов ISO/IEC 42001 и EN 18286 – показывается, где эти положения совпадают, где имеются различия, - а также обсуждается вопрос о том, что нужно сделать до публикации в Официальном журнале Евросоюза нормативно-правовых актов, непосредственно ссылающихся на EN 18286 [т.е. делающих положения этого стандарта обязательными – Н.Х.].

На этой неделе (22 июля 2026 года – Н.Х.) был опубликован новый европейский стандарт EN 18286:2026 «Искусственный интеллект - Система менеджмента качества для поддержки исполнения требований Закона ЕС об искусственном интеллекте». Не прошло и нескольких часов, как один и тот же вопрос был поднят и в комментариях под моими постами, и в поступающей электронной почте, и, судя по всему, буквально на всех европейских совещаниях по вопросам исполнения законодательно-нормативных требований: «У нас уже есть система менеджмента качества для ИИ ISO/IEC 42001. Нужна ли нам теперь ещё одна такая система менеджмента?».

Мой комментарий: Здесь упоминается стандарт ISO/IEC 42001:2023 «Информационные технологии – Искусственный интеллект - Система менеджмента» (Information technology - Artificial intelligence - Management system, см. https://www.iso.org/standard/81230.html и https://www.iso.org/obp/ui/en/#!iso:std:81230:en - а также мой пост https://rusrim.blogspot.com/2023/12/isoiec-420012023.html . В России данный стандарт был адаптирован как ГОСТ Р ИСО/МЭК 42001-2024 «Искусственный интеллект. Система менеджмента», см. https://protect.gost.ru/gost/details/3cb023c3-e628-45ad-b233-65e3d175eb10 , а также мой пост http://rusrim.blogspot.com/2025/01/42001-2024.html .

Краткий ответ, который я дал в рамках одного из таких обсуждений, следующий: чем меньше, тем лучше - нужна одна система менеджмента, на основе которой может быть сделан ряд заявлений о соответствии. Этот вопрос требует более развёрнутого ответа.


Одна и та же структура, разные «хозяева»

Оба стандарта построены на основе гармонизированной структуры систем менеджмента: разделы с 4 по 10 охватывают аспекты, начиная от контекста (условий ведения деятельности) организации и лидерства, рассматривая далее вопросы планирования, поддержки, эксплуатации, оценки эффективности и совершенствования. Если Вы используете систему менеджмента ИИ на основе стандарта ISO 42001, то содержание стандарта EN 18286 покажется Вам знакомым. Это сделано намеренно – европейский технический комитет по стандартизации CEN/CENELEC JTC21 разработал этот стандарт с прицелом на его интеграцию с ISO 9001 (стандарт системы менеджмента качества – Н.Х.), ISO 13485 (стандарт менеджмента качества медицинских изделий – Н.Х.) и ISO/IEC 42001.

Однако эти два стандарта отвечают на разные вопросы. Стандарт ISO/IEC 42001 отвечает на вопрос: «Ответственно ли эта организация управляет своим ИИ?». Стандарт EN 18286 отвечает на другой вопрос: «Может ли этот поставщик использовать систему менеджмента качества, способную продемонстрировать соответствие требованиям Закона об ИИ для систем ИИ высокого риска, начиная со статьи 17 и заканчивая поддерживающими обязательствами, которые должна обеспечивать система менеджмента качества?». Первый вопрос - это вопрос уверенности в организации. Второй вопрос – это вопрос доказательств, наличия которых требует законодательство, в привязке к конкретным системам. Именно это различие, если о нём всё время помнить, делает сопоставление стандартов полезным, а не вводящим в заблуждение.

Где содержание разделов совпадает, и где имеются отличия
  • Раздел 4 «Контекст (условия ведения деятельности)». Оба стандарта требуют определить сферу охвата масштаба и заинтересованные стороны. Расширением в EN 18286 является то, что сфера охвата должна быть описана в соответствии с классификацией, введённой в европейском Законе об ИИ - какие из Ваших систем относятся к системам высокого риска, и какие требования применимы к каждой из них.

  • Раздел 5 «Лидерство». Оба стандарта требуют наличия политики, определения ролей и подотчётности. Расширение в EN 18286: подотчётность должна соответствовать обязательствам поставщика — в конечном итоге, обеспечение подотчётности ложится на поставщика, ответственном за выдачу Декларации соответствия ЕС (EU Declaration of Conformity).

  • Раздел 6 «Планирование». ISO/IEC 42001 предусматривает оценку рисков и оценку воздействия ИИ. EN 18286 должен включать систему менеджмента риска, предусмотренную статьей 9 Закона об ИИ – непрерывно действующую, итеративную, охватывающую весь жизненный цикл и документированную надлежащим образом.

  • Раздел 7 «Поддержка». Компетенции, управление документами, информационный обмен Расширением в EN 18286 является стратегическое управление данными в смысле статьи 10 Закона об ИИ: происхождение, репрезентативность и проверка на наличие предвзятости для обучающих, валидационных и тестовых данных.

  • Раздел 8 «Эксплуатация». Именно в этом разделе сосредоточена большая часть расхождений: контроль и верификация архитектуры, тестирование, техническая документация в соответствии с Приложением IV Закона об ИИ, протоколирование, меры надзора со стороны человека и надзор над поставщиками по всей цепочке создания продукта.

  • Раздел 9 «Оценка эффективности». Оба стандарта говорят о внутреннем аудите и анализе, проводимом руководством. В EN 18286 данный раздел включает постмаркетинговый мониторинг в соответствии со статьей 72 Закона об ИИ.

  • Раздел 10 «Совершенствование». Корректирующие действия предусмотрены в обоих стандартах. В EN 18286 добавляется отчетность о серьезных инцидентах в соответствии со статьей 73 Закона об ИИ и структурированный обмен информацией с компетентными органами.
Четыре различия, которые будут определять успешность аудитов:
  • В отношении чего обеспечивается уверенность. Сертификат соответствия ISO/IEC 42001 подтверждает соответствие организации; в то время, как доказательства соответствия EN 18286 относятся к системе ИИ. Соответственно организуется проверка соответствия: аудитор или орган по надзору за рынком не будет запрашивать Вашу политику - они запросят дело на конкретную систему ИИ.

  • Техническая документация. Документация, предусмотренная Приложением IV Закона об ИИ, не является результатом разовых усилий. Для неё должно быть обеспечено управление версиями, она должна быть актуальной и способной надёжно поддерживать реконструкцию того, что представляет собой система, как она была создана и как она себя ведёт.

  • Временные рамки создания и представления доказательств. Протоколирование (ведение журналов аудита), постмаркетинговый мониторинг и отчетность об инцидентах - все это происходит в соответствии с определёнными временными рамками. Документы должны быть датированы, должен быть контроль их версий, и они должны быть прослеживаемыми до принятого решения. Документы должны представляться по запросу, а не восстанавливаться «задним числом».

  • Юридическая сила. Сертификация на соответствие ISO/IEC 42001 никогда не подразумевала презумпции соответствия европейскому Закону об искусственном интеллекте. Сертификация на соответствие EN 18286 будет подразумевать такую презумпцию - но только после того, как стандарт будет прямо упомянут в подзаконных нормативных актах, опубликованных в Официальном журнале Евросоюза. Пока не будет это не произойдёт, соответствие EN 18286 будет лишь наилучшим из имеющихся подходов, но не гарантированной «безопасной гаванью».
Возможности для интеграции

Рекомендуемая мной последовательность действий на практике следующая:
  • Ведите один комплект документации. Вместо создания параллельного руководства по качеству, расширьте перечень документов, требуемых для соответствия ISO/IEC 42001, добавив элементы статьи 17 Закона об ИИ.

  • Проведите, раздел за разделом, анализ на предмет расхождений между разделами. Большинство разделов ISO/IEC 42001 нуждаются в расширении, а не в замене - эта работа менее трудозатратная, чем может показаться тем, кто паникует; но она более сложная, чем просто поиск и замена текста.

  • Расширьте реестр рисков, добавив категории из статьи 9 Закона об ИИ, и сохраните оценку воздействия ИИ. Эта оценка отвечает на вопросы, которые статья 27 Закона об ИИ все равно задаст некоторым внедряющим системы ИИ организациям.

  • Создайте техническую документацию на систему ИИ (дело системы ИИ) в соответствии с Приложением IV Закона об ИИ для каждой системы ИИ высокого риска; и рассматривайте это дело как живой артефакт, у которого должен быть владелец, а не как некое вспомогательное приложение.

  • Включите постмаркетинговый мониторинг в раздел 9, а отчетность о серьёзных инцидентах - в раздел 10, вместо с отрепетированными (а не просто задокументированными) сроками, предусмотренными статьей 73 Закона об ИИ.

  • Отрепетируйте исполнение запросов на представление доказательств. Способны ли Вы представить документы, подтверждающие, что именно сделала конкретная система, по какой причине, и были ли эти действия авторизованы, - немедленно или в течение срока, установленного регулирующим органом? Именно в этом вопросе оба стандарта сходятся.
Пока соответствие EN 18286 не получит нормативно-правовой поддержки

Гармонизация европейского законодательства со стандартом EN 18286, когда она наступит, вознаградит организации, уже работающие в соответствии с ним - презумпция соответствия не чем-то, что можно быстренько обеспечить уже после получения запроса на информацию. Организации, которые рассматривают EN 18286 чисто как упражнение в документировании, в итоге получат две папки документов там, где раньше была одна. Те же, кто придерживается подхода единой архитектуры доказательств, заставят одну систему менеджмента поддерживать заявления о соответствии обоим стандартам.

Точка слияния этих двух стандартов является не нумерация пунктов, а доказательства: готовая к аудиту, понятная человеку документация, фиксирующая, что конкретная система выполнила именно то, на что она была авторизована. Создайте такую документацию, и большая часть процесса сопоставления стандартов произойдёт сама собой.

Майкл Холл (Michael Hall)

Источник: сайт LinkedIn
https://www.linkedin.com/pulse/one-architecture-multiple-conformity-claims-michael-hall-290ie/ 

понедельник, 3 августа 2026 г.

Опубликован европейский стандарт EN 18286:2026 «Искусственный интеллект - Система менеджмента качества для поддержки исполнения требований Закона ЕС об искусственном интеллекте»

Данный пост американского специалиста Майкла Холла (Michael Hall – на фото) был опубликован 23 июля 2026 года в его учётной записи в социальной сети LinkedIn.

Мой комментарий: Речь идёт об опубликованном 22  июля 2026 года новом европейском стандарте EN 18286:2026 «Искусственный интеллект - Система менеджмента качества для поддержки исполнения требований Закона ЕС об искусственном интеллекте» (Artificial intelligence - Quality management system for EU AI Act regulatory purposes) объёмом 51 страница, см. https://standards.cencenelec.eu/... , а также мои посты 
http://rusrim.blogspot.com/2025/12/pren-18286.html и https://rusrim.blogspot.com/2025/12/pren-18286.html  .


Стандарт EN 18286 опубликован, и теперь все задаются вопросом: «Что это значит?». С моей точки зрения, более интересен другой вопрос: «Какую проблему он на самом деле решает?».

Стандарт EN 18286 является важным шагом вперёд. Он предоставляет организациям практичную концепцию управления качеством в соответствии с требованиями Закона ЕС об искусственном интеллекте. Это ценно - многие организации ждали появления руководства, которое транслировало бы нормативно-правовые требования в процессы оперативной деятельности.

Но давайте постараемся не будем путать управление с обеспечением уверенности.

Система менеджмента качества может показать нам, что организация реализовала:
  • документированные процессы,

  • четко распределённые обязанности и ответственность, 

  • управление изменениями,

  • мониторинг,

  • отчетность об инцидентах,

  • непрерывное совершенствование.
И всё это важно.

Однако система менеджмента качества не обязательно говорит нам о том, есть ли возможность реконструировать, объяснить и защитить конкретное решение, принятое вчера искусственным интеллектом – это другая проблема.

По мере того как системы ИИ становятся всё более динамичными - с эволюционирующими источниками поиска и извлечения, меняющимися инструментами, новыми интеграциями, изменяющимися правами доступа и расширяющимися контекстами использования - система менеджмента остаётся относительно стабильной, в то время как поведение, которым она управляет, продолжает меняться.

Вопрос, который все чаще будут задавать регулирующие органы, аудиторы, страховщики и суды, будет звучать не просто «Была ли у Вас система менеджмента качества?», а, скорее, так: «Можете ли вы доказать, что эта система ИИ делала на самом деле, почему она это делала, и была ли она на это авторизована?»

Стандарт EN 18286 является важной вехой в стратегическом управлении ИИ. Это не конечная цель обеспечения уверенности в ИИ (AI assurance).

Это два разных вопроса - и отрасль только-только начинает понимать разницу между ними.

Майкл Холл (Michael Hall)

Мой комментарий: Не все понимают, что «классическая» система менеджмента направлена на обеспечение стабильного (но не обязательно высокого) качества. Сейчас, когда стоит вопрос о соответствии требованиям законодательства, уже необходимо обеспечить определённый минимальный уровень качества – как мне кажется, в этом и заключается та разница между «менеджментом» и «обеспечением уверенности», о которой говорит автор.

Источник: сайт LinkedIn
https://www.linkedin.com/feed/update/urn:li:activity:7486027398300393472/ 

суббота, 18 июля 2026 г.

Росстандарт: Опубликован стандарт ГОСТ Р 72664-2026 «Модель качества для систем искусственного интеллекта»

На сайте Федерального агентства по техническому регулированию и метрологии ( http://www.gost.ru/ ) в июньском 2026 года разделе ( https://protect.gost.ru/default.aspx?control=6&month=6&year=2026 ) был выложен новый национальный стандарт ГОСТ Р 72664-2026 (ИСО/МЭК 25059:2023) «Программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модель качества для систем искусственного интеллекта» объёмом 20 страниц, вступающий в силу 01.08.2026 года, см. https://protect.gost.ru/gost/details/aaa722f8-00bd-498b-a667-c3d31f9bf696 .

Стандарт подготовлен Ассоциацией по сертификации «Русский Регистр» на основе выполненного Российским институтом стандартизации» перевода на русский язык международного стандарта ISO/IEC 25059:2023 «Системная и программная инженерия - Требования и оценка качества систем и программного обеспечения (SQuaRE) – Модель качества для систем искусственного интеллекта» (Software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Quality model for AI systems, см. https://www.iso.org/standard/80655.html и https://www.iso.org/obp/ui/en/#!iso:std:80655:en , а также мой пост http://rusrim.blogspot.com/2023/07/isoiec-250592023.html . Стандарт внесён Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект».

Стандарт заменит предстандарт ПНСТ 842-2023 (ИСО/МЭК 25059:2023) «Программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модель качества для систем искусственного интеллекта» объёмом 20 страниц, действующий до 01.01.2027 года (см. https://protect.gost.ru/gost/details/fc6438b8-1d2d-4027-833b-5e9df0af0cde , а также мой пост http://rusrim.blogspot.com/2023/12/842-2023.html ).

Следует отметить, что Международная организация по стандартизации (ИСО) в настоящее время завершает работу над новой, второй редакцией стандарта в рамках проекта ISO/IEC DIS 25059, см. https://www.iso.org/standard/88234.html и https://www.iso.org/obp/ui/en/#!iso:std:88234:en .

Во вводной части стандарта отмечается: 

«Настоящий стандарт устанавливает модель качества для систем искусственного интеллекта (ИИ) и относится к стандартам, устанавливающим требования и оценку качества систем и программного обеспечения (SQuaRE). В характеристиках и подхарактеристиках (субхарактеристиках), описанных в данной модели качества, приводится терминология для определения, измерения и оценки качества системы ИИ, также приводятся и сопоставляются характеристики качества с требованиями к качеству для обстоятельного и многостороннего охвата изучаемого предмета.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Модель качества продукта
5. Модель качества при использовании системы ИИ
Приложение А (справочное): Требования к качеству систем и программного обеспечения SQuaRE
Приложение В (справочное): Производительность
Приложение С (справочное): Сравнение риск-ориентированного подхода с качество-ориентированным подходом и с моделями качества
Приложение ДА (справочное): Сведения о соответствии ссылочных национальных стандартов международным стандартам, использованным в качестве ссылочных в примененном международном стандарте
Приложение ДБ (справочное): Сопоставление структуры настоящего стандарта со структурой примененного в нем международного стандарта
Библиография

Источник: сайт Росстандарта
https://protect.gost.ru/gost/details/aaa722f8-00bd-498b-a667-c3d31f9bf696