Показаны сообщения с ярлыком ИИ-системы. Показать все сообщения
Показаны сообщения с ярлыком ИИ-системы. Показать все сообщения

понедельник, 3 августа 2026 г.

Опубликован европейский стандарт EN 18286:2026 «Искусственный интеллект - Система менеджмента качества для поддержки исполнения требований Закона ЕС об искусственном интеллекте»

Данный пост американского специалиста Майкла Холла (Michael Hall – на фото) был опубликован 23 июля 2026 года в его учётной записи в социальной сети LinkedIn.

Мой комментарий: Речь идёт об опубликованном 22  июля 2026 года новом европейском стандарте EN 18286:2026 «Искусственный интеллект - Система менеджмента качества для поддержки исполнения требований Закона ЕС об искусственном интеллекте» (Artificial intelligence - Quality management system for EU AI Act regulatory purposes) объёмом 51 страница, см. https://standards.cencenelec.eu/... , а также мои посты 
http://rusrim.blogspot.com/2025/12/pren-18286.html и https://rusrim.blogspot.com/2025/12/pren-18286.html  .


Стандарт EN 18286 опубликован, и теперь все задаются вопросом: «Что это значит?». С моей точки зрения, более интересен другой вопрос: «Какую проблему он на самом деле решает?».

Стандарт EN 18286 является важным шагом вперёд. Он предоставляет организациям практичную концепцию управления качеством в соответствии с требованиями Закона ЕС об искусственном интеллекте. Это ценно - многие организации ждали появления руководства, которое транслировало бы нормативно-правовые требования в процессы оперативной деятельности.

Но давайте постараемся не будем путать управление с обеспечением уверенности.

Система менеджмента качества может показать нам, что организация реализовала:
  • документированные процессы,

  • четко распределённые обязанности и ответственность, 

  • управление изменениями,

  • мониторинг,

  • отчетность об инцидентах,

  • непрерывное совершенствование.
И всё это важно.

Однако система менеджмента качества не обязательно говорит нам о том, есть ли возможность реконструировать, объяснить и защитить конкретное решение, принятое вчера искусственным интеллектом – это другая проблема.

По мере того как системы ИИ становятся всё более динамичными - с эволюционирующими источниками поиска и извлечения, меняющимися инструментами, новыми интеграциями, изменяющимися правами доступа и расширяющимися контекстами использования - система менеджмента остаётся относительно стабильной, в то время как поведение, которым она управляет, продолжает меняться.

Вопрос, который все чаще будут задавать регулирующие органы, аудиторы, страховщики и суды, будет звучать не просто «Была ли у Вас система менеджмента качества?», а, скорее, так: «Можете ли вы доказать, что эта система ИИ делала на самом деле, почему она это делала, и была ли она на это авторизована?»

Стандарт EN 18286 является важной вехой в стратегическом управлении ИИ. Это не конечная цель обеспечения уверенности в ИИ (AI assurance).

Это два разных вопроса - и отрасль только-только начинает понимать разницу между ними.

Майкл Холл (Michael Hall)

Мой комментарий: Не все понимают, что «классическая» система менеджмента направлена на обеспечение стабильного (но не обязательно высокого) качества. Сейчас, когда стоит вопрос о соответствии требованиям законодательства, уже необходимо обеспечить определённый минимальный уровень качества – как мне кажется, в этом и заключается та разница между «менеджментом» и «обеспечением уверенности», о которой говорит автор.

Источник: сайт LinkedIn
https://www.linkedin.com/feed/update/urn:li:activity:7486027398300393472/ 

суббота, 18 июля 2026 г.

Росстандарт: Опубликован стандарт ГОСТ Р 72664-2026 «Модель качества для систем искусственного интеллекта»

На сайте Федерального агентства по техническому регулированию и метрологии ( http://www.gost.ru/ ) в июньском 2026 года разделе ( https://protect.gost.ru/default.aspx?control=6&month=6&year=2026 ) был выложен новый национальный стандарт ГОСТ Р 72664-2026 (ИСО/МЭК 25059:2023) «Программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модель качества для систем искусственного интеллекта» объёмом 20 страниц, вступающий в силу 01.08.2026 года, см. https://protect.gost.ru/gost/details/aaa722f8-00bd-498b-a667-c3d31f9bf696 .

Стандарт подготовлен Ассоциацией по сертификации «Русский Регистр» на основе выполненного Российским институтом стандартизации» перевода на русский язык международного стандарта ISO/IEC 25059:2023 «Системная и программная инженерия - Требования и оценка качества систем и программного обеспечения (SQuaRE) – Модель качества для систем искусственного интеллекта» (Software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Quality model for AI systems, см. https://www.iso.org/standard/80655.html и https://www.iso.org/obp/ui/en/#!iso:std:80655:en , а также мой пост http://rusrim.blogspot.com/2023/07/isoiec-250592023.html . Стандарт внесён Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект».

Стандарт заменит предстандарт ПНСТ 842-2023 (ИСО/МЭК 25059:2023) «Программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модель качества для систем искусственного интеллекта» объёмом 20 страниц, действующий до 01.01.2027 года (см. https://protect.gost.ru/gost/details/fc6438b8-1d2d-4027-833b-5e9df0af0cde , а также мой пост http://rusrim.blogspot.com/2023/12/842-2023.html ).

Следует отметить, что Международная организация по стандартизации (ИСО) в настоящее время завершает работу над новой, второй редакцией стандарта в рамках проекта ISO/IEC DIS 25059, см. https://www.iso.org/standard/88234.html и https://www.iso.org/obp/ui/en/#!iso:std:88234:en .

Во вводной части стандарта отмечается: 

«Настоящий стандарт устанавливает модель качества для систем искусственного интеллекта (ИИ) и относится к стандартам, устанавливающим требования и оценку качества систем и программного обеспечения (SQuaRE). В характеристиках и подхарактеристиках (субхарактеристиках), описанных в данной модели качества, приводится терминология для определения, измерения и оценки качества системы ИИ, также приводятся и сопоставляются характеристики качества с требованиями к качеству для обстоятельного и многостороннего охвата изучаемого предмета.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Модель качества продукта
5. Модель качества при использовании системы ИИ
Приложение А (справочное): Требования к качеству систем и программного обеспечения SQuaRE
Приложение В (справочное): Производительность
Приложение С (справочное): Сравнение риск-ориентированного подхода с качество-ориентированным подходом и с моделями качества
Приложение ДА (справочное): Сведения о соответствии ссылочных национальных стандартов международным стандартам, использованным в качестве ссылочных в примененном международном стандарте
Приложение ДБ (справочное): Сопоставление структуры настоящего стандарта со структурой примененного в нем международного стандарта
Библиография

Источник: сайт Росстандарта
https://protect.gost.ru/gost/details/aaa722f8-00bd-498b-a667-c3d31f9bf696 

ИСО и МЭК: Начато публичное обсуждение проекта стандарта ISO/IEC DIS 42102 «Концепция характеризации методов и возможностей систем ИИ»

Сайт Международной организации по стандартизации (ИСО) 15 июня 2026 года сообщил о начале публичного обсуждения проекта стандарта ISO/IEC DIS 42102 «Информационные технологии – Искусственный интеллект – Концепция характеризации методов и возможностей систем ИИ» (Information technology — Artificial intelligence — Framework for characterizing AI system methods and capabilities) объёмом 41 страница основного текста, см. https://www.iso.org/standard/86898.html и https://www.iso.org/obp/ui/en/#!iso:std:86898:en . Публичное обсуждение продлится до середины августа 2026 года.

Над документом работает подкомитет SC42 «Искусственный интеллект» (Artificial intelligence), входящий в состав Объединенного технического комитета JTC1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК). 

До 8 августа 2026 года есть возможность индивидуально принять участие в публичном обсуждении данного стандарта на сайте Британского института стандартов (BSI) по адресу https://standardsdevelopment.bsigroup.com/projects/2023-02004 (при условии регистрации на сайте).


Веб-страница публичного обсуждения на сайте BSI

 Во вводной части стандарта отмечается:

«В настоящем документе представлена концептуальная структура характеризации методов (процедур, алгоритмов) и возможностей (способностей, функциональных возможностей) систем ИИ. Данная концептуальная структура может использоваться заинтересованными сторонами для характеризации методов и возможностей систем ИИ. Цель документа — помочь соответствующим заинтересованным сторонам понять методы и возможности, применяемых в системе ИИ. 

Системы ИИ могут состоять из нескольких компонентов, каждый из которых предполагает использование одного или нескольких методов. В этом контексте предлагаемая концептуальная структура помогает различать различные типы методов ИИ и возможностей систем ИИ, формируя единый язык для анализа, сопоставления и информирования о многообразном ландшафте систем ИИ с научной точки зрения. 

С точки зрения данного документа, методы ИИ не ограничиваются алгоритмами машинного обучения, но также охватывают широкий спектр подходов, таких как эвристические методы, алгоритмы оптимизации, методы представления знаний, методы логического вывода и гибридные алгоритмы. С учётом использования столь разнообразных методов, функционирование систем ИИ не сводится исключительно к обучению на основе данных. Предлагая такую концептуальную структуру, документ призван упростить управление этапами жизненного цикла систем ИИ. Содействуя ответственному и полезному использованию систем ИИ, данный документ направлен на повышение прозрачности и укрепление доверия к таким системам.

… В настоящем документе представлена концептуальная структура дескрипторов, поддерживающая последовательное и согласованное описание (характеризацию) методов и возможностей систем ИИ. Этакая концептуальная структура помогает заинтересованным сторонам описывать системы ИИ и иметь о них единообразное представление.

Данный документ применим в организациях любого типа типов, вовлеченных в какие-либо из этапов жизненного цикла систем ИИ, и может быть использован заинтересованными в ИИ сторонами - исполнителями каких-либо ролей.»

Содержание документа следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения 
4. Принципы характеризации систем ИИ на основе методов и возможностей
5. Аспект методов систем ИИ
6. Аспект возможностей систем ИИ
7. Концептуальная структура для характеризации методов и возможностей систем ИИ
Приложение A: Аспекты наблюдения
Приложение B: Применение настоящего документа
Приложение C: Свойства методов машинного обучения
Приложение D: Парадигмы ИИ
Библиография

Источники: сайт ИСО / сайт BSI
https://www.iso.org/standard/86898.html   
https://www.iso.org/obp/ui/en/#!iso:std:86898:en 
https://standardsdevelopment.bsigroup.com/projects/2023-02004 


вторник, 14 июля 2026 г.

CEN и CENELEC: Стандарт EN 18286:2026 «Система менеджмента качества для поддержки исполнения требований Закона ЕС об искусственном интеллекте» направлен на публикацию

Данный пост был опубликован в 10 июля 2026 года в социальной сети LinkedIn в учётной записи европейских органов по стандартизации CEN и CENELEC.

Мы рады сообщить о том, что успешно завершилось финальное официальное голосование по  стандарту EN 18286:2026 «Искусственный интеллект - Система менеджмента качества для поддержки исполнения требований Закона ЕС об искусственном интеллекте» (Artificial intelligence - Quality management system for EU AI Act regulatory purposes, см. https://standards.cencenelec.eu/... , а также мой пост https://rusrim.blogspot.com/2025/12/pren-18286.html - Н.Х.)!

Положительный итог официального голосования знаменует собой важную веху в процессе разработки стандарта. После одобрения членами европейских органов по стандартизации - Европейского комитета по стандартизации (CEN) и Европейского комитета по электротехнической стандартизации (CENELEC) документ перейдет на этап публикации в соответствии с установленными процедурами.


Ожидаемая дата официальной публикации – 22 июля 2026 года

Мы хотели бы поблагодарить всех экспертов, руководителей проектов, делегатов, национальных членов CEN/CENELEC и заинтересованных лиц, которые внесли свой вклад в разработку и рассмотрение этого стандарта. Их опыт и сотрудничество были сыграли ключевую роль в достижении данного успешного результата. 

После публикации стандарт будет доступен через национальных членов CEN/CENELEC, и будет внедряться в качестве национального стандарта всеми членами в течение установленного периода внедрения, - при этом любые противоречащие национальные стандарты будут соответственно отменены.

Поздравляем всех, кто участвовал в достижении этой важной вехи!

Мой комментарий: В Евросоюзе стандарты EN являются обязательными, а отнюдь не добровольными :) Недавно принятый закон Евросоюза об ИИ прямо требует наличия системы менеджмента качества у поставщиков систем ИИ высокого риска (ст. 17).

Источник: сайт LinkedIn
https://www.linkedin.com/posts/we-are-pleased-to-announce-that-en-18286-share-7481294057621618688-xOIt/ 

среда, 1 июля 2026 г.

Внедрение российских ИИ-сервисов в работу всех структурных подразделений Аппарата Правительства России

Я уже рассказывала на блоге о том, что в Аппарате Правительства РФ запущен эксперимент по применению ИИ, см. https://rusrim.blogspot.com/2026/04/blog-post_08.html

16 июня на сайте Правительства РФ была размещена новость о том, что тестирование российских ИИ-сервисов на площадке Аппарата Правительства России успешно завершено. По итогам пилотного проекта принято решение о целесообразности внедрения российских ИИ-сервисов в работу всех его структурных подразделений. Реализация проекта осуществляется под кураторством Заместителя Председателя Правительства – Руководителя Аппарата Правительства Дмитрия Григоренко.

Российские решения тестировались в восьми подразделениях Аппарата Правительства на протяжении полугода. ИИ, в частности, помогал:

  • формировать краткие справки; 

  • сравнивать версии документов;

  • составлять протоколы совещаний. 

В новости отмечается, что алгоритмы также были задействованы в решении рутинных задач. При этом во всех сценариях ИИ применялся в качестве технического ассистента, а финальное решение оставалось за ответственным сотрудником.

Для защищённой работы с ИИ-сервисами была выстроена особая двухконтурная архитектура с размещением серверов на территории Дома Правительства. В изолированном служебном контуре велась работа с внутренними данными, в интернет-контуре – с открытыми источниками. Участникам пилотного проекта также была доступна база типовых сценариев применения ИИ и более 150 заранее заготовленных промптов.

В числе решений, успешно прошедших тестирование, – продукты «Сбера» и «Яндекса», включая «ГигаЧат», «Нейроюриста» и «Алису AI». Более 80% участников пилотного проекта сообщили об активном использовании перечисленных решений.

«Ключевая цель в том, чтобы освободить специалистов от рутинных операций, например от подготовки справок, чтобы они могли сосредоточиться на сутевых вопросах. Важно понимать: искусственный интеллект не пишет законопроекты и не принимает государственные решения. Он не заменяет человека и не конкурирует с ним. ИИ - это лишь инструмент и помощник госслужащего», – отметил Дмитрий Григоренко.

Мой комментарий: Переход от эксперимента к решению о тиражировании на все структуры Правительства говорит о том, что проект признан успешным.

Принципиально важным итогом пилотного проекта стало не столько само внедрение нейросетей, сколько чёткое позиционирование ИИ как «младшего помощника». 

Отмечу, что техническая архитектура изначально учитывала специфику работы с конфиденциальными данными. Для защищённого функционирования ИИ-сервисов была выстроена двухконтурная система:

  • Изолированный служебный контур - использовался исключительно для работы с внутренними данными Правительства;

  • Интернет-контур - применялся для обращения к открытым источникам информации.

Это решение закрывает главную «болевую точку» внедрения облачных генеративных моделей в госорганах - угрозу утечки государственной тайны и конфиденциальной информации. Особого внимания заслуживает тот факт, что серверы были физически размещены на территории Дома Правительства. 

Источник: сайт Правительства РФ
http://government.ru/news/59040/ 


воскресенье, 28 июня 2026 г.

CEN: Завершается публичное обсуждение проекта нового европейского стандарта prEN 18282 «Спецификации кибербезопасности для систем ИИ»

Согласно информации на сайтах Европейского комитета по стандартизации CEN (от фр. Comité Européen de Normalisation) и Британского института стандартов (BSI), в конце июня завершается начатое в мае этого года публичное обсуждение проекта нового европейского стандарта prEN 18282 «Искусственный интеллект - Спецификации кибербезопасности для систем ИИ» (Artificial intelligence — Cybersecurity specifications for AI Systems) объёмом 55 страниц, см. https://standards.cencenelec.eu/... 

Над стандартом работает объединённый технический комитет CEN-CENELEC JTC21 «Искусственный интеллект» (Artificial Intelligence).

До 30 июня 2026 года есть возможность индивидуально принять участие в публичном обсуждении данного стандарта на сайте Британского института стандартов (BSI) по адресу https://standardsdevelopment.bsigroup.com/projects/2025-00486 (при условии регистрации на сайте). 


Веб-страница публичного обсуждения на сайте BSI


Во вводной части стандарта отмечается:

«В настоящем документе специфицированы требования и меры кибербезопасности, направленные на устранение уязвимостей, угроз и рисков кибербезопасности, являющихся специфическими для систем искусственного интеллекта.

Цель данного документа заключается в способствовании внедрению требований кибербезопасности для систем ИИ в соответствии со статьей 15(5) европейского Закона об ИИ (Регламент Евросоюза 2024/1689).

В данном документе основное внимание уделяется аспектам кибербезопасности, вытекающим из особенностей систем ИИ, включая модели ИИ, обучающие и выведенные данные, а также их взаимодействие со средой оперативной деятельности.

… Традиционные требования кибербезопасности для ИКТ-инфраструктуры, поддерживающей системы ИИ, остаются в силе, но в данном документе не рассматриваются.

Данный документ необходимо интерпретировать и применять в соответствии со следующими принципами:

  • Принцип 1: Данный документ применим к системам ИИ, которые квалифицируются как системы ИИ высокого риска в соответствии с Законом Евросоюза об ИИ. Он также может применяться к системам ИИ, которые не классифицируются как системы высокого риска в соответствии с Регламентом Евросоюза 2024/1689 (Законом об ИИ).

  • Принцип 2: В данном документе рассматриваются специфические для ИИ риски кибербезопасности. Он дополняет иные технические, организационные и правовые меры, требуемые для систем ИИ, включая традиционные требования кибербезопасности. Данный документ не заменяет не связанные с кибербезопасностью требования, такие как требования к стратегическому управлению данными, контролю и надзору со стороны человека или защите основных прав человека.

  • Принцип 3: Методы, инструменты и практики кибербезопасности для ИИ эволюционируют и не могут быть одинаково зрелыми или доступными для всех типов систем ИИ и всех контекстов их применения. В тех случаях, когда конкретные методы не являются разумно реализуемыми, поставщик может применять альтернативные меры, при условии, что эти меры могут быть обоснованы поставщиком в технической документации.

  • Принцип 4: Невозможно устранить все риски кибербезопасности. Данный документ описывает меры, направленные на достижение надлежащей устойчивости к киберугрозам, и не предоставляет гарантий от всех возможных атак. Его цель - содействовать соразмерному, основанному на доказательствах смягчению связанных с ИИ специфических рисков кибербезопасности, в соответствии с текущим положением дел.

…В настоящем документе рассматриваются соответствующие конкретным обстоятельствам и рискам организационные и технические решения, направленные на обеспечение кибербезопасности систем искусственного интеллекта высокого риска на протяжении всего их жизненного цикла.

Технические решения для устранения специфических уязвимостей ИИ включают, где это уместно, меры по предотвращению, обнаружению, реагированию, устранению и контролю атак, направленных на манипулирование обучающим набором данных (отравление данных) или предварительно обученными компонентами, используемыми в обучении (отравление модели), входными данными, предназначенными для того, чтобы заставить модель совершить ошибку (враждебные примеры или обход модели), атаками на конфиденциальность и/или недостатками модели.

Данный документ содержит объективные критерии, способствующие принятию решений о том, адекватно ли достигает данное техническое или организационное решение конкретной цели, связанной с уязвимостью.»

Содержание документа следующее:

Европейское предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения 
4. Сокращения
5. Концепция кибербезопасности для систем ИИ
6. Установление обстоятельств, имеющих значение для кибербезопасности ИИ
7. Выявление специфических для ИИ уязвимостей кибербезопасности 
8. Выявление соответствующих угроз кибербезопасности
9. Определение соответствующих рисков для кибербезопасности ИИ
10. Выбор и реализация мер
11. Требования к верификации и тестированию
12. Требования к документации, относящейся к кибербезопасности ИИ
Приложение A (справочное): Пояснения к разделам 5–12
Приложение B (справочное): Рекомендуемые организационные меры контроля и управления
Приложение C (справочное): Другие соответствующие стандарты
Приложение D (нормативное): Специфические для ИИ активы
Приложение ZA (справочное): Взаимосвязь между настоящим европейским стандартом и ключевыми требованиями Регламента Евросоюза 2024/1689 (Закона об ИИ – Н.Х.), которые предполагается охватить
Библиография

Источник: сайт CEN / сайт BSI
https://standards.cencenelec.eu/ords/f?p=CEN:110:::::FSP_PROJECT,FSP_ORG_ID:79708,2916257&cs=1D99676DE6B76D73E830D72B47EABA0B3
https://standardsdevelopment.bsigroup.com/projects/2025-00486 


пятница, 19 июня 2026 г.

Европейская комиссия опубликовала для публичного обсуждения проект «Рекомендаций по классификации систем искусственного интеллекта высокого риска»

Данная новость была опубликована 19 мая 2026 года на сайте Еврокомиссии.

19 мая 2026 года Европейская комиссия опубликовала на своём сайте проект «Рекомендаций по классификации систем искусственного интеллекта высокого риска» (Draft Guidelines on the classification of high risk AI systems) в 3-х частях, см. https://digital-strategy.ec.europa.eu/en/library/draft-commission-guidelines-classification-high-risk-ai-systems 

Мой комментарий: Данные рекомендации очень важны ввиду того, что если система ИИ признается системой высокого риска, то разрабатывающие и развёртывающие её стороны подпадают под многочисленные, весьма обременительные и по большей части бюрократические требования и ограничения.

В извещении о публикации проекта говорится:

«Настоящие Рекомендации призваны помочь поставщикам систем ИИ и развёртывающим системы ИИ сторонам, а также компетентным органам по надзору за рынком, в оценке того, следует ли классифицировать ту или иную систему ИИ как систему высокого риска - тем самым способствуя единообразному применению и эффективному исполнению положений статьи 6 Закона об ИИ (AI Act).

В Рекомендациях излагается толкование Еврокомиссией определенных понятий, имеющих значение для целей классификации, и - в соответствии со статьей 6(5) Закона об ИИ - приводятся практические примеры систем ИИ, которые следует или не следует классифицировать как системы высокого риска. Набор приведенных в настоящих Рекомендациях примеров стремится охватить все сферы и сценарии использования; однако его не следует рассматривать как исчерпывающий, и со временем данные примеры могут быть обновлены.

Рекомендации состоят из разделов, структура которых соответствует структуре статьи 6 Закона об ИИ. Согласно данной статье, система ИИ должна считаться системой высокого риска в двух случаях:
  • Если система предназначена для использования в качестве компонента безопасности какого-либо продукта; или если сама система ИИ представляет собой продукт, подпадающий под действие законодательно-нормативных актов Евросоюза по гармонизации, перечисленных в Приложении I, - и при этом продукт, компонентом безопасности которого является система ИИ (или же сама система ИИ), подлежит обязательной оценке соответствия третьей стороной, - такая система классифицируется как система высокого риска в соответствии со статьей 6(1) Закона об ИИ.

  • Если система ИИ относится к одному из сценариев использования, перечисленных в рамках сфер деятельности, указанных в Приложении III к Закону об ИИ, она классифицируется как система высокого риска в соответствии со статьей 6(2) Закона об ИИ.
Раздел III Рекомендаций посвящен первой категории систем ИИ высокого риска, а Раздел IV — второй категории. Ниже Вы можете скачать каждый раздел по отдельности; таким образом, Вам не придется обращаться к полному тексту документа в случае, если вас интересует лишь конкретная сфера или сценарий использования. Такой подход призван упростить доступ к проекту Рекомендаций, облегчить его распространение и использование с целью подготовки замечаний и предложений.»

Части документа, полное название которого - «Проект для проведения консультаций с заинтересованными сторонами Рекомендаций Еврокомиссии по классификации систем искусственного интеллекта высокого риска в соответствии со статьей 6 Регламента (ЕС) 2024/1689 (Закон об ИИ)» (Draft Commission guidelines on the classification of high-risk AI systems under Article 6 of Regulation (EU) 2024/1689 (AI Act) for stakeholder consultation) доступны по ссылкам:

  • Раздел II: Общие принципы классификации систем ИИ высокого риска (General principles for classification of high-risk AI systems) объёмом 6 страниц, см. https://ec.europa.eu/newsroom/dae/redirection/document/128559 

  • Раздел III: «Классификации систем ИИ высокого риска в соответствии со статьей 6(1) и Приложением I к Закону Евросоюза об ИИ» (High-risk classification according to Article 6(1) and Annex I AI Act) объёмом 13 страниц, см. https://ec.europa.eu/newsroom/dae/redirection/document/128560 

  • Раздел IV: «Классификации систем ИИ высокого риска в соответствии со статьей 6(2) и Приложением III к Закону Евросоюза об ИИ» (Draft Guidelines on the classification of high risk AI systems: Annex III of AI Act) объёмом 148 страниц, см. https://ec.europa.eu/newsroom/dae/redirection/document/128561 

Замечания и предложения будут приниматься до 23 июня 2026 года.

Источник: сайт Еврокомиссии
https://digital-strategy.ec.europa.eu/en/library/draft-commission-guidelines-classification-high-risk-ai-systems 
https://digital-strategy.ec.europa.eu/en/news/commission-seeks-feedback-draft-guidelines-classification-high-risk-artificial-intelligence-systems 


пятница, 5 июня 2026 г.

Локальный ИИ-помощник PlumA для архивного описания документов с использованием ИИ

Данная заметка испанского специалиста, исполнительного директора Испанского общества научной документации и информации (Sociedad Española de Documentación e Información Científica, SEDIC) Виктора Вильяпалоса Пардиньяса (Víctor Villapalos Pardiñas – на фото) была опубликована 14 мая 2026 года в социальной сети LinkedIn,

Новые локальные ИИ-помощники для архивного описания: Локальный ИИ-помощник PlumA для архивного описания документов с использованием ИИ

Мой комментарий: Эта новость интересна тем, что она показывает – начали разрабатываться специализированные ИИ-инструменты для архивистов.

После нескольких месяцев итеративной разработки и завершения закрытого альфа-тестирования я выпускаю первую публичную бета-версию решения PlumA - инструмента с открытым исходным кодом, призванного помочь архивистам в выполнении одной из самых рутинных задач повседневной архивной работы: извлечения из документов структурированной информации и её сопоставлении с международными стандартами архивного описания.

Решение PlumA не заменяет архивиста, не автоматизирует процесс принятия профессиональных суждений. Программа считывает оцифрованный документ и предлагает варианты значений для полей, опираясь на стандарты архивного описания ISAD(G), DACS, ISAAR(CPF), ISDF, ISDIAH, а также на упрощенную модель нового стандарта архивного описания «Документы в контекстах» (RiC). При этом каждое предложение программы подкрепляется обосновывающими его буквальными цитатами из исходного документа.

Специалист-человек сохраняет контроль над процессом: он просматривает, корректирует и принимает окончательное решение о том, какие данные следует передать в ArchivesSpace, AtoM или любую иную систему архивного описания.

Основная идея, лежащая в основе решения PlumA, проста: многие архивные документы нельзя отправлять на обработку в облачные ИИ-сервисы. Организационно-распорядительная документация, персональные данные, метрические книги, нотариальные акты и чувствительные документы организаций требуют иного подхода.

Именно поэтому решение PlumA работает полностью локально, используя контейнерную платформу Docker и локальный движок ИИ на базе Ollama. После установки программы, документы не покидают компьютер архивиста. В системе отсутствуют телеметрия, внешняя обработка данных и подключения к удаленным серверам.

В первую бета-версию включены следующие функциональные возможности:

  • Поддержка стандартов архивного описания ISAD(G), DACS, ISAAR(CPF), ISDF, ISDIAH и упрощенного варианта RiC;

  • Режимы извлечения данных: извлечение только важнейших данных, полное извлечение данных и настраиваемый (пользовательский) режим;

  • Автоматическое определение типа документа;

  • Поддержка текстовых и сканированных PDF-файлов, документов формата DOCX, а также файлов изображений;

  • Экспорт данных в форматы JSON, CSV, EAD3 и EAC-CPF;

  • Предложения и заполнении полей, подкрепляемые цитатами из источника, с использованием индикаторов уверенности;

  • Двуязычный интерфейс (испанский и английский языки).

Данная версия по-прежнему находится на стадии бета-тестирования. Она предназначена для целей тестирования, обучения, демонстрации возможностей, а также для выполнения контролируемых пилотных проектов с использованием материалов коллекций, не содержащих конфиденциальной информации. Данный инструмент пока не предназначен для промышленной эксплуатации при работе с конфиденциальными документами организаций или же для пакетной обработки без контроля со стороны оператора.

Решение PlumA является частью более широкого набора локальных архивных инструментов с открытым исходным кодом, который я разрабатываю для поддержки выполнения типовых профессиональных задач: описания документов, создания авторитетных записей и словарей, обеспечения интероперабельности, а также для подготовки научно-справочного аппарата.

Я буду признателен за отзывы и предложения от архивистов, специалистов по управлению документами, преподавателей архивного дела и специалистов галерей, библиотек, архивов и музеев (GLAM).

Ссылка на репозиторий: https://github.com/Token-Vean/Pluma 

Релиз v0.5.0-beta доступен по адресу: https://github.com/Token-Vean/Pluma/releases/tag/v0.5.0-beta ; см. также https://github.com/Token-Vean/Pluma/releases 

Решение PlumA распространяется под лицензией GNU AGPL-3.0.

Виктор Вильяпалос Пардиньяс (Víctor Villapalos Pardiñas)

Источник: сайт LinkedIn
https://www.linkedin.com/feed/update/urn:li:activity:7458244092368625664 
https://www.linkedin.com/feed/update/urn:li:groupPost:2620672-7458243834502672385  

вторник, 5 мая 2026 г.

ИСО и МЭК: Продолжается работа над проектом технических спецификаций в 3-х частях ISO/IEC CD TS 22440 «Искусственный интеллект – Функциональная безопасность и системы ИИ»

Как сообщил сайт Международной организации по стандартизации (ИСО), 10 апреля 2026 года завершилось голосование по «проекту комитета» технических спецификаций в 3-х частях ISO/IEC CD TS 22440 «Искусственный интеллект – Функциональная безопасность и системы ИИ» (Artificial intelligence - Functional safety and AI systems), над которыми работает технический подкомитет ИСО/МЭК JTC1/SC42 «Искусственный интеллект». Можно сказать, что работа над данным проектом уже приближается к завершению.

Ключевое понятие «функциональная безопасность ИИ» трактуется как «отсутствие неразумного риска, связанного с ошибками ИИ, вызванными сбоями и функциональными недостатками».

В документе широко используется аббревиатура AI-SCS, означающая «система контроля и управления ИИ, связанной с обеспечением функциональной безопасности» (AI Safety-related Control System). Также широко используется аббревиатура AUL (от Application Usage Level) для обозначения степени критичности ошибок при использовании компоненты программного обеспечения системы ИИ.
 
В аннотации ко всей серии отмечается:

«Целью данной серии технических спецификаций является преодоление разрыва между традиционными практиками обеспечения функциональной безопасности, основанными на существующих стандартах, и уникальными проблемами в области искусственного интеллекта (ИИ). Серия призвана помочь в проектировании продуктов, которые отдают приоритет физической безопасности и предотвращают потенциальный вред как с помощью функциональных возможностей безопасности на основе ИИ, так и с помощью инструментов разработки на основе ИИ. Документы в составе серии могут использоваться при установлении в общих чертах требований по безопасности как для систем безопасности, включающих ИИ-компоненты, так и для инструментов на основе ИИ.

Основное внимание в данной серии технических спецификаций уделяется функциям безопасности, выполняемым системами, использующими ИИ как внутри самой затрагивающей безопасность системы, так и на этапе её проектирования и разработки. Предполагается, что эти документы будут использоваться совместно с соответствующими стандартами функциональной безопасности для решения уникальных задач, возникающих при интеграции ИИ в приложения, критически важные в плане безопасности.

Сложность и внутренне присущая динамическая природа процессов принятия решений искусственным интеллектом требуют специализированного подхода к функциональной безопасности. В отличие от традиционных программных систем, модели ИИ не имеют чётко определенных спецификаций и легко объяснимого поведения. Данная серия документов решает эти проблемы, внедряя адаптированные к системам ИИ методологии и одновременно обеспечивая согласованность с общепризнанными стандартами функциональной безопасности, используемым в различных отраслях, такими как стандарты серий IEC 61508, ISO 26262 и другие.

Данная серия технических спецификаций предлагает всестороннюю концептуальную основу для решения связанных с ИИ уникальных проблем в критически важных для безопасности системах. В этих документах признается необходимость непрерывного проведения оценки и управления на протяжении всего жизненного цикла системы, с учётом таких факторов, как дрейф модели (model drift) и деградация производительности. Эта концептуальная структура использует многофасетный подход, принимая во внимание как технические, так и организационные аспекты разработки и внедрения ИИ.

Концептуальная структура предлагает методологии для:

  • Выявления и классификации специфических ошибок и сбоев ИИ,

  • Оценки их влияния на функции безопасности,

  • Внедрения адекватных мер по снижению рисков, и

  • Непрерывного ведения мониторинга и оценки.

В условиях, когда ИИ продолжает эволюционировать и затрагивать всё больше аспектов связанных с безопасностью систем, данная серия технических спецификаций является важнейшим ресурсом для разработчиков, инженеров по безопасности и регулирующих органов. Данные спецификации предлагают инструменты и методологии, необходимые для действий на сложном стыке искусственного интеллекта и функциональной безопасности, обеспечивая возможность получения отдачи от этих мощных технологий без ущерба для безопасности.

Документы данной серии включают общие соображения относительно угроз безопасности, влияющих на безопасность систем ИИ, - но сами по себе не содержат конкретных требований. Кроме того, в них принимается во внимание человеческий фактор при взаимодействии между безопасностью и защитой в системах ИИ.

Если не указано иное, эта серия документов применима ко всем типам технологий ИИ. Она включает в себя конкретные сведения о машинном обучении (МО).»

Серия технических спецификаций ISO/IEC CD TS 22440 состоит из 3 частей:

ISO/IEC CD TS 22440-1 «Искусственный интеллект – Функциональная безопасность и системы ИИ – Часть 1: Требования»
(Artificial intelligence — Functional safety and AI systems - Part 1: Requirements) объёмом 71 страница, см. https://www.iso.org/standard/89535.html

В данной части описаны ключевая терминология, свойства, факторы риска, процессы, методы, подходы и архитектуры, имеющие ключевое значение для обеспечения функциональной безопасности систем ИИ.

Содержание данной части следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Схема классификации систем ИИ и их компонентов
6. Вопросы жизненного цикла системы контроля и управления ИИ, связанной с функциональной безопасностью (AI Safety-related Control System, AI-SCS)
7. Анализ ошибок ИИ
8. Снижение рисков, связанных с ошибками ИИ
9. Тестирование системы контроля и управления ИИ, связанной с функциональной безопасностью (AI Safety-related Control System, AI-SCS)
Приложение A (нормативное): Меры по смягчению рисков, связанных с ошибками ИИ
Приложение B (нормативное): Методы тестирования AI-SCS
Приложение C (нормативное): Программные инструменты на основе ИИ
Приложение D (справочное): Вопросы архитектуры AI-SCS
Библиография

ISO/IEC CD TS 22440-2 «Искусственный интеллект – Функциональная безопасность и системы ИИ – Часть 2: Рекомендации» (Artificial intelligence — Functional safety and AI systems - Part 2: Guidance) объёмом 73 страницы, см. https://www.iso.org/standard/89536.html 

В данной части даются подробные рекомендации по внедрению, описываются практические методологии, а также рассматриваются аспекты интеграции процессов в интересах поддержки изложенных в данном документе требований.

Содержание данной части следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Рекомендации по диаграммам архитектуры «степеней использования приложения» (Application Usage Level, AUL) 
6. Рекомендации по вопросам жизненного цикла системы контроля и управления ИИ, связанной с функциональной безопасностью (AI Safety-related Control System, AI-SCS)
7. Рекомендации по анализу ошибок ИИ
8. Рекомендации по смягчению последствий ошибок ИИ
9. Рекомендации по тестированию системы контроля и управления ИИ, связанной с функциональной безопасностью (AI Safety-related Control System, AI-SCS)
Приложение A (справочное): Применимость к программному обеспечению с классом технологии I (Software Technology Class I, SWTC-I) стандарта IEC 61508-3:2010«Функциональная безопасность электрических / электронных / программируемых электронных систем, связанные с безопасностью - Часть 3. Требования к программному обеспечению» (Functional safety of electrical / electronic / programmable electronic safety-related systems - Part 3: Software requirements)
Приложение B (справочное): Возможные процессы и полезные технологии для верификации и валидации 
Приложение C (справочное): Соображения в отношении других стандартов безопасности
Приложение D (справочное): Соображения по компиляторам графов машинного обучения
Приложение E (справочное): Количественная оценка вероятности ошибки для ИИ
Библиография

ISO/IEC CD TS 22440-3 «Искусственный интеллект – Функциональная безопасность и системы ИИ – Часть 3: Примеры применения» (Artificial intelligence — Functional safety and AI systems - Part 3: Examples of application) объёмом 50 страниц, см. https://www.iso.org/standard/89537.html 

В данной части представлены конкретные варианты применения и примеры из реальной жизни, иллюстрирующие, каким образом технологии ИИ могут быть безопасно интегрированы и развернуты в критически важных для безопасности системах.

Содержание данной части следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Введение
6. Система слежения за людьми с помощью ИИ-камеры
7. Нейронная сеть для калибровки гелиостатов на солнечных электростанциях башенного типа
8. Использование инструментов на основе ИИ/машинного обучения в технологиях мониторинга процессов
9. Навигация беспилотных летательных аппаратов в городской среде во время посадки
10. Использование инструментов на основе ИИ/машинного обучения для подтверждения заявлений о безопасности
11. Использование цифрового двойника для анализа безопасности
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/89535.html 
https://www.iso.org/standard/89536.html 
https://www.iso.org/standard/89537.html 


воскресенье, 12 апреля 2026 г.

Росстандарт: Опубликован стандарт ГОСТ Р 72514-2026 «Оценка воздействия системы искусственного интеллекта»

На сайте Федерального агентства по техническому регулированию и метрологии ( http://www.gost.ru/ ) в мартовском 2026 года разделе ( https://protect.gost.ru/default.aspx?control=6&month=3&year=2026 ) был выложен новый национальный стандарт ГОСТ Р 72514-2026 (ИСО/МЭК 42005:2025) «Искусственный интеллект. Оценка воздействия системы искусственного интеллекта» объёмом 46 страниц, вступающий в силу 01.05.2026 года, см. https://protect.gost.ru/document1.aspx?control=31&baseC=6&page=1&id=271697 .

Стандарт разработан ООО «Институт развития информационного общества» (ООО «ИРИО») на основе собственного перевода на русский язык международного стандарта ISO/IEC 42005:2025 «Информационные технологии – Искусственный интеллект – Оценка воздействия системы ИИ» (Information technology - Artificial intelligence (AI) - AI system impact assessment, см. https://www.iso.org/standard/44545.html  и https://www.iso.org/obp/ui/en/#!iso:std:44545:en , а также мой пост http://rusrim.blogspot.com/2025/06/isoiec-42005.html ). Стандарт внесён Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект».

Во вводной части стандарта отмечается:

«Настоящий стандарт устанавливает руководящие указания для организаций, проводящих оценки воздействия системы искусственного интеллекта на отдельные лица и социальные группы, которые могут быть подвержены воздействию системы искусственного интеллекта и ее предсказуемых применений. Настоящий стандарт устанавливает, как и когда проводить такие оценки и на каких стадиях жизненного цикла системы искусственного интеллекта, а также содержит руководящие указания по документированию оценки воздействия системы искусственного интеллекта.

В настоящем стандарте установлено, как процесс оценки воздействия системы искусственного интеллекта может быть интегрирован в имеющиеся у организации систему управления рисками искусственного интеллекта и систему менеджмента искусственного интеллекта организации.

Настоящий стандарт предназначен для применения организациями, разрабатывающими, предоставляющими или использующими системы искусственного интеллекта. Настоящий стандарт применим в любой организации независимо от масштаба, типа и рода деятельности.»

Содержание стандарта следующее:

Предисловие 
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Разработка и внедрение процесса оценки воздействия системы искусственного интеллекта
6. Документирование оценки воздействия системы искусственного интеллекта
Приложение А (справочное): Руководящие указания по использованию настоящего стандарта совместно с ГОСТ Р ИСО/МЭК 42001 (о нём см. мой пост https://rusrim.blogspot.com/2025/01/42001-2024.html - Н.Х.)
Приложение В (справочное): Руководящие указания по использованию настоящего стандарта совместно с ISO/IEC 23894:2023 (о нём см. мой пост http://rusrim.blogspot.com/2023/04/isoiec-238942023.html - Н.Х.)
Приложение С (справочное): Таксономия вреда и пользы
Приложение D (справочное): Совмещение оценки воздействия системы искусственного интеллекта с другими оценками
Приложение Е (справочное): Пример шаблона оценки воздействия системы искусственного интеллекта.
Библиография

Источник: сайт Росстандарта
https://protect.gost.ru/document1.aspx?control=31&baseC=6&page=1&id=271697 



суббота, 4 апреля 2026 г.

ИСО и МЭК: Продолжается работа над техническим отчётом ISO/IEC CD TR 42103 «Обзор синтетических данных в контексте систем ИИ»

В середине февраля 2026 года сайт Международной организации по стандартизации (ИСО) сообщил о начале голосования по проекту технического отчёта ISO/IEC CD TR 42103 «Информационные технологии – Искусственный интеллект – Обзор синтетических данных в контексте систем ИИ» (Information technology — Artificial intelligence - Overview of synthetic data in the context of AI systems) объёмом 13 страницы, см. https://www.iso.org/standard/86899.html . Голосование завершится в середине апреля 2026 года, и, в случае успешного исхода, документ может быть быстро доработан и направлен на публикацию.

Над документом работает подкомитет SC42 «Искусственный интеллект» (Artificial intelligence), входящий в состав Объединенного технического комитета JTC1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).

С моей точки зрения, данный проект вызывает дополнительный интерес ещё и потому, что сейчас в России некоммерческая организация «Ассоциация больших данных» (АБД) готовит отечественный предстандарт ПНСТ «Синтез данных» на ту же тему, который состоит из трёх частей:

Ключевой (и, как показывают ответственные и международные дискуссии, достаточно спорный) термин определён следующим образом:

3.9. Синтетические данные (synthetic data) - данные, созданные искусственным путем, а не собранные на основе наблюдений в реальном мире.

Примечание: Синтетические данные используются в качестве замены данных реального мира (реальных данных) в ситуациях, когда имеется дефицит данных реального мира; когда использование реальных данных может привести к раскрытию чувствительной информации, такой как персональные данные; или же когда имеющиеся данные реального мира не в состоянии адекватно отразить все крайние случаи. 

Цель синтетических данных - воспроизвести математические, статистические и/или семантические характеристики реальных данных, обеспечивая тем самым их полезность для различных приложений, включая обучение моделей машинного обучения. Их использование может смягчить риски для безопасности и персональных данных, связанные с использованием данных реального мира.

Для сравнения, в проекте российского ПНСТ тот же термин определён следующим образом (в части 1):

3.1.3. Синтетические данные (synthetic data): Данные, искусственно созданные для имитации формата и свойств реальных данных, но которые не соответствуют напрямую каким-либо реальным объектам и не являются модификацией исходных данных.

Примечание: Синтетические данные могут быть использованы для различных целей, включая обучение моделей машинного обучения, тестирование систем, а также обеспечение повышенной конфиденциальности данных.

Во вводной части документа отмечается:

«Синтетические данные - это данные, сгенерированные искусственным образом, а не собранные на основе наблюдений в реальном мире, которые используются вместо реальных данных в тех случаях, когда 

  • реальных наблюдений немного; 

  • при использовании данных, полученных от реальных людей, могут быть раскрыты персональные данные; 

  • существующие данные недостаточно разнообразны; или

  • существующие данные не могут быть использованы ввиду ограничений, установленных законодательно-нормативными и иными обязательными требованиями. 

Хотя синтетические данные стали популярным инструментом для решения этих распространенных проблемных вопросов, их использование создаёт свои собственные проблемы.

Синтетические данные широко используются в различных секторах, включая сектора беспилотных автомобилей, телекоммуникаций, промышленного производство, здравоохранения, финансовых услуг, а также технологий. Ими пользуются как устоявшиеся предприятия и организации, так и развивающиеся стартапы.

Степень использования синтетических данных зависит от конкретных вариантов использования. Можно, например, сгенерировать целые наборы данных «с нуля2, используя ограниченное количество начальных данных (seed data); также есть возможность просто заменить конфиденциальные значения в существующем наборе данных правдоподобными альтернативами. Существуют различные методы генерации синтетических данных, и их применение зависит от конечной цели.

Хотя использование синтетических данных может быть направлено на снижение рисков в ходе проекта, некоторые риски всё же остаются, и даже могут появиться новые. К таким рискам относятся: утечка данных реального мира, таких как персональные данные или данные, являющиеся интеллектуальной собственностью; усиление предвзятости; галлюцинации; а также повторная идентификация физических лиц.

… Настоящий документ содержит обзор понятий, методов, способов использования синтетических данных и касающихся их соображений в контексте систем искусственного интеллекта. В нём описываются варианты использования синтетических данных и связанные с их использованием уникальные проблемы. Рассматривается использование синтетических данных в рамках жизненного цикла данных, включая связанные с синтетическими данными риски и показатели качества данных; использование синтетических данных в различных отраслях и вопросы экологической рациональности, возникающие в процессе работы с синтетическими данными.»

Содержание документа следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения и аббревиатуры
5. Типы синтетических данных
6. Синтетические данные в жизненном цикле данных
7. Соображения о качестве данных для синтетических данных
8. Риски, связанные с синтетическими данными
9. Использование синтетических данных
Приложение A: Пример процесса синтеза данных
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/86899.html 


четверг, 2 апреля 2026 г.

Вопросы документирования в проекте Закона «Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации»

В опубликованном для публичного обсуждения проекте Закона «Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации» устанавливается для субъектов сферы ИИ ряд прямых и косвенных требований к созданию и ведению документации. Эти требования создают новую административную нагрузку на организации.

Так, статья 10 «Обязанности разработчика модели искусственного интеллекта, оператора системы искусственного интеллекта, владельца сервиса искусственного интеллект, пользователя сервиса искусственного интеллекта» фактически обязывает всех тщательно документировать свою работу с ИИ:

Разработчик модели

1. Разработчик модели искусственного интеллекта обязан обеспечить безопасность созданной модели, включая:

а) исключение функциональных особенностей, способных привести к дискриминации на основе их поведения или личностных характеристик;

б) информировать разработчика системы искусственного интеллекта о невозможности ее использования в запрещенных целях;

в) документировать архитектуру, логику функционирования и ограничения применяемых моделей искусственного интеллекта в объеме, необходимом для ее проверки на соответствие нормативному правовому регулированию, установленному в соответствии с настоящим Федеральным законом;

Мой комментарий: Надеюсь, что «необходимый для проверки» объём будет установлен в подзаконных нормативно-правовых актах, поскольку сама по себе такая формулировка создаёт неопределенность. 

Данная норма потребует от разработчика модели создания внутренней технической документации (включающей спецификации, описания алгоритмов, данные о тестировании и т.д.) и обеспечения её сохранности в период использования модели – и, вероятно, в точение определенных сроков после завершения такого использования. 

От разработчиков фактически требуется создание доказательной базы для проверки соответствия требованиям закона. Без этих документов сложно будет доказать отсутствие вины. Требование «документировать архитектуру и логику» может вступить в противоречие с необходимостью защиты коммерческой тайны. Если для получения статуса «доверенной модели» необходимо будет раскрывать регулятору ноу-хау, то это может снизить стимулы для частных компаний разрабатывать прорывные решения в сотрудничестве с государством.

г) проводить моделирование потенциальных рисков, связанных с функционированием разрабатываемых технологий искусственного интеллекта, с учетом их предполагаемого применения;

Мой комментарий: Проведение моделирования подразумевает документирование результатов этого моделирования по определенным правилам. Разработчикам придется утвердить регламенты оценки рисков и хранения отчетов по моделированию для каждой разрабатываемой модели.

д) определить порядок обслуживания и контроля параметров функционирования объектов с использованием искусственного интеллекта.

Мой комментарий: Регламентировать этот аспект придётся в локальных нормативных актах. Скорее всего, потребуется создание значительных объемов эксплуатационной документации и регламентов технического обслуживания.

Оператор системы искусственного интеллекта

2. Оператор системы искусственного интеллекта обязан:

а) включить в документацию руководство по безопасной эксплуатации, содержащее указание на недопустимость использования системы для манипуляции поведением и эксплуатации уязвимостей человека;

Мой комментарий: Это означает расширение стандартной эксплуатационной документации посредством включения требований и рекомендаций этического и поведенческого характера.

б) проводить тестирование системы для выявления потенциальных возможностей ее использования в целях, противоречащих законодательству Российской Федерации;

Мой комментарий: Акты и материалы тестирования (включая логи, тестовые наборы, записи результатов) должны будут хранится оператором в течение всего срока эксплуатации системы и определенное время после прекращения её эксплуатации. Отсутствие актов тестирования или наличие в них недостоверных сведений могут рассматриваться как обстоятельство, свидетельствующее о непринятии оператором исчерпывающих мер к предотвращению получения неправомерного результата.

в) предоставление пользователям информации о ее функциональном назначении и ограничениях;

Мой комментарий: Это потребует создание публичной документации, пользовательских соглашений, описаний сервиса и т.д., в т.ч. установления прямого запрета на использование системы для манипуляции поведением и эксплуатации уязвимостей человека, описания порядка действий пользователя при получении недостоверных результатов, признаках взлома, при выявлении дискриминационных решений. Нужно будет сообщить контактные данные, сроки реагирования, определить форму сообщения об инциденте.

г) обеспечивать техническое обслуживание и контроль параметров функционирования объектов с использованием искусственного интеллекта в соответствии с требованиями, установленными владельцем и разработчиком;

д) незамедлительно приостанавливать эксплуатацию объектов с использованием искусственного интеллекта при выявлении угрозы причинения вреда жизни, здоровью граждан, безопасности государства, имуществу физических или юридических лиц, окружающей среде;

е) обеспечивать учет инцидентов, связанных с функционированием объектов с использованием искусственного интеллекта;

Мой комментарий: Это означает ведение журналов регистрации событий (логов), подготовку регламентов действий в случае инцидентов, формирование отчетов по инцидентам и т.д.

ж) назначать ответственных лиц за обеспечение безопасного функционирования объектов с использованием искусственного интеллекта.

Владелец сервиса искусственного интеллекта

3. Владелец сервиса искусственного интеллекта обязан:

а) определить правила доступа к сервису искусственного интеллекта и предусмотреть в них прямой запрет на использование такого сервиса в целях, противоречащих законодательству;

б) принимать меры по недопущению использования сервиса в противоправных целях;

в) информировать пользователей сервиса искусственного интеллекта о том, что они взаимодействуют с системой искусственного интеллекта, за исключением случаев, когда такое обстоятельство очевидно для пользователя исходя из назначения сервиса, характера его функций или условий использования;

д) определить порядок обслуживания и контроля параметров функционирования объектов с использованием искусственного интеллекта;

е) внедрение механизмов, ограничивающих возможность создания с использованием сервиса искусственного интеллекта информационного материала, противоречащего законодательству Российской Федерации.

Мой комментарий: Законопроект требует от участников рынка документировать управление жизненным циклом ИИ. Документы нужны не только для работы, но и для демонстрации регуляторам (ФСТЭК, ФСБ, Минцифры) соответствия требованиям закона («презумпция добросовестности» при доказывании отсутствия вины, ст. 11). Наибольшая нагрузка ляжет на разработчиков и операторов, которым придется создавать «досье» на каждую значимую модель.

Требования к документированию неразрывно связаны со статьей 11 об ответственности. С правовой точки зрения, документация выступает в качестве средства защиты (доказательственной базы), позволяющего заблаговременно подтвердить соблюдение требований и снизить риски привлечения к ответственности

Для того, доказать невозможность использования модели в запрещенных целях разработчику/оператору потребуется целый комплект документов:

  • Документирование архитектуры и логики (пп. «в» п. 1 ст. 10) - чтобы доказать, что модель не могла теоретически дать такой результат;

  • Документирование тестирования (пп. «б» п. 2 ст. 10) - чтобы доказать, что система проверялась на возможность использования в противоправных целях.

Часть 3 статьи 11 освобождает от ответственности, если субъект «предпринял исчерпывающие меры». На практике это означает наличие комплекта документов, включающего:

  • Политики безопасности;

  • Акты тестирования;

  • Журналы инцидентов;

  • Протоколы моделирования рисков (пп. «г» п. 1 ст. 10).

Законопроект трансформирует техническую документацию из в юридический актив. Отсутствие правильно оформленных документов автоматически лишает разработчика права на освобождение от ответственности.

Малый и средний бизнес (кроме гигантов вроде «Сбера» или «Яндекса») может не выдержать тройного согласования документации (Минцифра + ФСТЭК + ФСБ) и ведения сложного документооборота.

Для соблюдения требований закона некоторые компании начнут создавать объемную документацию «для галочки», которая не будет отражать реальные риски модели, но позволит отчитаться перед регулятором.

Источник: Сайт regulation.gov.ru
https://regulation.gov.ru/projects/166424/ 

воскресенье, 8 февраля 2026 г.

США: Закон TFAIA штата Калифорния о прозрачности в сфере передовых технологий искусственного интеллекта

Искусственный интеллект уже настолько широко вошёл в современную жизнь, что законодателям пришлось заняться нормативно-правовым регулированием данной технологии. Первым появился «Закон Евросоюза об искусственном интеллекте» (Artificial Intelligence Act - о нём см. также http://rusrim.blogspot.com/2024/07/blog-post_18.html , http://rusrim.blogspot.com/2023/12/blog-post_482.html и http://rusrim.blogspot.com/2021/04/blog-post_575.html - Н.Х.). 

Теперь своё слово сказал американский штат Калифорния – причём, в силу экономической значимости штата, и того, что именно на его территории располагается целый ряд крупнейших разработчиков и поставщиков алгоритмов и систем ИИ; а также ввиду особенностей правовой системы США, закон Калифорнии имеет не меньший вес, чем национальный закон США, и его влияние на международной арене может оказаться соизмеримым с влиянием европейского «Закона об искусственном интеллекте».

29 сентября 2025 года губернатор штата Калифорния утвердил законопроект SB53 «О прозрачности в сфере передовых технологий искусственного интеллекта» (Transparency in Frontier Artificial Intelligence Act, TFAIA, https://leginfo.legislature.ca.gov/faces/billNavClient.xhtml?bill_id=202520260SB53 ), в который затем 18 ноября 2025 года были внесены поправки. Законодательство США и его штатов хорошо кодифицировано, так что данный закон стал главой 25.1 отдела 8 Кодекса деловой и профессиональной деятельности штата (Division 8 of the Business and Professions Code).

Ключевым в законе является понятие «передовой модели ИИ» (frontier model), под которой понимается универсальная (многоцелевая) модель ИИ (foundation model), обученная с использованием объёма вычислений, превышающего 10^26 целочисленных операций или операций с плавающей запятой. 

В свою очередь, под «универсальной моделью» понимается модель искусственного интеллекта, которая соответствует всем следующим требованиям:

  • Модель обучена на широком наборе данных,

  • Модель разработана таки образом, чтобы обеспечить универсальности выходных данных,

  • Модель адаптируема к широкому спектру различных задач.

В законе важную роль играет термин «критический инцидент безопасности» (critical safety incident), который определён следующим образом (статья 22757.11 (d)):

«Под «критическим инцидентом безопасности» понимается любая из следующих ситуаций:

  • Несанкционированный доступ, модификация или утечка весовых коэффициентов передовой модели ИИ, приводящая к смерти или телесным повреждениям;

  • Вред, причиненный в результате реализации катастрофического риска;

  • Потеря контроля над передовой моделью ИИ, приводящая к смерти или телесным повреждениям.

  • Передовая модель ИИ, использующая обманные методы, направленные против разработчика передовых технологий для препятствования осуществляемым разработчиком мер контроля, управления или мониторинга вне контекста оценки, предназначенной для выявления такого поведения, и делающая это таким образом, который демонстрирует существенно повышенный катастрофический риск.»

Закон TFAIA требует от разработчиков передовых моделей ИИ публиковать необходимую для обеспечения прозрачности документацию о своих передовых моделях ИИ и уведомлять о связанных с их передовыми моделями критических инцидентах безопасности Управление по чрезвычайным ситуациям Калифорнии (California Office of Emergency Services, OES).


Текст законопроекта на правовом портале Калифорнии

Русскоязычный американский сайт «Русская Калифорния» в заметке от 2 октября 2025 года, в частности, отметил следующее:

«Калифорния уже сегодня считается мировым центром ИИ — здесь сосредоточены крупнейшие технологические компании, ведущие исследовательские институты и основной кадровый ресурс отрасли. Законопроект SB53 усиливает прозрачность в разработке передовых моделей ИИ, создает условия для инноваций и научных исследований, обеспечивает защиту общества и справедливость, формирует механизмы подотчетности компаний и закрепляет за Калифорнией статус мирового лидера в ответственной реализации технологий будущего.

Губернатор Ньюсом подчеркнул, что Калифорния доказала возможность одновременно регулировать технологии для защиты общества и поддерживать рост индустрии, а законопроект SB53 стал первым в стране законом о безопасности передового искусственного интеллекта, формирующим доверие и открывающим новые возможности для инноваций.

Законопроект содержит несколько ключевых положений: крупные разработчики обязаны публиковать на своих сайтах информацию о том, как они внедряют национальные и международные стандарты в области ИИ; создается консорциум CalCompute для разработки и внедрения этичного и устойчивого искусственного интеллекта; вводится механизм отчетности о критических инцидентах, связанных с ИИ, через Офис чрезвычайных служб Калифорнии (я бы перевела его название как «Управление по чрезвычайным ситуациям Калифорнии» – Н.Х.); предусматривается защита информаторов, раскрывающих риски для здоровья и безопасности, а также штрафы за несоблюдение правил; Министерство технологий Калифорнии будет ежегодно обновлять рекомендации с учетом новых стандартов и развития технологий.

Сегодня Калифорния доминирует в мировом секторе искусственного интеллекта: в 2024 году более 15,7% всех вакансий в сфере ИИ в США приходилось именно на этот штат, более половины глобальных инвестиций в ИИ-стартапы направлялись в компании Кремниевой долины, из 50 ведущих компаний мира в сфере искусственного интеллекта 32 базируются именно здесь, а такие технологические гиганты как Google, Apple и Nvidia, работающие с ИИ и обладающие рыночной капитализацией более $3 триллиона долларов, создают сотни тысяч рабочих мест.

Сенатор Скотт Винер отметил, что искусственный интеллект — это революционная технология, и с новым законом Калифорния вновь показывает миру пример того, как можно сочетать инновации с безопасностью и ответственностью.»

С точки зрения управления документами и информацией, представляют интерес положения, предусматривающие уведомление об инцидентах:

Ст. 22757.13.

(a) Управление по чрезвычайным ситуациям должно создать механизм, который может быть использован разработчиком передовой модели или представителем общественности для уведомления о критическом инциденте безопасности, включающем все перечисленные ниже сведения:

(1) Дата критического инцидента безопасности,

(2) Основания, по которым инцидент квалифицируется как критический инцидент безопасности,

(3) Краткое и ясное описание критического инцидента безопасности,

(4) Сведения о том, был ли инцидент связан с внутренним использованием передовой модели ИИ.

Закон также наделяет Управление по чрезвычайным ситуациям полномочиями «указывать внешние законы и стандарты в качестве механизмов исполнения положений Закона».

Источники: сайт «Русская Калифорния» / Правовой портал Калифорнии
https://ruscali.com/california-governor-gavin-newsom-signed-sb-53-a-bill-that-strengthens-the-states-leadership-in-artificial-intelligence/ 
https://leginfo.legislature.ca.gov/faces/billNavClient.xhtml?bill_id=202520260SB53