среда, 18 февраля 2026 г.

Росстандарт: Опубликован новый стандарт ГОСТ Р 72484-2025 «Системы искусственного интеллекта в здравоохранении. Термины и определения. Классификация»

На сайте Федерального агентства по техническому регулированию и метрологии ( http://www.gost.ru/ ) в январском 2026 года разделе ( https://protect.gost.ru/default.aspx?control=6&month=1&year=2026 ) был выложен новый национальный стандарт ГОСТ Р 72484-2025 «Системы искусственного интеллекта в здравоохранении. Термины и определения. Классификация» объёмом 20 страниц, вступивший в силу 01.02.2026 года, см. https://protect.gost.ru/document1.aspx?control=31&baseC=6&id=270750

Стандарт разработан Научно-практическим клиническим центром диагностики и телемедицинских технологий Департамента здравоохранения города Москвы (ГБУЗ «НПКЦ ДиТ ДЗМ»); внесён Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект».

Во вводной части стандарта отмечается:

«Настоящий стандарт устанавливает термины и определения в области систем искусственного интеллекта в здравоохранении, а также классификацию таких систем.

Термины и определения, установленные настоящим стандартом, рекомендуются для применения во всех видах документации и литературы по системам искусственного интеллекта в здравоохранении, входящих в сферу действия работ по стандартизации и использующих результаты этих работ.»

Всего документ содержит 67 терминов. Следует отметить, что в ряде случаев данный стандарт идёт вразрез с определениями общих терминов в области ИИ, данными в стандарте ГОСТ Р 71476-2024 «Искусственный интеллект. Концепции и терминология искусственного интеллекта», см. https://protect.gost.ru/document1.aspx?control=31&baseC=6&id=263925 . представляющего собой адаптацию основного международного терминологического стандарта для ИИ – ISO/IEC 22989:2022. 

Помимо терминологии, в стандарте предложена классификация систем искусственного интеллекта, используемых в здравоохранении.

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
3.1. Общие термины и определения
3.2. Термины в области организации здравоохранения
3.3. Термины в области информатизации здравоохранения
3.4. Общие термины в области технологий искусственного интеллекта
3.5. Термины в области систем искусственного интеллекта в здравоохранении
4. Классификация систем искусственного интеллекта в здравоохранении 
Алфавитный указатель терминов
Библиография

Источник: сайт Росстандарта
https://protect.gost.ru/document1.aspx?control=31&baseC=6&id=270750

вторник, 17 февраля 2026 г.

Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 5: Формирование информационного пакета для сохранения алгоритмов (2)

(Продолжение, предыдущую часть см. http://rusrim.blogspot.com/2026/02/5-1.html )

Слой эксплуатации: сохранение сведений о фактическом поведении системы

Если слой проектирования фиксирует намерения, то слой эксплуатации фиксирует реальность. Это доказательный «след» системы в действии. В финансовой сфере - это журнал аудита; в сфере стратегического управления ИИ - это уровень протоколирования событий в терминологии Закона Евросоюза об ИИ. В контексте алгоритмов государственного сектора - это документы о действиях, совершённых автоматизированными системами принятия решений.

Слой эксплуатации включает в себя:

  • логи (журналы аудита) входных и выходных данных, а также ключевых промежуточных состояний;

  • действия системы с соответствующими отметками времени,

  • оповещения, аномалии и индикаторы отклонений или дрейфа;

    Мой комментарий: В концептуальном стандарте ГОСТ Р 71476-2024 (ИСО/МЭК 22989:2022) «Искусственный интеллект. Концепции и терминология искусственного интеллекта», см. https://protect.gost.ru/document1.aspx?control=31&baseC=6&id=263925 , упоминаются такие понятия, как «дрейф концепции» и «дрейф данных»,  о которых сказано:

    «При дрейфе данных точность вычисляемых моделью прогнозов со временем снижается из-за изменений в статистических характеристиках эксплуатационных данных (например, может измениться разрешение изображений; или один класс может начать чаще встречаться в данных, чем другой). В этом случае модель необходимо переобучить на новых обучающих данных, которые лучше отражают текущие эксплуатационные данные.

    При дрейфе концепции смещается граница принятия решений (например, представление о том, что является законным, а что нет, имеет тенденцию меняться после публикации новых законов), что также снижает точность прогнозов, даже если сами данные не изменились. В случае дрейфа концепции значения целевых переменных в обучающих данных необходимо переразметить, а модель - переобучить.»

  • показатели производительности системы во времени;

  • пути принятия решений и/или «следы» решений, если таковые имеются;

  • данные мониторинга и сведения о вмешательства в рамках надзора и контроля;

  • отчёты об инцидентах;

  • документы о случаях простоя системы и/или снижения её производительности;

  • сведения об обновлениях, проведенных в среде промышленной эксплуатации;

  • сведения о случаях дообучения или перекалибровки.

Именно здесь сведения о поведении машины становятся свидетельствами / доказательствами.

Ключевой особенностью слоя эксплуатации является то, что он должен создаваться автоматически. Люди не могут ретроспективно восстановить то, чего они никогда не наблюдали. Автоматизированные системы должны оставлять свои следы в реальном времени посредством протоколирования в журналах аудита, мониторинга и отслеживания версий.

Мой комментарий: Полное исключение возможности добавления в данный слой документов, созданных людьми (в том числе уже после событий), с моей точки зрения, весьма неразумно. Разве нам не нужны документы, отражающие обратную связь, полученную от пользователей; результаты расследования инцидентов; аналитика поведения показателей производительности и многое другое? Ведь на самом деле нам нужны максимально полные сведения об истории функционирования системы, и без подготовленных «вручную» материалов собранные сведения будут неполными, и их будет куда сложнее интерпретировать.

Именно здесь стратегическое управление пересекается с инженерией. Протоколирование - это не просто техническая возможность, которую полезно иметь, а исполнение прямого требования к сбору свидетельств и доказательств.

Расследования часто начинаются с содержащихся в слое эксплуатации сведений, позволяющих ответить на вопросы, на которые не может дать ответ уровень проектирования:

  • Что сделала система?

  • Как система вела себя под давлением?

  • В каких областях система отклонялась от нормы?

  • Кто вмешивался в работу системы?

  • Что изменилось и когда?

Память сохраняется не только в виде самого кода, но и в следах его выполнения.

Контекстуальный слой: сохранение сведений об условиях, в котором функционировала система

Это самый «тонкий» и наиболее часто игнорируемый слой. Системы не работают в изоляции от мира - они функционируют в рамках законодательства, рабочих процессов, инфраструктуры, социальных условий, человеческих интерпретаций и организационной культуры.

Когда что-то идет не так, контекст часто оказывается недостающим звеном.

Контекстуальный слой включает в себя:

  • политики организации и её модели стратегического управления,

  • документы о надзоре и контроле, осуществляемом человеком;

  • описания сред развертывания;

  • соответствующие нормативно-правовые рамки и ограничения;

  • специфические отраслевые обязанности и руководства по этике;

  • схемы рабочих процессов и процессы ввода;

  • описания ролей и цепочки подотчётности;

  • деловые правила и политики исключений;

  • документация о затронутых группах населения и/или вариантах использования.

В отсутствие контекста журнал журнала мало что может рассказать. Модель архитектуры не может объяснить, почему были приняты именно такие решения. Для реконструкции необходимо понимания не только системы, но и условий среды, в которой она функционирует.

В терминологии архивного дела всё это называется «сведениями о происхождении» (provenance). На языке регуляторов, это сведения о соответствии требованиям. В сфере стратегического управлении ИИ - это «поверхность воздействия» (impact surface).

Контекстуальный слой придает смысл системе в том, что касается её пользователей, операторов и людей, на которых она оказывает воздействие.

(Окончание следует)

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-05f 

Положение о государственной информационной системе по предупреждению, выявлению и пресечению ограничивающих конкуренцию соглашений

Правительство Российской Федерации постановлением №1933 от 28 ноября 2025 года утвердило «Положение о государственной информационной системе по предупреждению, выявлению и пресечению ограничивающих конкуренцию соглашений».

Содержание положения:

I. Общие положения

II. Цели, задачи, принципы функционирования системы по предупреждению

III. Структура системы по предупреждению

IV. Основные функции системы по предупреждению

V. Участники информационного взаимодействия

VI. Требования к техническим и программным средствам системы по предупреждению

VII. Взаимодействие системы по предупреждению с информационными системами

VIII. Защита информации системы по предупреждению

«Положение» определяет задачи, функции и принципы функционирования государственной информационной системы по предупреждению, выявлению и пресечению ограничивающих конкуренцию соглашений (система по предупреждению), её пользователей и их полномочия, перечни источников обрабатываемой информации и видов информации, представляемой в ГИС в обязательном порядке, и иные вопросы её функционирования.

Целью создания системы является информационное обеспечение деятельности федерального антимонопольного органа по предупреждению, выявлению и пресечению ограничивающих конкуренцию соглашений с помощью цифровых технологий, элементов искусственного интеллекта на торгах (п.6).

Система включает в себя совокупность 11 подсистем - программно-технологических компонентов (п.8), в том числе следующих:

  • «подсистема выявления признаков правонарушений» - подсистема, предназначенная для автоматизированного анализа данных о торгах, полученных из ИС, в соответствии с настраиваемыми критериями;

  • «подсистема интеграции с внешними информационными системами» - подсистема, предназначенная для обеспечения информационного взаимодействия системы с ИС;

  • «подсистема аналитики и визуализации» - подсистема, предназначенная для построения аналитических отчетов различного вида на основе результатов, полученных из подсистем, статистических данных, заполненных внутренними пользователями системы по предупреждению, а также сведений, полученных из ИС;

  • «подсистема поиска аффилированности» - подсистема, предназначенная для выявления аффилированности лиц;

  • «подсистема машинного обучения (искусственного интеллекта)» - подсистема, предназначенная для выявления закономерностей и зависимостей и применения их для предсказания исходов или принятия решений;

  • «подсистема сбора открытых данных» - подсистема, предназначенная для сбора и анализа открытых данных о ценовой информации на товары и услуги.

Проектирование и разработка подсистем осуществляются с использованием единой цифровой платформы РФ «ГосТех». Для разрабатываемых компонентов системы обеспечена возможность их повторного использования на платформе «ГосТех» (п.9).

Алгоритмы и критерии, на основе которых осуществляется автоматизированная обработка информации и документов утверждаются оператором системы по предупреждению (п.11).

Хранение информации в системе должно обеспечиваться на постоянной основе, за исключением информации, указанной в пунктах 17 и 18 настоящего «Положения» (п.16).

Срок хранения информации и документов, указанных в подпункте "а" пункта 10 настоящего Положения, в рамках расследований по признакам нарушения антимонопольного законодательства в части ограничивающих конкуренцию соглашений определяется оператором системы по предупреждению (п.17). (Это аналитическая и статистическая информации, включая информацию о вероятности (рисках) заключения и реализации ограничивающих конкуренцию соглашений при осуществлении предпринимательской деятельности на товарных рынках и при проведении торгов - Н.Х.).

Действия внутренних пользователей системы, осуществляемые в целях получения доступа к информации, требующего авторизации в Единой системе идентификации и аутентификации, протоколируются в техническом журнале системы, ведение которого обеспечивает оператор системы. Срок хранения информации в техническом журнале системы составляет 36 месяцев с момента осуществления соответствующего действия (п.18).

Перечень информации, содержащейся в техническом журнала, а также его порядок ведения утверждаются оператором системы.

Мой комментарий: Документ создает правовую основу для внедрения в деятельности регулятора современного инструмента, основанного на технологиях искусственного интеллекта и больших данных. 

Согласно п.11, алгоритмы и критерии автоматизированной обработки утверждаются исключительно оператором системы. Это потенциально создаёт проблему «черного ящика», когда коммерческие организации просто не будут понимать, по каким правилам система определяет их «рискованность». 

Подобная непрозрачность может привести к судебным спорам по оспариванию решений, принятых на основе сделанных системой выводов. В данном случае необходимо, чтобы при обработке и анализе данных применялся объяснимый ИИ, способный в любой момент времени представить подробные документированные объяснения по своим выводам и выявленным «нарушениям».

Эффективность системы сильно зависит от качества и полноты входных данных. Неполные, некорректные или несвоевременные данные из внешних информационных систем (торговых площадок, статистики) могут привести к ложным выводам, сделанным ИИ. 

Система станет хранилищем огромного массива высококонфиденциальных коммерческих сведений и персональных данных. «Положение» содержит отсылки к мерам по защите информации (раздел VIII), но не детализирует эти меры. 

Пункт 17 оставляет на усмотрение оператора срок хранения ключевой аналитической информации, что противоречит требованию Закона о персональных данных №152-ФЗ в отношении хранения персональных данных только до достижения целей их обработки, - и создаёт риск неограниченного накопления и незаконного использования таких данных.  С моей точки зрения, было бы правильно установить четкие, разумные и дифференцированные сроки хранения для всех категорий информации, которая будет обрабатываться в системе. 

Существует также опасность того, что выдаваемые системой результаты анализа будут восприниматься сотрудниками ФАС некритически, что способно привести к неоправданным санкциям и судебным спорам.

Эффективная работа с такой сложной аналитической системой потребует от внутренних пользователей (сотрудников ФАС) новых компетенций и навыков работы с данными и интерпретации результатов ИИ, - поэтому регулятору необходимо обратить особое внимание на обучение персонала, в том числе и по вопросам правового характера.

Источник: Консультант Плюс
https://www.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=520963

понедельник, 16 февраля 2026 г.

Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 5: Формирование информационного пакета для сохранения алгоритмов (1)

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 11 декабря 2025 года в социальной сети Substack.

От фрагментов памяти к целостной архитектуре стратегического управления автоматизированными системами

К тому моменту, когда я дошёл до этой части серии постов, начала вырисовываться чёткая сквозная линия. Везде - в политике в области ИИ, в регулировании рынка, в автоматизации государственного сектора и исследованиях в области цифрового наследия - постоянно встаёт одна и та же нерешённая проблема. Поэтому у меня есть такое умеренно-амбициозное предложение: если уж мы намереваемся использовать наши системы, то мы должны по крайней мере определить, какие доказательства должны быть сохранены, чтобы эти действия оставались понятными.

Мы часто говорим о прозрачности и подотчётности как о каких-то абстрактных добродетелях, но на практике они опираются на нечто очень конкретное, а именно, на выживание нужных документов - не всех документов, не идеального архива, а просто того количества адекватных свидетельств и доказательств, которых будет достаточно для реконструирования того, как вела себя система и почему.


Осознание этого подтолкнуло меня к идее о том, что я называю «пакетом для обеспечения сохранности алгоритмов» (algorithm preservation package). Это не юридический термин и не техническая концепция (по крайней мере, пока что), а способ описания ключевых компонентов памяти, необходимых современным автоматизированным системам, если мы хотим осуществлять стратегическое управление ими, проводить их аудит и доверять им во времени.

Данный пакет включает три слоя:

  • слой сведений о разработке и проектировании (далее «слой проектирования» - design layer);

  • слой сведений об эксплуатации (далее «слой эксплуатации» - operational layer);

  • слой сведений о контексте (далее «контекстуальный слой» - contextual layer).

Каждый слой сохраняет различные аспекты поведения машины. Совместно они создают «след» системы, достаточно жизнеспособный, чтобы пережить сбои, расследования и аудиты по мере течения времени.

Это не какая-то схема, а фундамент.

Слой проектирования: Сохранение истории того, как создавалась система

Это слой, который большинство коллег упускает из виду. Мы часто относимся к системам ИИ так, словно они родились на свет уже готовыми. Однако у каждой системы есть история развития. Принимались решения о выборе вариантов, были выбраны модели, сформированы данные и настроены параметры. Были приняты или проигнорированы риски. Появились многочисленные версии. Группы специалистов вели дебаты и иногда шли на компромиссы.

Всё это становится невидимым, как только система запускается в эксплуатацию, и слой проектирования призван сохранить данные сведения.

Слой проектирования включает в себя:

  • описание назначения и предполагаемого использования системы,

  • архитектуру модели и её обоснование,

  • сведения о стратегическом управление обучающими данными и критерии их отбора,

  • решения в отношении предварительной обработки данных,

  • результаты тестирования и валидации,

  • ожидания в отношении показателей производительности и соответствующие ограничения, 

  • результаты оценок риска и выбранные варианты смягчения рисков,

  • историю управления изменениями,

  • «снимки» конфигурации,

  • заметки разработчиков и документы о принятых ими решениях,

  • документацию по оценке этичности и справедливости.

Именно здесь основная «нагрузка» ложится на сведения, который Патриция Фрэнкс (Pat Franks) относит к «параданным» (paradata). Параданные документирует действия, которые сформировали систему: решения, преобразования, калибровки, уточнения и компромиссы, которые привели к созданию конечного артефакта.

Одной частью этого слоя является официальная инженерная документация. Другая часть спрятана в электронных письмах, средствах отслеживания проблем (issue trackers), репозиториях программного обеспечения, журналах тестирования, карточках моделей и внутренних служебных записках. Без должного внимания к нему слой проектирования может испариться, оставляя позади систему, которая функционирует, но которую невозможно понять.

Это урок, следующий как из архивной теории, так и из практики регулирования рынка. Невозможно воссоздать действие, если отсутствуют свидетельства приведших к нему обстоятельств.

Сопоставление «пакета для обеспечения сохранности алгоритмов» со сдаточным информационным SIP-пакетом и архивным информационным AIP-пакетом в концепции открытой архивной информационной системы (OAIS)

Не нужно путать «пакеты для обеспечения сохранности алгоритмов» с традиционными контейнерами (информационными пакетами) в концепции открытой архивной информационной системы (OAIS). В сдаточные (SIP) и архивные (AIP) информационные пакеты упаковывают стабильные цифровые объекты для передачи и хранения – при этом предполагается, что объект уже зафиксирован (защищен от внесения изменений – Н.Х.) и готов к передаче на архивное хранение.

Пакеты для обеспечения сохранности алгоритмов работают иначе. В них доказательная база захватывается в тот период, когда системы активны и эволюционируют – обеспечивая в реальном времени сохранение сведений о поведении, логических обоснованиях и путях принятия решений. Это не просто контейнерный формат; это концептуальная структура документации о жизненном цикле, которая находится по ходу деловых процессов «выше по течению», чем OAIS.

Это можно представить себе следующим образом: SIP- и AIP-пакеты сохраняют объекты, в то время, как пакеты для обеспечения сохранности алгоритмов сохраняют сведения о действиях.

(Продолжение следует, см. http://rusrim.blogspot.com/2026/02/5-2.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-05f