Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 5: Формирование информационного пакета для сохранения алгоритмов (2)

(Продолжение, предыдущую часть см. http://rusrim.blogspot.com/2026/02/5-1.html )

Слой эксплуатации: сохранение сведений о фактическом поведении системы

Если слой проектирования фиксирует намерения, то слой эксплуатации фиксирует реальность. Это доказательный «след» системы в действии. В финансовой сфере - это журнал аудита; в сфере стратегического управления ИИ - это уровень протоколирования событий в терминологии Закона Евросоюза об ИИ. В контексте алгоритмов государственного сектора - это документы о действиях, совершённых автоматизированными системами принятия решений.

Слой эксплуатации включает в себя:

• логи (журналы аудита) входных и выходных данных, а также ключевых промежуточных состояний;
  
  
• действия системы с соответствующими отметками времени,
  
  
• оповещения, аномалии и индикаторы отклонений или дрейфа;
  
  Мой комментарий: В концептуальном стандарте ГОСТ Р 71476-2024 (ИСО/МЭК 22989:2022) «Искусственный интеллект. Концепции и терминология искусственного интеллекта», см. https://protect.gost.ru/document1.aspx?control=31&baseC=6&id=263925 , упоминаются такие понятия, как «дрейф концепции» и «дрейф данных»,  о которых сказано:
  
  
  «При дрейфе данных точность вычисляемых моделью прогнозов со временем снижается из-за изменений в статистических характеристиках эксплуатационных данных (например, может измениться разрешение изображений; или один класс может начать чаще встречаться в данных, чем другой). В этом случае модель необходимо переобучить на новых обучающих данных, которые лучше отражают текущие эксплуатационные данные.
  
  При дрейфе концепции смещается граница принятия решений (например, представление о том, что является законным, а что нет, имеет тенденцию меняться после публикации новых законов), что также снижает точность прогнозов, даже если сами данные не изменились. В случае дрейфа концепции значения целевых переменных в обучающих данных необходимо переразметить, а модель - переобучить.»
  
  
• показатели производительности системы во времени;
  
  
• пути принятия решений и/или «следы» решений, если таковые имеются;
  
  
• данные мониторинга и сведения о вмешательства в рамках надзора и контроля;
  
  
• отчёты об инцидентах;
  
  
• документы о случаях простоя системы и/или снижения её производительности;
  
  
• сведения об обновлениях, проведенных в среде промышленной эксплуатации;
  
  
• сведения о случаях дообучения или перекалибровки.

Именно здесь сведения о поведении машины становятся свидетельствами / доказательствами.

Ключевой особенностью слоя эксплуатации является то, что он должен создаваться автоматически. Люди не могут ретроспективно восстановить то, чего они никогда не наблюдали. Автоматизированные системы должны оставлять свои следы в реальном времени посредством протоколирования в журналах аудита, мониторинга и отслеживания версий.

Мой комментарий: Полное исключение возможности добавления в данный слой документов, созданных людьми (в том числе уже после событий), с моей точки зрения, весьма неразумно. Разве нам не нужны документы, отражающие обратную связь, полученную от пользователей; результаты расследования инцидентов; аналитика поведения показателей производительности и многое другое? Ведь на самом деле нам нужны максимально полные сведения об истории функционирования системы, и без подготовленных «вручную» материалов собранные сведения будут неполными, и их будет куда сложнее интерпретировать.

Именно здесь стратегическое управление пересекается с инженерией. Протоколирование - это не просто техническая возможность, которую полезно иметь, а исполнение прямого требования к сбору свидетельств и доказательств.

Расследования часто начинаются с содержащихся в слое эксплуатации сведений, позволяющих ответить на вопросы, на которые не может дать ответ уровень проектирования:

• Что сделала система?
  
  
• Как система вела себя под давлением?
  
  
• В каких областях система отклонялась от нормы?
  
  
• Кто вмешивался в работу системы?
  
  
• Что изменилось и когда?

Память сохраняется не только в виде самого кода, но и в следах его выполнения.

Контекстуальный слой: сохранение сведений об условиях, в котором функционировала система

Это самый «тонкий» и наиболее часто игнорируемый слой. Системы не работают в изоляции от мира - они функционируют в рамках законодательства, рабочих процессов, инфраструктуры, социальных условий, человеческих интерпретаций и организационной культуры.

Когда что-то идет не так, контекст часто оказывается недостающим звеном.

Контекстуальный слой включает в себя:

• политики организации и её модели стратегического управления,
  
  
• документы о надзоре и контроле, осуществляемом человеком;
  
  
• описания сред развертывания;
  
  
• соответствующие нормативно-правовые рамки и ограничения;
  
  
• специфические отраслевые обязанности и руководства по этике;
  
  
• схемы рабочих процессов и процессы ввода;
  
  
• описания ролей и цепочки подотчётности;
  
  
• деловые правила и политики исключений;
  
  
• документация о затронутых группах населения и/или вариантах использования.

В отсутствие контекста журнал журнала мало что может рассказать. Модель архитектуры не может объяснить, почему были приняты именно такие решения. Для реконструкции необходимо понимания не только системы, но и условий среды, в которой она функционирует.

В терминологии архивного дела всё это называется «сведениями о происхождении» (provenance). На языке регуляторов, это сведения о соответствии требованиям. В сфере стратегического управлении ИИ - это «поверхность воздействия» (impact surface).

Контекстуальный слой придает смысл системе в том, что касается её пользователей, операторов и людей, на которых она оказывает воздействие.

(Окончание следует)

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-05f