(Продолжение, предыдущую часть см. http://rusrim.blogspot.com/2026/02/5-1.html )
Слой эксплуатации: сохранение сведений о фактическом поведении системы
Если слой проектирования фиксирует намерения, то слой эксплуатации фиксирует реальность. Это доказательный «след» системы в действии. В финансовой сфере - это журнал аудита; в сфере стратегического управления ИИ - это уровень протоколирования событий в терминологии Закона Евросоюза об ИИ. В контексте алгоритмов государственного сектора - это документы о действиях, совершённых автоматизированными системами принятия решений.
Слой эксплуатации включает в себя:
- логи (журналы аудита) входных и выходных данных, а также ключевых промежуточных состояний;
- действия системы с соответствующими отметками времени,
- оповещения, аномалии и индикаторы отклонений или дрейфа;
Мой комментарий: В концептуальном стандарте ГОСТ Р 71476-2024 (ИСО/МЭК 22989:2022) «Искусственный интеллект. Концепции и терминология искусственного интеллекта», см. https://protect.gost.ru/document1.aspx?control=31&baseC=6&id=263925 , упоминаются такие понятия, как «дрейф концепции» и «дрейф данных», о которых сказано:«При дрейфе данных точность вычисляемых моделью прогнозов со временем снижается из-за изменений в статистических характеристиках эксплуатационных данных (например, может измениться разрешение изображений; или один класс может начать чаще встречаться в данных, чем другой). В этом случае модель необходимо переобучить на новых обучающих данных, которые лучше отражают текущие эксплуатационные данные.
При дрейфе концепции смещается граница принятия решений (например, представление о том, что является законным, а что нет, имеет тенденцию меняться после публикации новых законов), что также снижает точность прогнозов, даже если сами данные не изменились. В случае дрейфа концепции значения целевых переменных в обучающих данных необходимо переразметить, а модель - переобучить.» - показатели производительности системы во времени;
- пути принятия решений и/или «следы» решений, если таковые имеются;
- данные мониторинга и сведения о вмешательства в рамках надзора и контроля;
- отчёты об инцидентах;
- документы о случаях простоя системы и/или снижения её производительности;
- сведения об обновлениях, проведенных в среде промышленной эксплуатации;
- сведения о случаях дообучения или перекалибровки.
Именно здесь сведения о поведении машины становятся свидетельствами / доказательствами.
Ключевой особенностью слоя эксплуатации является то, что он должен создаваться автоматически. Люди не могут ретроспективно восстановить то, чего они никогда не наблюдали. Автоматизированные системы должны оставлять свои следы в реальном времени посредством протоколирования в журналах аудита, мониторинга и отслеживания версий.
Мой комментарий: Полное исключение возможности добавления в данный слой документов, созданных людьми (в том числе уже после событий), с моей точки зрения, весьма неразумно. Разве нам не нужны документы, отражающие обратную связь, полученную от пользователей; результаты расследования инцидентов; аналитика поведения показателей производительности и многое другое? Ведь на самом деле нам нужны максимально полные сведения об истории функционирования системы, и без подготовленных «вручную» материалов собранные сведения будут неполными, и их будет куда сложнее интерпретировать.
Именно здесь стратегическое управление пересекается с инженерией. Протоколирование - это не просто техническая возможность, которую полезно иметь, а исполнение прямого требования к сбору свидетельств и доказательств.
Расследования часто начинаются с содержащихся в слое эксплуатации сведений, позволяющих ответить на вопросы, на которые не может дать ответ уровень проектирования:
- Что сделала система?
- Как система вела себя под давлением?
- В каких областях система отклонялась от нормы?
- Кто вмешивался в работу системы?
- Что изменилось и когда?
Память сохраняется не только в виде самого кода, но и в следах его выполнения.
Контекстуальный слой: сохранение сведений об условиях, в котором функционировала система
Это самый «тонкий» и наиболее часто игнорируемый слой. Системы не работают в изоляции от мира - они функционируют в рамках законодательства, рабочих процессов, инфраструктуры, социальных условий, человеческих интерпретаций и организационной культуры.
Когда что-то идет не так, контекст часто оказывается недостающим звеном.
Контекстуальный слой включает в себя:
- политики организации и её модели стратегического управления,
- документы о надзоре и контроле, осуществляемом человеком;
- описания сред развертывания;
- соответствующие нормативно-правовые рамки и ограничения;
- специфические отраслевые обязанности и руководства по этике;
- схемы рабочих процессов и процессы ввода;
- описания ролей и цепочки подотчётности;
- деловые правила и политики исключений;
- документация о затронутых группах населения и/или вариантах использования.
В отсутствие контекста журнал журнала мало что может рассказать. Модель архитектуры не может объяснить, почему были приняты именно такие решения. Для реконструкции необходимо понимания не только системы, но и условий среды, в которой она функционирует.
В терминологии архивного дела всё это называется «сведениями о происхождении» (provenance). На языке регуляторов, это сведения о соответствии требованиям. В сфере стратегического управлении ИИ - это «поверхность воздействия» (impact surface).
Контекстуальный слой придает смысл системе в том, что касается её пользователей, операторов и людей, на которых она оказывает воздействие.
(Окончание следует)
Эндрю Поттер (Andrew Potter)
Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-05f





