Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 3: Закон Евросоюза об ИИ: Слегка закамуфлированный свод требований к документированию и архивированию (2)

(Окончание, предыдущую часть см. https://rusrim.blogspot.com/2026/02/3-1.html )

Обязательное протоколирование и необходимость иметь возможность реконструкции поведения

Наиболее показательные положения Закона содержатся не в разделах, непосредственно посвященных документированию, а статьях о протоколировании (журналировании). Системы ИИ высокого риска должны генерировать журналы аудита (логи), захватывающие достаточно подробностей для целей мониторинга функционирования, выявления аномалий, поддержки постпродажного мониторинга, реконструкции решений и расследования инцидентов.

Это больше, чем просто оперативная телеметрия. Закон рассматривает журналы аудита как инструменты свидетельствования / доказывания. Они должны быть достаточно надёжными, чтобы можно было воссоздать сложное поведение системы постфактум, спустя долгое время после того, как изменились уже лежащие в основе системы ИИ модели и/или произошла замена оборудования.

Журналы аудита становятся «следами» автоматизированных действий. Это те следы, что остаются после принятия и исполнения решений.

То, чего Закон требует на самом деле – это определенная форма воспроизводимости (реконструируемости), а реконструируемость возможна только в случае сохранения документов.

Два требуемых слоя памяти: память поставщиков и внедривших сторон

Ещё одной показательной особенностью является двухслойная структура документации. Поставщики (providers) должны предоставлять внедряющим системы ИИ сторонам (deployers) подробные инструкции по использованию, описывающие ожидаемую точность, ограничения, требования к входным данным, эксплуатационные ограничения и обязанности в плане надзора и контроля. Эта информация должна предоставляться в долговечном формате и обновляться при изменении условий.

У внедряющих системы ИИ сторон есть свои обязанности: сохранять свои журналы аудита, вести надзорную документацию, документировать существенные изменения и поддерживать постпродажный мониторинг.

Согласно Закону об ИИ, обязанности по сохранению памяти разделены между исполнителями этих ролей:

• Поставщики хранят документы о создании системы ИИ,
  
  
• Внедряющие стороны хранят документы об эксплуатации системы ИИ.

Совместно они формируют полный жизненный цикл свидетельств / доказательств.

Более глубокая идея, однако, заключается в следующем: Закон ожидает от организаций проектирования таких сред, в которых системы ИИ создают и поддерживают собственную память в процессе своего функционирования.

Появление слоя публичных метаданных

Одной из более удивительных особенностей Закона об ИИ является требование о создании общедоступной базы данных Евросоюза по системам ИИ высокого риска. Каждая запись в такой базе должна включать в себя следующие сведения:

• поставщик,
  
  
• тип системы,
  
  
• целевое назначение,
  
  
• сведения об оценке соответствия.

Мой комментарий: Создание подобного централизованного реестра, возможно, удивительно для американца, но совершенно естественно для европейцев (включая нас, россиян) – это часть давней европейской традиции государственного управления и поддерживающего его документирования.

Это не что иное, как стратегическое управление посредством метаданных. Сама запись в базе данных становится документом - стабильной «точкой отсчёта», связывающей идентичность системы с её статусом с точки зрения регуляторов. Эта запись содержит не слишком много информации, но достаточно того, чтобы общественность и органы власти, могли находить, классифицировать и вести мониторинг этих систем по всей Европе.

Это своего рода способ каталогизации.

Мониторинг после выхода продукта на рынок и бремя сохранения памяти

Требования Закона к мониторингу после выхода на рынок (постпродажному мониторингу) ещё раз подчёркивают центральную роль документирования. Организации должны выявлять отклонения, аномалии, снижение показателей производительности и инциденты безопасности; они обязаны уведомлять о серьёзных инцидентах в определённые сроки - и они должны иметь достаточно документов для того, чтобы реконструировать ситуацию на момент возникновения проблемы.

Именно здесь Закон об ИИ приобретает ярко выраженный повествовательный характер.

Система ИИ не статична, она эволюционирует и из меняется. Она может взаимодействовать с данными реального мира не предполагавшимся заранее образом. В отсутствие документации и журналов аудита эти изменения невозможно увидеть. Память растворяется в шуме оперативной деятельности, а реконструкция становится невозможной.

Закон настаивает на том, что свидетельства / доказательства прошлых событий должны быть достаточно основательными, чтобы в будущем можно было понять, что именно происходило в прошлом.

Это не что иное, как точка зрения управления документами, «упакованная» внутри нормативно-правовой базы.

Ответственное хранение документов в случае прекращения деятельности поставщиков

Одним из самых поразительных положений является требование о том, чтобы государства-члены Евросоюза принимали на себя ответственное хранение документации в случае прекращения деятельности поставщика. Это признание очень важного аспекта жизненного цикла документов: они могут пережить ту организацию, которая их создала. Исполнение требований законодательства, однако, не может зависеть от выживания [негосударственных – Н.Х.] организаций.

Европа понимает, что необходимые для регуляторов доказательства должны оставаться стабильными, даже если субъекты рынка стабильными не будут.

Это неброское, но глубокое признание роли цепочки ответственного хранения (chain of custody).

Баланс между обеспечением сохранности и минимизацией объёмов и затрат

Ничто не иллюстрирует сложность Закона об ИИ лучше, чем его пересечение с европейским законодательством о защите персональных данных (GDPR). Ведущаяся в сфере ИИ документация часто включает персональные данные, и закон GDPR требует от организаций хранить только то, что необходимо, и соразмерно потребностям. Закон об ИИ, в свою очередь, требует сохранения данных с целью обеспечения воспроизводимости, надзора и контроля.

Организации приходится осторожно искать баланс:

• сохранять достаточно данных для объяснения и расследования,
  
  
• сохранять только необходимые данные,
  
  
• обосновывать выбор сроков хранения,
  
  
• по возможности, использовать анонимизацию или псевдонимизацию.

Этот баланс сам по себе является функцией управления документами. Для его отыскания от организаций требуется четко сформулировать, почему и в течение каких сроков необходимы хранящиеся у них свидетельства / доказательства, а также задокументировать соответствующее обоснование.

Закон также вынуждает организации принимать во внимание этические нормы и право помнить (либо быть забытым).

Более глубокий смысл: Стратегическое управление полагается на документы

Чем внимательнее я изучал положения закона, тем больше убеждался в том, что Закон Евросоюза об ИИ, хотя он формально и не является «архивным» нормативно-правовым актом, однако, несомненно, включает в себя целый свод требований к управлению документами, которые исходят из предположения о том, что для обеспечения ответственного использования ИИ необходима документированная память.

Закон требует:

• Документации, охватывающей жизненный цикл,
  
  
• Параданных,
  
  
• Ведение журнала аудита операций,
  
  
• Наборов инструкций,
  
  
• Осуществления мониторинга поведения систем ИИ,
  
  
• Истории инцидентов,
  
  
• Установления и отслеживания сроков хранения, ответственного хранения,
  
  
• Долговечных свидетельств / доказательств.

Это всё инструменты, посредством которым прозрачность становится реальностью, справедливость - проверяемой, а подотчетность - реализуемой.

Закон не использует нашу терминологию [управления документами и архивного дела – Н.Х.], но применяет нашу логику. Он не говорит на языке архивов, но опирается на наличие документов.

Европа осознала нечто фундаментально важное: Стратегическое управление ИИ невозможно в отсутствие памяти.

На этом заканчивается часть 3. Далее мы переходим к той сфере деятельности, которая осознала эту истину раньше всех: к финансовым рынкам, где реконструкция автоматизированного поведения стала необходимостью задолго до того, как ИИ стал предметом ключевых политик.

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-8f7