Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 5: Формирование информационного пакета для сохранения алгоритмов (3)

(Окончание, предыдущую часть см. http://rusrim.blogspot.com/2026/02/5-2.html )

Почему все эти слои необходимо сохранять вместе

Сохранение сведений о разработке и проектировании системы в отсутствие сведений об истории её эксплуатации порождает мифологию намерений, а не доказательства реального поведения.

Сохранение созданных в процессе эксплуатации журналов аудита в отсутствие проектно-конструкторской документации приводит к ненадёжным интерпретациям, поскольку пропадают сведения о логике, положенной в основу поведения системы.

Сохранение и того, и другого в отсутствие контекста приводит к неправильным толкованиям, поскольку система отрывается от своей среды эксплуатации.

Для обеспечения подотчётности требуется взаимодействия всех трёх слоёв.

Вот почему недостаточно одного лишь журнала аудита, недостаточно одного лишь протоколирования работы системы ИИ, недостаточно одних лишь уведомлений о прозрачности. Если нет всех трёх слоев, то доказательная база рушится.

При решении задачи обеспечения долговременной сохранности речь идёт не об отдельном артефакте, а о целой структуре памяти.

Онтология «пакета для обеспечения сохранности алгоритмов»

Насколько мы уже близки к подобной архитектуре?

Примечательно, что во многих секторах отдельные элементы подобного пакета для обеспечения сохранности алгоритмов уже реализованы.

• В финансовой сфере доведен до совершенства слой эксплуатации, а также имеются фрагменты слоя проектирования.
  
  
• В сфере стратегического управления ИИ начался процесс формализации посредством установления требований к документации и ведению журналов аудита.
  
  
• В рамках автоматизации государственного сектора постепенно создаются контекстуальные слои посредством проведения оценки воздействия и надзорных механизмов.
  
  
• В рамках исследований в области обеспечения долговременной сохранности электронных материалов (digital preservation) начинают разрабатываться методологии обеспечения сохранности сведений о средах эксплуатации, поведении моделей и алгоритмических процессах.
  
  
• Сообщества специалистов по обеспечению долговременной сохранности программного обеспечения уже давно экспериментируют с контейнеризацией (инкапсуляцией), эмуляцией и отслеживанием зависимостей.

Архитектура формируется по частям, и если чего не хватает, так это интеграции.

Для обеспечения сохранности алгоритмов требуется рассматривать эти части как компоненты единого целого, а не как изолированные обязательства по исполнению законодательно-нормативных и иных установленных требований.

Ценность предлагаемого подхода для специалистов по управлению документами

Именно здесь данная серия постов начинает представлять интерес для нашей отраслевой практики.

Специалисты по управлению документами уже знают, как оценивать сроки хранения, происхождение, аутентичность, метаданные и документацию жизненного цикла. Обеспечение сохранности алгоритмов - это не отход от нашей деятельности, а её продолжение.

Идея «пакета для обеспечения сохранности алгоритмов» органично согласовывается с существующими принципами управления документами и информацией:

• Слой проектирования → создание и захват (capture)
  
  
• Слой эксплуатации → управление документами на стадии их активного использования, и сохранение свидетельств / доказательств действий
  
  
• Контекстуальный слой → происхождение, политики и среда использования

Разница здесь заключается в масштабе. Автоматизированные системы многократно увеличивают скорость генерирования, сложность и взаимозависимость документов. Они требуют целенаправленного проектирования с тем, чтобы нужные свидетельства / доказательства создавались в нужные моменты времени.

Управление документами становится в большей степени архитектурной дисциплиной, а не реагированием после того, как события уже произошли.

Содержание последующих постов серии

В данном посте представлена архитектура. В последующих частях будет рассматривается вопрос о том, как обеспечить стратегическое управление этой архитектурой.

В части 6 будут рассматриваться экспертиза ценности, деловая отдача и управление сроками хранения в мире, где автоматизированные системы генерируют непрерывные потоки свидетельств и доказательств. 

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-05f 

Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 5: Формирование информационного пакета для сохранения алгоритмов (2)

(Продолжение, предыдущую часть см. http://rusrim.blogspot.com/2026/02/5-1.html )

Слой эксплуатации: сохранение сведений о фактическом поведении системы

Если слой проектирования фиксирует намерения, то слой эксплуатации фиксирует реальность. Это доказательный «след» системы в действии. В финансовой сфере - это журнал аудита; в сфере стратегического управления ИИ - это уровень протоколирования событий в терминологии Закона Евросоюза об ИИ. В контексте алгоритмов государственного сектора - это документы о действиях, совершённых автоматизированными системами принятия решений.

Слой эксплуатации включает в себя:

• логи (журналы аудита) входных и выходных данных, а также ключевых промежуточных состояний;
  
  
• действия системы с соответствующими отметками времени,
  
  
• оповещения, аномалии и индикаторы отклонений или дрейфа;
  
  Мой комментарий: В концептуальном стандарте ГОСТ Р 71476-2024 (ИСО/МЭК 22989:2022) «Искусственный интеллект. Концепции и терминология искусственного интеллекта», см. https://protect.gost.ru/document1.aspx?control=31&baseC=6&id=263925 , упоминаются такие понятия, как «дрейф концепции» и «дрейф данных»,  о которых сказано:
  
  
  «При дрейфе данных точность вычисляемых моделью прогнозов со временем снижается из-за изменений в статистических характеристиках эксплуатационных данных (например, может измениться разрешение изображений; или один класс может начать чаще встречаться в данных, чем другой). В этом случае модель необходимо переобучить на новых обучающих данных, которые лучше отражают текущие эксплуатационные данные.
  
  При дрейфе концепции смещается граница принятия решений (например, представление о том, что является законным, а что нет, имеет тенденцию меняться после публикации новых законов), что также снижает точность прогнозов, даже если сами данные не изменились. В случае дрейфа концепции значения целевых переменных в обучающих данных необходимо переразметить, а модель - переобучить.»
  
  
• показатели производительности системы во времени;
  
  
• пути принятия решений и/или «следы» решений, если таковые имеются;
  
  
• данные мониторинга и сведения о вмешательства в рамках надзора и контроля;
  
  
• отчёты об инцидентах;
  
  
• документы о случаях простоя системы и/или снижения её производительности;
  
  
• сведения об обновлениях, проведенных в среде промышленной эксплуатации;
  
  
• сведения о случаях дообучения или перекалибровки.

Именно здесь сведения о поведении машины становятся свидетельствами / доказательствами.

Ключевой особенностью слоя эксплуатации является то, что он должен создаваться автоматически. Люди не могут ретроспективно восстановить то, чего они никогда не наблюдали. Автоматизированные системы должны оставлять свои следы в реальном времени посредством протоколирования в журналах аудита, мониторинга и отслеживания версий.

Мой комментарий: Полное исключение возможности добавления в данный слой документов, созданных людьми (в том числе уже после событий), с моей точки зрения, весьма неразумно. Разве нам не нужны документы, отражающие обратную связь, полученную от пользователей; результаты расследования инцидентов; аналитика поведения показателей производительности и многое другое? Ведь на самом деле нам нужны максимально полные сведения об истории функционирования системы, и без подготовленных «вручную» материалов собранные сведения будут неполными, и их будет куда сложнее интерпретировать.

Именно здесь стратегическое управление пересекается с инженерией. Протоколирование - это не просто техническая возможность, которую полезно иметь, а исполнение прямого требования к сбору свидетельств и доказательств.

Расследования часто начинаются с содержащихся в слое эксплуатации сведений, позволяющих ответить на вопросы, на которые не может дать ответ уровень проектирования:

• Что сделала система?
  
  
• Как система вела себя под давлением?
  
  
• В каких областях система отклонялась от нормы?
  
  
• Кто вмешивался в работу системы?
  
  
• Что изменилось и когда?

Память сохраняется не только в виде самого кода, но и в следах его выполнения.

Контекстуальный слой: сохранение сведений об условиях, в котором функционировала система

Это самый «тонкий» и наиболее часто игнорируемый слой. Системы не работают в изоляции от мира - они функционируют в рамках законодательства, рабочих процессов, инфраструктуры, социальных условий, человеческих интерпретаций и организационной культуры.

Когда что-то идет не так, контекст часто оказывается недостающим звеном.

Контекстуальный слой включает в себя:

• политики организации и её модели стратегического управления,
  
  
• документы о надзоре и контроле, осуществляемом человеком;
  
  
• описания сред развертывания;
  
  
• соответствующие нормативно-правовые рамки и ограничения;
  
  
• специфические отраслевые обязанности и руководства по этике;
  
  
• схемы рабочих процессов и процессы ввода;
  
  
• описания ролей и цепочки подотчётности;
  
  
• деловые правила и политики исключений;
  
  
• документация о затронутых группах населения и/или вариантах использования.

В отсутствие контекста журнал журнала мало что может рассказать. Модель архитектуры не может объяснить, почему были приняты именно такие решения. Для реконструкции необходимо понимания не только системы, но и условий среды, в которой она функционирует.

В терминологии архивного дела всё это называется «сведениями о происхождении» (provenance). На языке регуляторов, это сведения о соответствии требованиям. В сфере стратегического управлении ИИ - это «поверхность воздействия» (impact surface).

Контекстуальный слой придает смысл системе в том, что касается её пользователей, операторов и людей, на которых она оказывает воздействие.

(Окончание следует, см. http://rusrim.blogspot.com/2026/02/5-3.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-05f 

Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 5: Формирование информационного пакета для сохранения алгоритмов (1)

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 11 декабря 2025 года в социальной сети Substack.

От фрагментов памяти к целостной архитектуре стратегического управления автоматизированными системами

К тому моменту, когда я дошёл до этой части серии постов, начала вырисовываться чёткая сквозная линия. Везде - в политике в области ИИ, в регулировании рынка, в автоматизации государственного сектора и исследованиях в области цифрового наследия - постоянно встаёт одна и та же нерешённая проблема. Поэтому у меня есть такое умеренно-амбициозное предложение: если уж мы намереваемся использовать наши системы, то мы должны по крайней мере определить, какие доказательства должны быть сохранены, чтобы эти действия оставались понятными.

Мы часто говорим о прозрачности и подотчётности как о каких-то абстрактных добродетелях, но на практике они опираются на нечто очень конкретное, а именно, на выживание нужных документов - не всех документов, не идеального архива, а просто того количества адекватных свидетельств и доказательств, которых будет достаточно для реконструирования того, как вела себя система и почему.

Осознание этого подтолкнуло меня к идее о том, что я называю «пакетом для обеспечения сохранности алгоритмов» (algorithm preservation package). Это не юридический термин и не техническая концепция (по крайней мере, пока что), а способ описания ключевых компонентов памяти, необходимых современным автоматизированным системам, если мы хотим осуществлять стратегическое управление ими, проводить их аудит и доверять им во времени.

Данный пакет включает три слоя:

• слой сведений о разработке и проектировании (далее «слой проектирования» - design layer);
  
  
• слой сведений об эксплуатации (далее «слой эксплуатации» - operational layer);
  
  
• слой сведений о контексте (далее «контекстуальный слой» - contextual layer).

Каждый слой сохраняет различные аспекты поведения машины. Совместно они создают «след» системы, достаточно жизнеспособный, чтобы пережить сбои, расследования и аудиты по мере течения времени.

Это не какая-то схема, а фундамент.

Слой проектирования: Сохранение истории того, как создавалась система

Это слой, который большинство коллег упускает из виду. Мы часто относимся к системам ИИ так, словно они родились на свет уже готовыми. Однако у каждой системы есть история развития. Принимались решения о выборе вариантов, были выбраны модели, сформированы данные и настроены параметры. Были приняты или проигнорированы риски. Появились многочисленные версии. Группы специалистов вели дебаты и иногда шли на компромиссы.

Всё это становится невидимым, как только система запускается в эксплуатацию, и слой проектирования призван сохранить данные сведения.

Слой проектирования включает в себя:

• описание назначения и предполагаемого использования системы,
  
  
• архитектуру модели и её обоснование,
  
  
• сведения о стратегическом управление обучающими данными и критерии их отбора,
  
  
• решения в отношении предварительной обработки данных,
  
  
• результаты тестирования и валидации,
  
  
• ожидания в отношении показателей производительности и соответствующие ограничения, 
  
  
• результаты оценок риска и выбранные варианты смягчения рисков,
  
  
• историю управления изменениями,
  
  
• «снимки» конфигурации,
  
  
• заметки разработчиков и документы о принятых ими решениях,
  
  
• документацию по оценке этичности и справедливости.

Именно здесь основная «нагрузка» ложится на сведения, который Патриция Фрэнкс (Pat Franks) относит к «параданным» (paradata). Параданные документирует действия, которые сформировали систему: решения, преобразования, калибровки, уточнения и компромиссы, которые привели к созданию конечного артефакта.

Одной частью этого слоя является официальная инженерная документация. Другая часть спрятана в электронных письмах, средствах отслеживания проблем (issue trackers), репозиториях программного обеспечения, журналах тестирования, карточках моделей и внутренних служебных записках. Без должного внимания к нему слой проектирования может испариться, оставляя позади систему, которая функционирует, но которую невозможно понять.

Это урок, следующий как из архивной теории, так и из практики регулирования рынка. Невозможно воссоздать действие, если отсутствуют свидетельства приведших к нему обстоятельств.

Сопоставление «пакета для обеспечения сохранности алгоритмов» со сдаточным информационным SIP-пакетом и архивным информационным AIP-пакетом в концепции открытой архивной информационной системы (OAIS)

Не нужно путать «пакеты для обеспечения сохранности алгоритмов» с традиционными контейнерами (информационными пакетами) в концепции открытой архивной информационной системы (OAIS). В сдаточные (SIP) и архивные (AIP) информационные пакеты упаковывают стабильные цифровые объекты для передачи и хранения – при этом предполагается, что объект уже зафиксирован (защищен от внесения изменений – Н.Х.) и готов к передаче на архивное хранение.

Пакеты для обеспечения сохранности алгоритмов работают иначе. В них доказательная база захватывается в тот период, когда системы активны и эволюционируют – обеспечивая в реальном времени сохранение сведений о поведении, логических обоснованиях и путях принятия решений. Это не просто контейнерный формат; это концептуальная структура документации о жизненном цикле, которая находится по ходу деловых процессов «выше по течению», чем OAIS.

Это можно представить себе следующим образом: SIP- и AIP-пакеты сохраняют объекты, в то время, как пакеты для обеспечения сохранности алгоритмов сохраняют сведения о действиях.

(Продолжение следует, см. http://rusrim.blogspot.com/2026/02/5-2.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-05f 

Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 4: Рынки, память и машинная логика (3)

(Продолжение, предыдущую часть см. https://rusrim.blogspot.com/2026/02/4-2.html ) 

Реконструкция инцидента как метод расследования

Когда на финансовых рынках что-то идёт не так, следователи начинают со сбора свидетельств и доказательств. Они собирают:

• Журналы аудита оперативной деятельности,
  
  
• Отметки времени, с точностью до миллисекунды,
  
  
• Книги заявок / распоряжений,
  
  
• Переписку,
  
  
• Конфигурационные файлы,
  
  
• Проектную документацию,
  
  
• Решения в рамках управления изменениями.

Далее они восстанавливают последовательность событий -  перемещаются назад во времени и воссоздают состояние системы до, во время и после аномалии.

Данный процесс выглядит практически идентичным реконструкции исторических событий по архивным документам – и это не метафора, а подход.

Системы для ведения торгов не рассказывают свои истории. Об истории их функционирования говорят свидетельства / доказательства. Вот почему так важны журналы аудита, это не техническая телеметрия. Ну а надзор - необходимое условие выживания.

Почему финансовые рынки раньше осознали проблему

Рынки почувствовали хрупкость автоматизации задолго до того, как это сделало сообщество специалистов по ИИ. Самым известным примером является «Мгновенный крах» (Flash Crash) 2010 года (резкое падение американского рынка акций 6 мая 2010 года, спровоцированное проведением мнимых сделок со срочными биржевыми контрактами путем выставления и молниеносного снятия 19 тысяч заявок на покупку и продажу ценных бумаг объемом до $200 млн с помощью программ высокочастотной торговли. Злоумышленник был изобличён лишь через 5 лет – Н.Х.), но было и бесчисленное множество других, менее значительных инцидентов, в которых автоматизированные стратегии неожиданно делали ситуацию неконтролируемой контроля, или же взаимодействие между системами приводило к непредвиденным последствиям.

Говоря о ранних сбоях на автоматизированных рынках, люди часто высказываются абстрактно. Однако 6 мая 2010 года наступил момент, привлёкший к данной проблеме внимание всего мира – это был так называемый «мгновенный крах». В течение нескольких минут фондовые рынки США пережили ошеломляюще резкое падение, потеряв почти 1 триллион долларов рыночной стоимости, после чего практически мгновенно восстановились. Одни однотипные сделки заключались на сумму в один цент, другие - на 100 тысяч долларов. Рыночные данные рассинхронизировались. Книги заявок опустошались, а затем снова наполнялись с поразительной скоростью.

Человек не смог бы отследить в режиме реального времени ни один из аспектов происходящего. Впоследствии регуляторы потратили месяцы на реконструкцию инцидента на основе совокупности журналов аудита торгов, данных о событиях, связанных с заявками, системных отметок времени и документов о разработке задействованных торговых стратегий. Именно эта работа по реконструкции выявила основную проблему: автоматизированные системы взаимодействовали неожиданным образом, что привело к перерастанию крупного заказа на продажу в каскадный системный сбой.

«Мгновенный крах» кое-что прояснил задолго до того, как ИИ вошел в число основных тем дискуссий по вопросам политик. Сложные автоматизированные системы способны дестабилизировать целые сектора экономики за считанные секунды, и единственный способ понять, что произошло, - это проследить цепочку свидетельств о действиях системы. Финансовые рынки на собственном горьком опыте убедились, что подотчетность невозможна без документов, достаточно подробных для воссоздания момента краха.

Не случайно многие современные правила в отношении журналов аудита и алгоритмического надзора были ужесточены после 2010 года. Это событие продемонстрировало ограниченность осуществляемого человеком надзора в режиме реального времени и сделало реконструируемость непреложным требованием в отношении надзора и контроля над поведением автоматических систем.

Регуляторы пришли к простому и глубокому выводу:

• Системы быстрее людей,
  
  
• Люди могут быть не в состоянии вмешаться в режиме реального времени,
  
  
• Мероприятия контроля и надзора после события невозможен в отсутствии памяти,
  
  
• Документальный «след» является единственным способом, обеспечивающим возможность понять действия автоматизированных систем.

Как только осознаётся этот факт, всё остальное приходит само собой. Если на финансовом рынке правят алгоритмы, то рынок управляется благодаря документам, свидетельствующим о поведении алгоритмов.

Таким образом, финансовая отрасль занималась на практике обеспечением сохранности алгоритмов за десятилетия до того, как появился соответствующий термин.

Возвращаясь к современному стратегическому управлению искусственным интеллектом

Если сопоставить финансовое регулирование с Законом Евросоюза об ИИ, то параллели очевидны:

• На финансовых рынках требуется документация о жизненном цикле. Закон об ИИ требует документации о жизненном цикле.
  
  
• На финансовых рынках требуются журналы аудита. Закон об ИИ требует протоколирования в журналах аудита, достаточно для реконструкции решений.
  
  
• На финансовых рынках требуются история версий и журналы изменений. Закон об ИИ требует управления версиями и свидетельств изменений.
  
  
• На финансовых рынках требуется сохранение данных, достаточных для обеспечения исполнения законодательно-нормативных требований. Закон об ИИ требует сохранение данных, достаточных для обеспечения надзора и контроля.
  
  
• На финансовых рынках требуется обеспечить возможность воссоздания автоматизированного поведения. Закон об ИИ требует обеспечить возможность реконструкции действий системы.

Эти два режима [нормативно-правового регулирования – Н.Х.] эволюционировали независимо друг от друга, но их объединяет одна и та же ключевая идея: стратегическое управление опирается на свидетельства / доказательства.

Финансовые рынки пришли к этому первыми, потому что имевшие там место сбои были мгновенными и измеримыми. ИИ только сейчас достигает подобного уровня интеграции в общество, и регулирующие органы начинают понимать ту же истину: подотчетность невозможна без памяти.

Сдвиг в серии постов: От осознания проблемы к архитектуре

В 4-й части серия постов переходит от осознания проблемы к пониманию её архитектуры её решений. Финансовый сектор показывает, как может выглядеть обеспечение сохранности алгоритмов при реализации в оперативной деятельности. В ней представлена самая ясная и понятная из существующих моделей сохранения доказательной базы (evidential recordkeeping) для автоматизированных систем.

Отсюда становятся понятными дальнейшие шаги:

• В 5-й части будут описаны компоненты «пакета» для обеспечения сохранности алгоритмов (algorithm preservation package);
  
  
• В 6-й части будут рассмотрены экспертиза ценности, виды ценности, установление и отслеживание сроков хранения;
  
  
• В 7-й части речь пойдёт о том, что означает проектирование систем с функцией сохранения памяти по умолчанию.

Финансовые рынки показывают нам конечное состояние: мир, в котором автоматизированные системы управляемы, поскольку обеспечивается сохранение их памяти.

В следующем посте мы переходим к вопросу о том, как построить аналогичную архитектуру для других ситуаций.

(Продолжение следует, см. http://rusrim.blogspot.com/2026/02/5-1.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-874 

Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 4: Рынки, память и машинная логика (2)

(Продолжение, предыдущую часть см. https://rusrim.blogspot.com/2026/02/4-1.html )

Журналы аудита как архитектура для создания и сохранения доказательств

Если в других секторах экономики термин «журнал аудита» (audit trail) используется довольно вольно, то в финансовой сфере он имеет точное значение. Именно архитектура для создания и сохранения доказательств (evidential architecture) обеспечивает регуляторам возможность точно реконструировать действия системы.

На практике это означает:

• Каждое связанное с торговым распоряжением событие должно документироваться / протоколироваться,
  
  
• Каждое изменение должно отслеживаться,
  
  
• Каждое исполнение должно быть связано с его первоисточником,
  
  
• Каждое действие системы должно быть запротоколировано,
  
  
• Каждое изменение в логике алгоритмов должно быть задокументировано,
  
  
• Все отметки времени должна быть синхронизированы [с эталонным временем – Н.Х.] в рамках экосистемы.

Это не вопрос удобства, а фундамент целостности рынка. Без журналов аудита регулирующие органы не могут определить, что представляла собой аномалия – разовый сбой, результат ошибочной стратегии или же результат преднамеренной манипуляции.

Именно поэтому возможность реконструкция истории торгов стала самостоятельным формальным понятием. В 2016 году в Соединенных Штатах Комиссией по торговле товарными фьючерсами (Commodity Futures Trading Commission, CFTC) был предложен проект нормативного акта «Регулирование автоматизированной торговли» (Regulation Automated Trading, Reg AT, см. https://www.federalregister.gov/documents/2016/11/25/2016-27250/regulation-automated-trading ), который прямо потребовал от занимающихся алгоритмической торговлей компаний вести документацию о разработке и тестировании, журналы изменений и дела по контролю и управлению рисками. Несмотря на то, что правила Reg AT так и не вступили в силу в полной мере (В 2020 году CFTC отозвала проект Reg AT и заменила его новым предложением под названием «Принципы оценки рисков электронной торговли» (Electronic Trading Risk Principles) – Н.Х.), его основные идеи закрепились в практике деятельности рынков и перешли в более поздние рекомендации регулирующих органов. Логика документирования сохранилась, пусть даже сами правила Reg AT так и не были утверждены.

Именно посредством журналов аудита обеспечение сохранности алгоритмов постепенно становится нормой.

Мой комментарий: Журналы аудита всё-таки больше ориентированы на документирование результатов работы алгоритмов, а не на обеспечение сохранности самих алгоритмов – если только не причислять к числу журналов аудита документацию, отражающую разработку, тестирование, внедрение, мониторин и обновление алгоритмов.

Досье разработчика и след оперативной деятельности

Одна из наиболее очевидных параллелей между финансовым регулированием и Законом Евросоюза об искусственном интеллекте (ИИ) заключается в том, как они проводят грань между проектной документацией и свидетельствами оперативной деятельности (эксплуатации). В финансовом секторе этот слой проектно-конструкторской документации не всегда представлен в виде формального, унифицированного «досье разработчика» (developer file). Тем не менее, регуляторы уже давно ожидают от занимающихся автоматизированной или алгоритмической торговлей компаний ведения документации о разработке и тестировании. В различных юрисдикциях сюда входят:

• документация по архитектуре алгоритма и его целевому поведению,
  
  
• описания стратегии, логики и механизмов контроля и управления рисками,
  
  
• материалы тестирования и документы о валидации системы,
  
  
• оценки поведения и производительности моделей и потенциальных точек отказа,
  
  
• настройки конфигурации и параметры развертывания,
  
  
• документацию по контролю над изменениями,
  
  
• история версий и свидетельства / доказательства обновления программного обеспечения.

Эти материалы обычно не собраны в рамках единой обязательной структуры, а рассеяны по требованиям к ведению документации, по руководствам надзорных органов и ожиданиям в отношении контроля рисков. В совокупности, однако, они образуют доказательную базу, относящуюся к процессу разработки. Это повествование о том, как алгоритм возник и эволюционировал, зафиксированное в документации, которую регулирующие органы могут запросить, когда им необходимо понять, почему система вела себя определенным образом.

В то же время, системы, работающие в режиме промышленной эксплуатации, создают свой собственный доказательный слой: след оперативной деятельности, который включает в себя журналы аудита, отметки времени, события подачи и исполнения заявок, и «флаги» присутствия аномалий.

Совместно эти два слоя дают возможность регулирующим органам реконструировать как намерения разработчиков алгоритма, так и результаты его работы. Закон Евросоюза об ИИ отражает это разделение посредством разделения субъектов на поставщиков (providers) и внедряющие стороны (deployers). В финансовом регулировании это выражается через понятия «разработчики систем» (system developers) и «инфраструктура для реальной торговли» (live trading infrastructure).

Архитектура та же, лишь названия разные.

(Продолжение следует, см. https://rusrim.blogspot.com/2026/02/4-3.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-874 

Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 4: Рынки, память и машинная логика (1)

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 1 декабря 2025 года в социальной сети Substack.

Как финансовые регуляторы решили проблему реконструкции истории событий задолго до появления ИИ

(Продолжение, предыдущую часть см. https://rusrim.blogspot.com/2026/02/3-2.html )

Когда меня спрашивают, откуда приходит практика обеспечения сохранности алгоритмов, я указываю не на информатику и не лаборатории ИИ, а на финансовый сектор.

Задолго до того, как стратегическое управление ИИ стало приоритетом политик, финансовые регуляторы уже сталкивались с последствиями автоматизированного принятия решений, к тому же на скоростях, далеко превосходящих человеческое понимание. Финансовые рынки быстро осознали, что как только машины начинают формировать результаты, надзор рушится, если не будет обеспечена возможность воспроизвести (реконструировать) то, что сделала машина. Не оценить, не сделать какую-то аппроксимацию – а воспроизвести.

Именно здесь идея воспроизводимости (реконструируемости) впервые перешла из теории в практику деятельности регуляторов.

Финансовые рынки первыми усвоили урок

У финансовых рынков всегда была аллергия на непрозрачность, и появление автоматизированной торговли только усугубило ситуацию. К началу 2000-х годов регуляторы увидели, что ведущие торги компании создают системы, способные выполнять тысячи действий в секунду, и что ни одна состоящая из людей группа наблюдения не сможет справиться с ними в отсутствие документальной основы, фиксирующей историю поведения системы.

Решение заключалось не в том, чтобы замедлить деятельность финансовых рынков. А в том, чтобы заставить эти рынки запоминать историю своей деятельности.

Одним из первых шагов стала Система журнала аудита торговых распоряжений / поручений (Order Audit Trail System, OATS) Управления по регулированию финансовой индустрии (Financial Industry Regulatory Authority, FINRA, http://finra.org - американская саморегулируемая организация, регулирующая деятельность торгующих ценными бумагами фирм – Н.Х.). FINRA потребовала от компаний уведомлять через систему OATS о каждом событии, связанном с распоряжением, с точными отметками времени, с тем, чтобы регуляторы могли восстановить весь жизненный цикл сделки. Когда впоследствии система OATS была заменена на систему «Консолидированный журнал аудита» (Consolidated Audit Trail, CAT), общая идея осталась прежней, но её реализация значительно расширилась: регуляторам требовался единый, кросс-рыночный доказательный «след», достаточно надежный для поддержки наблюдения, обеспечения исполнения законодательно-нормативных требований и для ретроспективной реконструкции истории событий.

Евросоюз тем временем выработал собственный подход, нашедший отражение в Директиве MiFID II.

Мой комментарий: MiFID II – это Директива 2014/65/ЕС Европейского парламента и Совета от 15 мая 2014 года о рынках финансовых инструментов (Directive 2014/65/EU of the European Parliament and of the Council of 15 May 2014 on markets in financial instruments amending Directive 2002/92/EC and Directive 2011/61/EU), https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A02014L0065-20250117 

Теперь компании обязаны снабжать связанные с распоряжениями события отметками времени с точностью до миллисекунды, следуя при этом строгим правилам синхронизации часов. Это делается не потому, что регуляторы ценят точность как таковую, а потому, что реконструкция поведения на рынке зависит от достоверности времени.

Стоит раз обратить на это внимание, и закономерности станут очевидными. Финансовые рынки стали одной из первых областей, где сохранение памяти стала обязательным требованием регулятора.

Мой комментарий: Вообще-то во все времена абсолютно все регуляторы требовали «сохранения памяти» в виде разнообразных документов и документированной информации – вся их надзорно-контрольная деятельность опирается именно на них. Новым на финансовых рынках стало лишь приспособление регуляторов к особенностям сначала электронной торговли, а впоследствии – высокоскоростной электронной торговли.

(Продолжение следует, см. https://rusrim.blogspot.com/2026/02/4-2.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-874 

Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 2: Регуляторы создают архивы, не говоря об этом вслух (2)

(Продолжение, предыдущую часть см. http://rusrim.blogspot.com/2026/01/2-1.html )

Глобальные закономерности: разные юрисдикции, одинаковые ожидания

Больше всего бросается в глаза то, насколько согласованными стали ожидания регуляторов в условиях очень разных правовых и административных культур.

В Евросоюзе Закон об искусственном интеллекте требует:

• обеспечения прослеживаемости на протяжении всего жизненного цикла,
  
  
• наличия всесторонней технической документации,
  
  
• наличия проектных решений и описаний обучающих данных,
  
  
• сохранения истории оценки рисков,
  
  
• сохранения журналов аудита для целей контроля и надзора,
  
  
• воспроизводимости результатов в течение длительного времени после развёртывания системы ИИ.

Это не что иное, как требования к обеспечению долговременной сохранности информации и документов, вне зависимости от используемой терминологии.

В Великобритании в руководящих указаниях подчеркивается необходимость обеспечить:

• объяснимость,
  
  
• права на оспаривание,
  
  
• знание происхождения системы,
  
  
• достаточную для поддержки проведения аудита документацию.

Всё это предполагает сохранение доказательств.

В США, где нет единого закона об ИИ, федеральные органы власти, тем не менее, требуют:

• обеспечивающие прозрачность документы,
  
  
• подробную документацию на модели,
  
  
• происхождение данных,
  
  
• сохранённые результаты тестирования и оценок,
  
  
• доступные для расследований журналы аудита. 

Используется разная терминология, однако при этом речь идёт об одних и тех же функциональных возможностях: для стратегического управления необходимы свидетельства / доказательства, наличие которых требует усилий по обеспечению долговременной сохранности.

Во всех юрисдикциях наблюдается очевидная закономерность: признание того, что невозможно осуществлять стратегическое управление автоматизированным принятием решений, если память о соответствующих решениях исчезает.

Невысказанная истина, лежащая в основе сегодняшней политики в области ИИ

Есть такой аспект, который ни один из этих нормативно-правовых актов не декларирует явно, но на который каждый из них опирается: подотчётность становится невозможной, если исчезают доказательства.

Регуляторы, возможно, и не используют архивный язык, но они ожидают «архивных» результатов, таких, как сохранение:

• журналов аудита,
  
  
• истории версий,
  
  
• параметров,
  
  
• документов о происхождении,
  
  
• документацию,
  
  
• дел о рисках,
  
  
• соответствующих утверждающих решений в контексте,
  
  
• «следов» деятельности по стратегическому управлению.

По сути, регуляторы призывают к созданию архивной инфраструктуры. Они создают архивы, просто не говорят об этом вслух.

Важность этой части для остальных постов серии

• Часть 2 - это фундамент, на котором строится остальная часть серии.
  
  
• В части 3 будет показано, как Закон Евросоюза об искусственном интеллекте (ИИ) устанавливает обязательные требования к архивированию.
  
  
• В части 4 объясняется, как финансовые рынки приняли на вооружение идею о воспроизводимости (реконструируемости) задолго до всех остальных.
  
  
• В части 5 рассматриваются компоненты доказательств, которые делают реконструкцию возможной.
  
  
• В части 6 экспертиза ценности позиционируется как «этический центр» работы.
  
  
• В части 7 объясняется, почему системы должны быть спроектированы так, чтобы помнить.

Но всё последующее зависит от этой центральной идеи: автоматизированный мир требует обеспечения сохранности свидетельств / доказательств.

Регуляторы знают это, пусть даже они пока ещё не научились выговаривать слово «архив».

(Продолжение следует, см. https://rusrim.blogspot.com/2026/02/3-1.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-f55 

Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 2: Регуляторы создают архивы, не говоря об этом вслух (1)

(Продолжение, начало см. http://rusrim.blogspot.com/2026/01/1_0676961989.html )

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 23 ноября 2025 года в социальной сети Substack.

О том, как глобальные дискуссии о политиках вращаются вокруг «архивных» понятий и концепций.

Поразительно наблюдать, как регулирующие органы пытаются описать алгоритмическую подотчётность, не используя «архивный» язык. Они знают, чего хотят, и понимают, чего не хватает. Они знают, какие пробелы им необходимо ликвидировать. Однако терминология, которую они используют, совсем не та, что терминология в сфере архивного дела и управления документами. Вместо термина «документы» (records) используется понятие «документация» (documentation); вместо «доказательств» (evidence) - «прослеживаемость» (traceability); «происхождения» (provenance) – иное англоязычное понятие, хотя и с тем же смыслом (lineage). Вместо «архивной ценности» (archival value) говорят о «правах на оспаривание» (rights of contestation). Регуляторы движутся к сути вопроса, используя иную «карту», и определяя контуры местности - пусть даже они и не используют «нашу» терминологию.

В течение последних нескольких лет я наблюдал за развитием этой тенденции с непреходящим изумлением. Регуляторы в Евросоюзе, Великобритании и США формировали концепции подотчётности для автоматизированных систем, непосредственным образом зависящие от сохранённых свидетельств / доказательств, - хотя редко говорили об этом прямо. Они требуют обеспечения воспроизводимости, объяснимости, защитимости принимаемых решений, возможности проведения аудита. Они требуют юридические обоснования, способные выдержать критику. Они хотят, чтобы у людей была возможность оспаривать влияющие на их жизнь решения.

Все эти ожидания опираются на одну и ту же незаменимой возможность: способность оглянуться назад. А оглядываться назад возможно только в том случае, когда обеспечивается сохранность документов.

Именно начинают сходится политика и управление документами, - и неважно, осознают ли это регулирующие органы или нет.

Требование в основе любого нормативно-правового регулирования: воспроизводимость (реконструируемость)

При внимательном изучении глобальной политики в области ИИ становится видно, как одно и то же ключевое требование повторяется в разных формах. Оно не всегда сформулировано прямо, но всегда присутствует:

• Воспроизведите решение,
  
  
• Реконструируйте систему,
  
  
• Реконструируйте логику,
  
  
• Реконструируйте происхождение,
  
  
• Воспроизведите оценки рисков,
  
  
• Воспроизведите этапы надзора,
  
  
• Воспроизведите, что было понято или не понято моделью,
  
  
• Реконструируйте, почему был причинён вред,
  
  
• Реконструируйте, почему система вела себя именно так в определённый момент в отношении конкретного человека.

Воспроизведение (реконструкция) - это фундамент, на котором зиждется всё остальное; при этом такая реконструкция представляет собой элемент архивной деятельности.

Задолго до того, как искусственный интеллект (ИИ) оказался в центре внимания политик, архивист Лючиана Дюранти (Luciana Duranti) описывала архивные документы как «следы действий», подчёркивая, что цель архивных систем заключается в том, чтобы обеспечить возможность реконструкции действий, в результате которых были созданы эти документы. По её словам, анализ, проводимый методами дипломатики (науки об изучении документов с целью подтверждения их целостности и аутентичности; дипломатика во многом лежит в основе архивной теории и практики – Н.Х.) - это метод воссоздания поведения органов управления по оставленным следам. По её определению, назвать что-либо «документом» - значит сказать, что этот артефакт поддерживает такое восстановление / реконструкцию.

Удивительно, насколько естественно всё это согласуется с тем, чего регуляторы сейчас ожидают от алгоритмических систем. Регуляторы хотят именно того, что, по мнению Дюранти, должны обеспечивать архивные документы: наличия свидетельств / доказательств, необходимых для воссоздания совершенных действий.

А это означает, что:

• Невозможно реконструировать то, что никогда не было захвачено / зафиксировано,
  
  
• Невозможно реконструировать то, что было перезаписано,
  
  
• Невозможно реконструировать то, что существовало только в памяти [человека или в оперативной памяти компьютера – Н.Х.] или в сиюминутном чате,
  
  
• Невозможно реконструировать модель, которая молча обновлялась без использования контроля версий,
  
  
• Невозможно реконструировать изменение параметра, если обоснование такого изменения никогда не было зафиксировано.

Регуляторы чувствуют, что нереально обеспечить прозрачность в отсутствие памяти. Они понимают, что степень справедливости невозможно оценить, если сведения о поведении системы испаряются. Они знают, что право на получение объяснений является пустым звуком, если не сохранилось никаких свидетельств / доказательств, позволяющих что-либо объяснить.

Вот почему воспроизводимость (реконструируемость) стала не упоминаемым вслух «якорем» стратегического управления ИИ - а в основе воспроизводимости лежит обеспечение сохранности алгоритмов.

Почему разработчики политик избегают архивного языка, даже если полагаются на архивные функции?

Я часто задаюсь вопросом, почему в нормативных документах регуляторов не используется «архивный» язык. Отчасти это связано с дистанцией между дисциплинами; отчасти - с историей практики нормативного регулирования, которое строится скорее вокруг документирования и представления отчётности, чем на основе долговременного курирования. Но отчасти это также связано с внезапностью возникновения проблемы. Автоматизированные системы создали шаблоны поведения, на выявление которых традиционные системы надзора никогда не были рассчитаны.

Системы быстро эволюционируют, происходит ротация журналов аудита, без лишнего шума обновляются модели, конвейеры изменяют свои собственные параметры. Критически важные решения принимаются в нестабильных, быстро меняющихся условиях. Обоснование проекта «живёт» больше в разговорах, чем в официальных документах. В результате возникает своего рода «цифровая эфемерность» (digital ephemerality), которую регулирующие органы инстинктивно ощущают, даже если они пока ещё не перешли на язык документов.

Поэтому регуляторы создают новые термины, такие, как:

• документация по рискам,
  
  
• свидетельства жизненного цикла,
  
  
• дела о техническом соответствии,
  
  
• системы обеспечения прослеживаемости,
  
  
• механизмы журналирования (протоколирования),
  
  
• репозитории управления моделями,
  
  
• документы о прозрачности.

Всё это не что иное, как замаскированные архивные функции.

Регуляторы не пытаются создавать документацию. Они пытаются обеспечить возможность.

(Продолжение следует, см. https://rusrim.blogspot.com/2026/01/2-2.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-f55 

Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 1: Вопрос, что не давал мне покоя

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 19 ноября 2025 года в социальной сети Substack

У каждой области есть своя тихая паранойя. Это не те громкие идеи, что доминируют на конференциях, и не блестящие новые концепции, которые мелькают в маркетинговых презентациях, - а куда менее привлекающие внимание вопросы, которые таятся в глубине всего этого. Они часто лишь подразумеваются, и ставятся явным образом лишь тогда, когда разговор переходит на более глубокие материи. Их чаще обсуждают в кулуарах, чем на трибуне. Кто-то наклоняется к Вам и задаёт вопрос, который кажется немного не в тему, слегка выбивается из общего потока, но всё же каким-то образом оказывается ближе к сути реальной проблемы.

Для меня одним из таких вопросов является обеспечение долговременной сохранности алгоритмов.

Этот вопрос никогда не выходил на передний план и оставался в тени, пока во всём мире в центре внимания были искусственный интеллект, автоматизация, объяснимость моделей, прорывы в сфере глубокого обучения и последовавшая за этим регуляторная «золотая лихорадка». Большинство коллег говорило об аудите на наличие предвзятости, об отчётах о прозрачности или о метриках справедливости. Эти темы, безусловно, важны, но все они обращаются вокруг чего-то большего, чего-то такого, на что мало кто хотел взглянуть напрямую.

Проблема обеспечения сохранности алгоритмов не кричала о себе, а, скорее, «тянула за рукав».

Я чувствовал это, когда слушал, как коллеги описывают давление, которое регуляторы оказывают на организации, требуя от них раскрывать, каким именно образом принимаются автоматизированные решения. Эта тяга ощущалась, когда я читал о судебных делах, где стороны пытались восстановить логику, которая привела к ключевому по важности результату. И снова я почувствовал это, когда оказался в центре дискуссий на конференции iPRES (речь идёт о Международной конференции по обеспечению долговременной сохранности электронных объектов – о ней см. подборку постов http://rusrim.blogspot.com/search/label/iPRES . 21-я конференция iPRES 2025 года проходила в Веллингтоне, Новая Зеландия, с 3 по 7 ноября 2025 года – Н.Х.), в которых специалисты по обеспечению долговременной сохранности выражали свою озабоченность тем, что артефакты алгоритмических систем исчезают быстрее, чем учреждения успевают их захватить.

Поначалу я отмахивался от этого чувства, считая данный вопрос одной из подчинённых тем в рамках более широкого обсуждения стратегического управления искусственным интеллектом (ИИ). Я убедил себя в том, что обеспечение сохранности алгоритмов - это нишевая проблема, которую мы в конечном итоге решим благодаря более совершенным инструментам, более эффективной практике документирования и/или очередному «пакету» стандартов.

Некоторые вопросы, однако, отказываются подчиняться попыткам их классифицировать. Они бродят по периферии Ваших размышлений и «подёргивают» Вас время от времени до тех пор, пока не привлекут, наконец, Ваше внимание.

В конце концов, мне пришлось перестать притворяться, что проблемы не существует. Больше невозможно было рассматривать обеспечение сохранности алгоритмов как вспомогательную идею. Данный вопрос стал поворотным пунктов, стержнем, краеугольным камнем …

Чем больше я изучал нормативно-правовые акты Евросоюза, Великобритании и США, тем более отчётливо видел одно и то же. Все эти законы, нормативные акты и руководства были полны требований, которые имели смысл только в том случае, если организации обеспечивали сохранность нужных доказательств, в нужное время и адекватным образом. Воспроизводимость, объясняемость, происхождение данных, версионность моделей, журналы аудита, документация о рисках, право оспаривания – все эти ожидания формируют архитектуру подотчётности, которая полностью рушится, если отсутствуют соответствующие документы.

И тут в голове словно что-то негромко щелкнуло. Просто фрагменты сложились в цельную картину, произошло тихое осознание.

По всему миру регуляторы создавали структуры стратегического управления, полностью зависящие от сохранности алгоритмов. Они не использовали язык архивной науки, но фактически описывали архивные функции, инстинктивно обращаясь к тем самым понятиям и концепциям, с которыми архивисты и специалисты по управлению документами работали десятилетиями – таким, как «контекст», «происхождение (provenance)», «жизненный цикл», «доказательства», «память».

Обеспечение сохранности алгоритмов не было второстепенной темой, оно являлось недостающим центральным звеном. И когда я понял это, у меня этот вопрос застрял в голове, как кость в горле ….

Люди порой смеются, когда я использую эту метафору – «кость в горле» (в оригинале автор использовал английское выражение «bone was in my mouth» – Н.Х.), но она точна. Некоторые вопросы отказываются оставить тебя в покое, как только ты осознаёшь всю их серьёзность, и ты продолжаешь думать о них, потому что они определяют всё остальное. Ты продолжаешь «грызть» их, потому что о них невозможно забыть. Ты не прекращаешь размышлять о них, потому что что-то в глубине твоей души знает, что поступить иначе было бы ошибкой.

Именно таким вопросом стала для меня тема обеспечения долговременной сохранности алгоритмов - не потому, что я так захотел, а потому, что сам вопрос того потребовал.

Это был вопрос уже не технического, а культурного характера - вопрос демократии, вопрос о том, каким образом общества сохраняют память о решениях, принятых их автоматизированными системами, а также о том, как долго должны сохраняться следы этих решений. Это вопрос о том, у кого будет возможность проводить аудит, оспаривать и/или осознавать те решения, что сформировали их жизни.

Осознав масштабность этого вопроса, я уже не мог смотреть на обеспечение сохранности алгоритмов как на нечто опциональное. Для меня оно теперь стало не упоминаемой вслух основой подотчётности при автоматизированном принятии решений, тем не видимым глазу становым хребтом, от которого зависят будущие права и будущая история.

Эта серия постов рождается из упрямства этой «кости в горле», из непрекращающегося «потягивания за рукав», из осознания того, что обеспечение сохранности алгоритмов - не добавляемая «задним числом» техническая затея, а структурная необходимость.

Если наш жизненный опыт в 21-м веке будут определять наши автоматизированные системы, то обязательно должны быть сохранены относящиеся к ним свидетельства и доказательства. И если эта работа не будет выполнена, то будущие поколения унаследуют лишь фрагменты современной истории, а историкам, аудиторам, исследователям и пострадавшим людям останется лишь гадать о том, что на самом деле произошло.

«Кость» всё ещё на месте... И вот так начинается эта серия постов.

Мой комментарий: Является ли обеспечение долговременной сохранности алгоритмов чем-то совершенно новым, чего не было раньше? Конечно же, нет! С момента создания письменности и начала её использования в государственном управлении, общественной жизни и в деловой деятельности (а отчасти и до этого), человечество активно занималось сохранением алгоритмов в виде религиозных догматов (в письменном и устном виде), нормативно-правовых актов, правил, руководств, рекомендаций и стандартов разного рода и различного уровня и степени обязательности. Архивисты и специалисты по управлению документами знают, что многим из этих «алгоритмов» всегда устанавливались постоянные и длительные сроки хранения. 

По сути дела, сейчас изменилось лишь то, что раньше эти алгоритмы писались для людей, а теперь значительная часть из них пишется и кодируется для исполнения машинами – и в результате эта часть алгоритмов выпала из сферы внимания тех специалистов, которые традиционно занимались сохранением памяти общества и документов, отражающих государственную и деловую деятельность. К настоящему моменту правовая и деловая значимость машинных алгоритмов уже не уступает значимости человеко-ориентированных алгоритмов, поэтому появилось осознание существующего пробела и потребность его каким-то образом закрыть.

Структура серии постов

Прежде чем начать разговор, будет полезно наметить структуру этой серии постов. Эти эссе образуют связную последовательность, идущую от личных размышлений к анализу нормативно-правовой базы, к структуре доказательств, к архивным суждениям и, наконец, к более глубокому вопросу о том, как должны быть спроектированы системы, чтобы создавать свою собственную память. Каждая часть серии будет самостоятельной, но вместе они сформируют более широкое понимание того, что означает обеспечение сохранности алгоритмов на практике, и почему это важно.

• Часть 1 «Вопрос, что не давал мне покоя» закладывает основу для дальнейшей дискуссии, объясняя, как вопрос обеспечения сохранности алгоритмов превратился из второстепенного в требующую внимания постоянную проблему первого плана.
  
  
• Часть 2 «Регуляторы создают архивы, не говоря об этом вслух» - в ней исследуется, как глобальные дискуссии о политиках на самом деле, не привлекая к этому внимания, вращаются вокруг «архивных» понятий и концепций. Регуляторы начали требовать обеспечения прослеживаемости, воспроизводимости и объяснимости, причем таким образом, который предполагает наличие сохранённых свидетельств / доказательств (пусть даже сами регуляторы это так не называют).
  
  
• Часть 3 «Закон Евросоюза об искусственном интеллекте: Слегка закамуфлированный свод требований к документированию и архивированию» - в этой части подробно рассматриваются требования данного закона к системам ИИ с высоким уровнем риска, и показывает, как способность исполнять требования законодательства зависит от тех же структур и функций, которые поддерживают подотчётность, строящуюся на основе архивных документов.
  
  
• Часть 4 «Рынки, память и машинная логика» посвящена вопросам финансового регулирования. Рынки первыми осознали, что стратегическое управление автоматизированными системами невозможно наладить без документов, а из их подходов к реконструкции событий можно извлечь важные уроки.
  
  
• Часть 5 «Параданные, данные о процессах и доказательства, которые мы почти потеряли» знакомит с «пакетом для сохранения алгоритмов» (Algorithm Preservation Package). В этом эссе рассматриваются пять категорий доказательств, которые необходимо сохранить для того, чтобы в будущем можно было понять поведение алгоритмов.
  
  
• Часть 6 «Экспертиза ценности и два аспекта ценности» - здесь тема обсуждения с доказательств переключается на смысл. В данной части рассматривается, как принимаются решения о том, какие материалы заслуживают сохранения. Экспертиза ценности становится этически-значимым актом, связывающим принимаемые сегодня решения с их пониманием завтра.
  
  
• Часть 7 «Запроектированное управление документами: Архитектура памяти» завершает серию, показывая, почему системы должны быть спроектированы таким образом, чтобы создавать и сохранять свидетельства своего функционирования. Без процесса проектирования, учитывающего необходимость сохранения памяти, обеспечение сохранности алгоритмов становится нереализуемым, а при его наличии становится возможным обеспечение подотчётности.

Вместе эти семь эссе являются путеводной нитью, позволяющей познакомиться с одной из важнейших и наименее изученных областей стратегического управления в автоматизированной среде. Обеспечение долговременной сохранности алгоритмов - не второстепенная тема, а структурная основа, поддерживающая справедливость, права, доверие, а также историческую память нашей технологической эпохи.

(Продолжение следует, см. http://rusrim.blogspot.com/2026/01/2-1.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving 

Международная ассоциация специалистов по электротехнике и радиоэлектронике IEEE опубликовала IEEE 7003-2024 «Стандарт IEEE по вопросам алгоритмической предвзятости»

Как сообщил сайт Международной ассоциации специалистов по электротехнике и радиоэлектронике IEEE, 24 января 2025 года был опубликован стандарт IEEE 7003-2024 «Стандарт IEEE по вопросам алгоритмической предвзятости» (IEEE Standard for Algorithmic Bias Considerations) объёмом 59 страниц, см. https://standards.ieee.org/ieee/7003/11357/ и https://ieeexplore.ieee.org/document/10851955 .

Документ подготовлен Комитетом по стандартам инженерии программного обеспечения и систем C/S2ESC (Software & Systems Engineering Standards Committee). Документ свободно доступен при условии прохождения бесплатной регистрации на сайте IEEE.

Напомню, что в прошлом году были опубликованы спецификации ИСО/МЭК на ту же тему: ISO/IEC TS 12791:2024 «Информационные технологии - Искусственный интеллект – Борьба с нежелательной предвзятостью / систематическими отклонениями при выполнении задач классификации и регрессии с использованием алгоритмов машинного обучения» (Information technology - Artificial intelligence - Treatment of unwanted bias in classification and regression machine learning tasks, см. https://www.iso.org/standard/84110.html и https://www.iso.org/obp/ui/en/#!iso:std:84110:en , а также мой пост: http://rusrim.blogspot.com/2024/11/isoiec-ts-127912024.html ).

Во вводной части документа, в частности, отмечается:

«Компьютерные алгоритмы и аналитика играют всё более влиятельную роль в государственном управлении, деловой деятельности и обществе. Они лежат в основе информационных сервисов и автономных интеллектуальных систем (АИС - autonomous intelligent systems, AIS), включая, помимо прочего, приложения искусственного интеллекта, в которых используются технологии символьного и субсимвольного ИИ технологии и их сочетания.

Данные технологии оказывают значительное непосредственное воздействие на жизнь людей в широком спектре социально-экономических, политических и культурных аспектов. Алгоритмы дают возможность эксплуатировать обширные и многообразные источники данных в государственном и частном секторах с целью поддержки принятия людьми решений и выполнения действий, служащих разнообразным интересам обществ и экономик, в которых они применяются. Однако, наряду с преимуществами, их использование связано с рисками, в том числе с рисками злонамеренных действий.

Настоящий стандарт описывает процессы и методологии, помогающие пользователям решать проблемы предвзятости при создании алгоритмов и моделей. Он включает, помимо прочего, следующие элементы:

• критерии отбора наборов данных;
  
  
• рекомендации по установлению границ областей применения, для которых АИС была разработана и проверена, и информированию о них, с целью защиты от нежелательных последствий, возникающих в результате применения АИС вне этой области применения;
  
  
• предложения по управлению ожиданиями пользователей, помогающие смягчить нежелательную предвзятость, связанную с некорректной интерпретацией пользователями выдаваемых системой результатов (например, смешение корреляции с причинно-следственной связью).

… Настоящий стандарт предназначен для того, чтобы предоставить создающим АИС лицам и организациям ориентированные на сертификацию процессы и методологии с целью обеспечения четко сформулированной подотчётности и ясности относительно того, как АИС нацеливается, оценивает и оказывает влияние на заинтересованные в ней стороны.

Данный стандарт позволяет создателям АИС определять, измерять и информировать пользователей и регулирующие органы о предвзятости в АИС, - и демонстрировать, что при проектировании, разработке, тестировании и оценке АИС использовались передовые методы и практики с целью избежать нежелательного дифференциального воздействия на заинтересованные стороны.»

Содержание стандарта следующее:

Введение
1. Обзор
2. Нормативные ссылки
3. Определения, аббревиатуры и сокращения
4. Требования в отношении принятия во внимание предвзятости
5. Профиль предвзятости
6. Выявление заинтересованных сторон
7. Представление данных
8. Оценка риска и воздействия
9. Проведение оценки
Приложение A (справочное): Концептуализация предвзятости
Приложение B (справочное): Выявление заинтересованных сторон
Приложение C (справочное): Рекомендации по оценке риска и воздействия
Приложение D (справочное): Измерение предвзятости
Приложение E (справочное): Культурные аспекты
Приложение F (справочное): Библиография

Источник: сайт IEEE
https://ieeexplore.ieee.org/document/10851955
https://standards.ieee.org/ieee/7003/11357/

Росстандарт: Опубликован предстандарт ПНСТ 953-2024 «Системы искусственного интеллекта. Классификация алгоритмов и вычислительных методов»

На сайте Федерального агентства по техническому регулированию и метрологии ( http://www.gost.ru/ ) в октябрьском 2024 года разделе ( https://protect.gost.ru/default.aspx?control=6&month=10&year=2024 ) выложен новый предварительный стандарт ПНСТ 953-2024 (ISO/IEC TR 24372:2021) «Системы искусственного интеллекта. Классификация алгоритмов и вычислительных методов» объёмом 36 страниц, вступающий в силу 01.01.2025 года, см. https://protect.gost.ru/document1.aspx?control=31&baseC=6&id=263157

Стандарт разработан Национальным исследовательским университетом «Высшая школа экономики» (НИУ ВШЭ) на основе собственного перевода на русский язык англоязычной версии международного технического отчёта; внесён Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект».

Стандарт разработан на основе международного технического отчёта ISO/IEC TR 24372:2021 «Информационные технологии – Искусственный интеллект (ИИ) – Обзор вычислительных методов для ИИ-систем» (Information technology - Artificial intelligence (AI) - Overview of computational approaches for AI systems, см. https://www.iso.org/standard/78508.html и https://www.iso.org/obp/ui/#!iso:std:78508:en - а также мой пост https://rusrim.blogspot.com/2022/01/isoiec-tr-243722021.html - Н.Х.).

Во вводной части стандарта отмечается:

«Настоящий стандарт содержит обзор и структурирование вычислительных подходов систем искусственного интеллекта, включая:

• основные вычислительные характеристики систем искусственного интеллекта;
  
  
• основные алгоритмы и подходы, используемые в системах искусственного интеллекта.

Стандарт предназначен для применения в сфере теоретической и практической деятельности по классификации систем искусственного интеллекта, при выполнении работ:

• по оценке соответствия вычислительных методов функциональному назначению систем искусственного интеллекта;
  
  
• по отнесению конкретных систем искусственного интеллекта к определенным классам вычислительных методов;
  
  
• по применению классификации систем искусственного интеллекта в сфере стандартизации.

В настоящем стандарте установлена схема классификации основных технологий, алгоритмов и вычислительных методов систем искусственного интеллекта для решения прикладных задач, помогающая определить направления их стандартизации. Схема классификации приведена в приложении А.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Термины и определения
3. Сокращения
4. Общие положения
5. Основные характеристики систем искусственного интеллекта
6. Типы вычислительных методов искусственного интеллекта
7. Классификация и выбор алгоритмов в системах искусственного интеллекта
Приложение А (справочное): Схема классификации алгоритмов и методов систем искусственного интеллекта
Библиография

Источник: сайт Росстандарта
https://protect.gost.ru/document1.aspx?control=31&baseC=6&id=263157

США: Национальный институт стандартов и технологий NIST отобрал 14 алгоритмов-кандидатов создания ЭЦП в рамках стандартизации постквантовой криптографии

Данная заметка Деррика Генри (Derrick Henry) была опубликована 29 октября 2024 года на сайте ExecutiveGov.

Американский Национальный институт стандартов и технологий (National Institute of Standards and Technology, NIST) отобрал 14 кандидатов для перехода во второй раунд отбора дополнительных алгоритмов для электронных цифровых подписей ( https://csrc.nist.gov/News/2024/pqc-digital-signature-second-round-announcement ) в рамках процесса стандартизации постквантовой криптографии.

Как сообщил NIST 25 октября 2024 года, в число перспективных алгоритмов цифровой подписи входят CROSS, FAEST, HAWK, LESS, MAYO, Mirath, MQOM, PERK, QR-UOV, RYDE, SDitH, SNOVA, SQIsign и UOV.

В борьбе за победу во втором раунде кандидатам будет разрешено доработать свои алгоритмы шифрования - например, внести изменения в спецификации и подправить реализации. На втором этапе будут оцениваться и проверяться алгоритмы электронных цифровых подписей, а сам процесс продлится до 18 месяцев.

Процесс стандартизации пост-квантовой криптографии (post-quantum cryptography, PQC) является частью усилий NIST по созданию квантово-устойчивых алгоритмов, которые повысят безопасность и защищённость цифровой информации в Соединенных Штатах. Эта программа ( https://executivebiz.com/2022/07/nist-chooses-4-algorithms-for-inclusion-in-post-quantum-cryptographic-standard/ ) начала набирать обороты в июле 2022 года с отбора первой партии алгоритмов шифрования, предназначенных для противостояния будущим атакам с использованием квантовых компьютеров.

NIST намерен интегрировать выбранные алгоритмы электронной цифровой подписи в свой эволюционирующий стандарт пост-квантовой криптографии, разработка которого завершится не ранее 2024 года.

Деррик Генри (Derrick Henry)

Источник: сайт ExecutiveGov
https://executivegov.com/news/nist-digital-signature-algorithms-post-quantum-cryptography-standard/

Росстандарт: Опубликован предварительный национальный стандарт ПНСТ 835-2023 «ИИ. Оценка эффективности моделей и алгоритмов машинного обучения в задаче классификации»

На сайте Федерального агентства по техническому регулированию и метрологии ( http://www.gost.ru/ ) в декабрьском 2023 года разделе ( https://protect.gost.ru/default.aspx?control=6&month=12&year=2023 ) выложен предварительный национальный стандарт ПНСТ 835-2023 (ISO/IEC TS 4213:2022) «Искусственный интеллект. Оценка эффективности моделей и алгоритмов машинного обучения в задаче классификации» объёмом 32 страницы, вступающий в силу с 01.01.2024 года и действующий до 01.01.2027 года, см. https://protect.gost.ru/v.aspx?control=8&baseC=6&id=245067

Стандарт подготовлен Национальным исследовательским университетом «Высшая школа экономики» (НИУ ВШЭ) на основе собственного перевода на русский язык международных технических спецификаций ISO/IEC TS 4213:2022 «Информационные технологии - Искусственный интеллект - Оценка эффективности выполнения задачи классификации системами машинного обучения» (Information technology - Artificial intelligence - Assessment of machine learning classification performance), см. https://www.iso.org/standard/79799.html и https://www.iso.org/obp/ui/en/#!iso:std:79799:en . Стандарт внесён Техническим комитетом по стандартизации ТК 164 «Искусственный интеллект».

Во вводной части документа отмечается:

«Ввиду того, что исследователи научных, коммерческих и правительственных организаций продолжают совершенствовать модели машинного обучения, при оценке эффективности моделей и алгоритмов машинного обучения в задаче классификации необходимо применять последовательные подходы и методы.

... Настоящий стандарт устанавливает методологию оценки эффективности моделей и алгоритмов машинного обучения в задаче классификации.»

Содержание предстандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Общие принципы
6. Статические показатели эффективности
7. Тесты статистической значимости
8. Подготовка отчетов.
Приложение А (справочное): Пример эффективности для задачи мультиклассовой классификации
Приложение В (справочное): Пример ROC-кривой, полученной из результатов классификации
Приложение С (справочное): Сводная информация об эталонных тестах моделей и алгоритмов машинного обучения для решения задачи классификации
Приложение D (справочное): CSMF
Библиография

Источник: сайт Росстандарта
https://protect.gost.ru/v.aspx?control=8&baseC=6&id=245067

Стратегическое управление ИИ: Истинная нейтральность алгоритмов будет труднодостижимой

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 8 августа 2023 года на блоге компании Formtek.

Под стратегическим управлением искусственным интеллектом (ИИ) понимается применение алгоритмов искусственного интеллекта ответственным и управляемым образом. Стратегическое управление ИИ (AI Governance) выходит за рамки обеспечения этичного использования ИИ и также включает управление рисками и исполнение законодательно-нормативных требований. Например, компания Cisco выделяет следующие элементы стратегического управления ИИ: «прозрачность, справедливость, подотчетность, неприкосновенность личной жизни (защита персональных данных), безопасность и надежность», см. https://blogs.cisco.com/security/our-responsible-approach-to-governing-artificial-intelligence

Многие коммерческие организации сейчас начинают переходить от пилотных проектов к промышленной эксплуатации ИИ. Пока эти организации разбирались с тем, каким образом они могли бы использовать ИИ для автоматизации и инноваций, они часто мало задумывались о вопросах стратегического управления. Однако теперь, когда планируется и осуществляется развертывание ИИ-систем в режиме промышленной эксплуатации, начинают возникать вопросы.

Директор по технологиям компании Appian Майк Бекли (Mike Beckley, https://appian.com/resources/leadership/team/michael-beckley.html ) в интервью Тому Таулли (Tom Taulli) для журнала Forbes отметил, что «ИИ-проекты редко координируются в масштабах компании, и группы по аналитике данных часто изолированы от разработки приложений. И теперь регулирующие органы начинают задавать вопросы, на которые коммерческие организации не знают, как ответить» ( https://www.forbes.com/sites/tomtaulli/2020/10/10/ai-artificial-intelligence-governance-how-to-get-it-right/?sh=6ae1c5ec745f ).

Фонд Рокфеллера ( https://www.rockefellerfoundation.org/ai-governance-bold-action-and-novel-approaches/ ) полагает, что «множество приложений ИИ и потенциально масштабные последствия этого делают стратегическое управление ИИ сложным и зависящим от варианта его использования. В связи с этим стратегическое управление требует смелых действий и новаторских смешанных подходов, полагающихся на стимулы, добрую волю и опыт».

Однако в конечном итоге доказать нейтральность и этичность будет очень трудно.

Пишущий о технологиях Питер Уэйнер (Peter Wayner, https://en.wikipedia.org/wiki/Peter_Wayner ) в статье для издания VentureBeat отмечает, что «наибольшее значение стратегическое управление ИИ имеет там, где принимаемые решения являются наиболее спорными. Хотя алгоритмы могут обеспечить по крайней мере видимость нейтральности, они не могут просто взять и устранить конфликты между людьми. Если люди недовольны результатом, то надлежащий механизм стратегического управления сможет лишь снизить остроту конфликта… Успех стратегического управления ограничен размером и масштабами проблем, которые ИИ должен решить. Более масштабные, влекущие более глубокие последствия проблемы порождают более глубокие конфликты. Просить ИИ принимать решения, влияющие на здоровье, благосостояние или карьеру людей означает заведомо идти на то, что какие-то люди будут недовольны».

Дик Вейсингер (Dick Weisinger)

Источник: блог компании Formtek
https://formtek.com/blog/ai-governance-achieving-true-algorithm-neutrality-will-be-elusive/