У стандартов тоже есть происхождение: Как китайский эксперимент со «статьями о данных» добрался до ИСО (2)

(Продолжение, начало см. https://rusrim.blogspot.com/2026/10/1_01366762971.html )

От практики к политике

Процесс стандартизации не был прямым следствием появления журналов, публикующих «статьи о данных». Национальная архитектура сначала начала формироваться вокруг научных данных.

Одной из первых «ласточек» здесь стал китайский национальный стандарт GB/T 35294-2017 «Информационные технологии - Цитирование научных данных» (信息技术 科学数据引用, самоназвание на английском языке: Information technology - Scientific data citation, см. http://www.csres.com/detail/308303.html ), опубликованный 29 декабря 2017 года и вступивший в силу 1 июля 2018 года. Он был разработан при участии «Центра информационных технологий компьютерных сетей» (Computer Network Information Center, CNIC) и других научно-исследовательских организаций и органов по стандартизации. Первоочередное внимание было уделено именно цитированию, что вполне логично: если на набор данных нельзя сослаться, то его создатель не получает признания своего вклада, - а именно вопрос признания заслуг был изначальной проблемой.

Затем последовало принятие нормативно-правовых актов. 17 марта 2018 года Управление делами Государственного совета КНР опубликовало «Меры по управлению научными данными» (科学数据管理办法, Measures for Managing Scientific Data, см. https://www.gov.cn/zhengce/content/2018-04/02/content_5279272.htm ). Эти меры обязывают соответствующие организации и учреждения создавать механизмы сбора, проверки качества, депонирования, обеспечения сохранности и совместного использования научных данных, - а также создавать системы для обеспечения долговременной сохранности научных данных, оснащённых надлежащими средствами хранения, управления и защиты. 

Данный документ также установил принципы политики, согласно которым научные данные, полученные за счет государственного финансирования, как правило, должны быть доступны для совместного использования (с учетом ограничений, касающихся безопасности, конфиденциальности, прав интеллектуальной собственности и иных ограничений). Он предписывает ответственным организациям содействовать публикации и распространению научных данных, а также поддерживать исследователей в деле публикации полных, точных, юридически «чистых» и заслуживающих распространения данных.

Если рассматривать «статью о данных» в контексте этой концептуальной системы, то она перестаёт восприниматься лишь как формат публикации. Она становится этапом управляемого жизненного цикла, включающего создание, контроль качества, документирование, депонирование, обеспечение сохранности, публикацию, цитирование, поиск и повторное использование данных. Специалисты в областях управления документами, электронной сохранности и управления исследовательскими данными легко смогут узнать как форму этой последовательности, так и те места в ней, где обычно возникают проблемы.

Первый предшественник - китайский стандарт метаданных

Наиболее очевидным предшественником стандарта ISO 26730-2 является стандарт GB/T 42813-2023 «Метаданные публикуемых статей о данных» (数据论文出版元数据, самоназвание на английском языке: Data paper publication metadata, объёмом 28 страниц, см. http://www.csres.com/detail/396578.html – а также мой пост https://rusrim.blogspot.com/2025/07/blog-post_13.html – Н.Х.) опубликованный и вступивший в силу 6 августа 2023 года. Работа над этим национальным стандартом началась в декабре 2020 года под эгидой Национального технического комитета по стандартизации научно-технических платформ; куратором проекта стало Министерство науки и технологий КНР, а ведущей организацией-разработчиком - Центр информационных технологий компьютерных сетей (CNIC). 

Данный стандарт специфицирует метаданные как для «статьи о данных» (data paper), так и для соответствующего набора данных. Он охватывает процессы описания наборов данных, обеспечения их сохранности, публикации в интернете и предоставления доступа. Особенно интересна внутренняя структура этого стандарта. Метаданные набора данных по большей части традиционны: идентификаторы, названия, аннотации, ключевые слова, область охвата, язык, форматы, сведения об авторах, информация о публикации, лицензии, форматы цитирования и источники доступа. В то же время метаданные «статьи о данных» документируют методы сбора и обработки, характеристики выборок, процедуры контроля и оценки качества, а также рекомендации по использованию данных.

Благодаря разработанной Патрицией Фрэнкс (Patricia Franks) и участниками международного проекта InterPARES Trust AI концепции «параданных» (paradata), эти элементы приобретают дополнительное значение. Они фиксируют информацию о процедурах создания и обработки информационного ресурса, а в ряде случаев - и о лицах, ответственных за выполнение этих процедур. Таким образом, элементы, формально являющиеся метаданными, одновременно выполнят роль документации на процессы: они свидетельствуют о том, как набор данных был создан, преобразован, оценен и сделан пригодным к повторному использованию.

Мой комментарий: Подборку постов на моём блоге, упоминающих «параданные», см. здесь: https://rusrim.blogspot.com/search?q=параданные&max-results=20&by-date=true   

Эта вторая группа элементов выходит за рамки простой каталогизации. Она призвана задокументировать объём контекста, достаточный для правильной интерпретации данных, что представляет собой задачу иного, более сложного уровня по сравнению с обеспечением возможности поиска и извлечения.

Положенная в основу данного стандарта исследовательская работа была необычно полно задокументирована. В статье 2023 года [13], подготовленной Гао Ювэем (Gao Yuwei) и его коллегами из Центра информационных компьютерных сетей, Национального центра данных фундаментальных наук (National Basic Science Data Center) и пекинского Столичного педагогического университета (Capital Normal University), рассказывается о том, что авторы проанализировали отечественный и зарубежный опыт публикации статей о данных, выявили необходимые для публикации элементы для таких статей и соответствующих наборов данных, а также разработали архитектуру метаданных, включающую определения элементов и примеры их использования; - и что результаты этого исследования легли в основу национального стандарта. В последующем исследовании, опубликованном в 2024 году, стандарт GB/T 42813 был охарактеризован как первое в Китае комплексное национальное соглашение в отношении модели публикации статей о данных. Также отмечалось, что профильные научные журналы и платформы для публикации научных данных уже начали применять предусмотренные стандартом элементы и определения.

Разработчикам стандартов редко удается начать свою работу, уже имея подобный задел. Предложение о разработке стандарта метаданных, которое в настоящее время рассматривается в ИСО, опирается на уже накопленный опыт практического применения.

Второй предшественник - китайский стандарт оформления

Двумя годами позже был опубликован документ, ставший предшественником стандарта ISO 26730-1. 29 августа 2025 года Китай опубликовал стандарт GB/T 7713.4-2025 «Информация и документация - Оформление документации - Часть 4: Статьи о данных» (信息与文献 编写规则 第4部分：数据论文, самоназвание на английском языке: Information and documentation - Presentation of documentation - Part 4: Data papers, объёмом 20 страниц, см. http://www.csres.com/detail/435680.html . Существует также официальный перевод на английский язык - GB/T 7713.4-2025E, см. http://www.csres.com/detail/443118.html ), который был опубликован 29 августа 2025 года и вступил в силу 1 марта 2026 года. Его разработка велась под эгидой Национального технического комитета по стандартизации SAC/TC4 «Информация и документация».

Область применения GB/T 7713.4-2025 практически идентична области применения недавно открытого нового проекта ИСО. Китайский стандарт специфицирует составные части и структуру статей о данных, и распространяется на бумажные и электронные версии, а также на версии на микроформах. В предложении об открытии проекта ИСО говорится, что этот документ будет описывать составные части статьи о данных, а также будет содержать требования к её написанию и оформлению. Он будет применим в отношении статей о данных, распространяемых в любом формате, включая печатные издания, микроформы и электронные версии. Формулировки не просто схожи - они практически совпадают.

Состав группы разработчиков китайского стандарта был весьма представительным. В неё вошли представители около 20 организаций, включая Национальную научную библиотеку и Информационный центр компьютерных сетей при Академии наук, Китайскую академию сельскохозяйственных наук, Национальную библиотеку Китая, Институт научно-технической информации Китая, Пекинский и Нанкинский университеты, Геологическую службу Китая, - а также представители ассоциаций издателей научной литературы, публикующих журналы издательств, организаций, занимающихся медицинской и сельскохозяйственной информацией, и коммерческих поставщиков информации (включая, в частности, компанию Wanfang Data (万方数据) — это ведущая китайская платформа и провайдер академической информации, управляющий одной из трех крупнейших китайских баз данных научных публикаций – Н.Х.). В сопроводительных материалах к проекту отмечается, что в ходе подготовительной работы были проведены консультации с международными издательствами (Springer Nature, Taylor & Francis, Wiley) и с Международной ассоциацией научных, технических и медицинских издателей (STM Association).

К тому моменту, когда к работе по стандартизации в области статей о данных подключилась Международная организация по стандартизации (ИСО), та коалиция организаций и учреждений, которая необходима для реализации международного проекта, в значительной степени уже была сформирована.

(Продолжение следует)

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/standards-have-provenance-too 

Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 5: Формирование информационного пакета для сохранения алгоритмов (1)

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 11 декабря 2025 года в социальной сети Substack.

От фрагментов памяти к целостной архитектуре стратегического управления автоматизированными системами

К тому моменту, когда я дошёл до этой части серии постов, начала вырисовываться чёткая сквозная линия. Везде - в политике в области ИИ, в регулировании рынка, в автоматизации государственного сектора и исследованиях в области цифрового наследия - постоянно встаёт одна и та же нерешённая проблема. Поэтому у меня есть такое умеренно-амбициозное предложение: если уж мы намереваемся использовать наши системы, то мы должны по крайней мере определить, какие доказательства должны быть сохранены, чтобы эти действия оставались понятными.

Мы часто говорим о прозрачности и подотчётности как о каких-то абстрактных добродетелях, но на практике они опираются на нечто очень конкретное, а именно, на выживание нужных документов - не всех документов, не идеального архива, а просто того количества адекватных свидетельств и доказательств, которых будет достаточно для реконструирования того, как вела себя система и почему.

Осознание этого подтолкнуло меня к идее о том, что я называю «пакетом для обеспечения сохранности алгоритмов» (algorithm preservation package). Это не юридический термин и не техническая концепция (по крайней мере, пока что), а способ описания ключевых компонентов памяти, необходимых современным автоматизированным системам, если мы хотим осуществлять стратегическое управление ими, проводить их аудит и доверять им во времени.

Данный пакет включает три слоя:

• слой сведений о разработке и проектировании (далее «слой проектирования» - design layer);
  
  
• слой сведений об эксплуатации (далее «слой эксплуатации» - operational layer);
  
  
• слой сведений о контексте (далее «контекстуальный слой» - contextual layer).

Каждый слой сохраняет различные аспекты поведения машины. Совместно они создают «след» системы, достаточно жизнеспособный, чтобы пережить сбои, расследования и аудиты по мере течения времени.

Это не какая-то схема, а фундамент.

Слой проектирования: Сохранение истории того, как создавалась система

Это слой, который большинство коллег упускает из виду. Мы часто относимся к системам ИИ так, словно они родились на свет уже готовыми. Однако у каждой системы есть история развития. Принимались решения о выборе вариантов, были выбраны модели, сформированы данные и настроены параметры. Были приняты или проигнорированы риски. Появились многочисленные версии. Группы специалистов вели дебаты и иногда шли на компромиссы.

Всё это становится невидимым, как только система запускается в эксплуатацию, и слой проектирования призван сохранить данные сведения.

Слой проектирования включает в себя:

• описание назначения и предполагаемого использования системы,
  
  
• архитектуру модели и её обоснование,
  
  
• сведения о стратегическом управление обучающими данными и критерии их отбора,
  
  
• решения в отношении предварительной обработки данных,
  
  
• результаты тестирования и валидации,
  
  
• ожидания в отношении показателей производительности и соответствующие ограничения, 
  
  
• результаты оценок риска и выбранные варианты смягчения рисков,
  
  
• историю управления изменениями,
  
  
• «снимки» конфигурации,
  
  
• заметки разработчиков и документы о принятых ими решениях,
  
  
• документацию по оценке этичности и справедливости.

Именно здесь основная «нагрузка» ложится на сведения, который Патриция Фрэнкс (Pat Franks) относит к «параданным» (paradata). Параданные документирует действия, которые сформировали систему: решения, преобразования, калибровки, уточнения и компромиссы, которые привели к созданию конечного артефакта.

Одной частью этого слоя является официальная инженерная документация. Другая часть спрятана в электронных письмах, средствах отслеживания проблем (issue trackers), репозиториях программного обеспечения, журналах тестирования, карточках моделей и внутренних служебных записках. Без должного внимания к нему слой проектирования может испариться, оставляя позади систему, которая функционирует, но которую невозможно понять.

Это урок, следующий как из архивной теории, так и из практики регулирования рынка. Невозможно воссоздать действие, если отсутствуют свидетельства приведших к нему обстоятельств.

Сопоставление «пакета для обеспечения сохранности алгоритмов» со сдаточным информационным SIP-пакетом и архивным информационным AIP-пакетом в концепции открытой архивной информационной системы (OAIS)

Не нужно путать «пакеты для обеспечения сохранности алгоритмов» с традиционными контейнерами (информационными пакетами) в концепции открытой архивной информационной системы (OAIS). В сдаточные (SIP) и архивные (AIP) информационные пакеты упаковывают стабильные цифровые объекты для передачи и хранения – при этом предполагается, что объект уже зафиксирован (защищен от внесения изменений – Н.Х.) и готов к передаче на архивное хранение.

Пакеты для обеспечения сохранности алгоритмов работают иначе. В них доказательная база захватывается в тот период, когда системы активны и эволюционируют – обеспечивая в реальном времени сохранение сведений о поведении, логических обоснованиях и путях принятия решений. Это не просто контейнерный формат; это концептуальная структура документации о жизненном цикле, которая находится по ходу деловых процессов «выше по течению», чем OAIS.

Это можно представить себе следующим образом: SIP- и AIP-пакеты сохраняют объекты, в то время, как пакеты для обеспечения сохранности алгоритмов сохраняют сведения о действиях.

(Продолжение следует, см. http://rusrim.blogspot.com/2026/02/5-2.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-05f 

Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 3: Закон Евросоюза об ИИ: Слегка закамуфлированный свод требований к документированию и архивированию (1)

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 26 ноября 2025 года в социальной сети Substack.

(Продолжение, предыдущую часть см. https://rusrim.blogspot.com/2026/01/2-2.html ) 

Почему флагманский закон Евросоюза об искусственном интеллекте (ИИ) опирается на документирование, параданные и долговечность доказательств.

Описывая Закон Евросоюза об ИИ, его часто называют первой всеобъемлющей попыткой нормативно-правового регулирования искусственного интеллекта - и в узком смысле, это верно. Закон устанавливает правила для систем ИИ высокого риска, вводит обязательства по обеспечению прозрачности, требует проведения оценки соответствия и устанавливает штрафные санкции. Однако изучив текст закона внимательно и прочитав его не как специалист по технологиям или разработчик политик, а как специалист по управлению документами, я увидел несколько иную картину.

Мой комментарий: Европейский «Закон об искусственном интеллекте» был официально опубликован 13 июля 2024 года. Его текст на всех официальных языках Евросоюза доступен на европейском правовом портале EUR-Lex по адресу https://eur-lex.europa.eu/eli/reg/2024/1689/oj . Версия закона на английском языке объёмом 144 страницы доступна по адресу https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=OJ:L_202401689 в формате PDF.

Закон об ИИ - это не просто концепция стратегического управления. Это не просто режим управления рисками, не просто свод правил обеспечения прозрачности. Он представляет собой свод обязательных требований к управлению документами, только написанный языком регулирующих органов, а не архивистов.

Мой комментарий: Любая деятельность в сфере государственного управления, любая коммерческая и некоммерческая деятельность всегда строится на документах, которые устанавливают правила, выполняют роль инструментов деятельности и/или образуются в качестве побочных продуктов такой деятельности. Любой надзор и контроль всегда в первую очередь опирается на документальные доказательства, создавать и сохранять которые предписано законодательством. Именно поэтому любой сколько-нибудь существенный закон всегда прямо или косвенно влияет на управление документами – и, с моей точки зрения, принципиально новым в Законе Евросоюза об ИИ является лишь то, что, поскольку закон регулирует инновационную сферу деятельности, он упоминает новые виды и формы документов и информации, которыми теперь следует управлять.

Закон предполагает, что организации могут обратиться к оставленному системой ИИ «документальному следу» спустя месяцы или годы, для того, чтобы понять, что делала эта система. Он предполагает, что следователи будут иметь возможность реконструировать состояния системы в прошлом; а также то, что решения о рисках, проектные решения и выработанные в ходе оперативной работы знания будут захвачены / зафиксированы в долговечной форме. Закон исходит из предположения о том, что документы существуют и продолжат существовать и в дальнейшем.

Именно такой подтекст формирует все аспекты закона.

Документация как становой хребет

Первый «намёк» появляется в требованиях к технической документации. Прежде чем система ИИ высокого риска сможет попасть на рынок, её поставщик должен предоставить обширную документацию, описывающую архитектуру системы, аспекты стратегического управления данными, целевое назначение, ожидаемые показатели производительности, процессы управления рисками, меры безопасности, решения по управлению жизненным циклом и историю изменений.

В Европе схема метаданных или формат документации не предписываются. Приложение IV (устанавливающее минимальный состав сведений, включаемых в техническую документацию – Н.Х.) перечисляет раскрываемые вопросы, а не структуру. В результате возникает ситуация, в которой наличие определённого контента обязательно, но способ его хранения (контейнер) может быть различным. Некоторые организации создадут красивые, структурированные документы, в то время, как другие сгенерируют нечто такое, что соответствует их внутренней зрелости.

Но, вне зависимости от используемого стиля и изощрённости, само по себе требование является очевидным: необходимо документировать систему, и необходимо сохранять эти документы в течение десяти лет.

Мой комментарий: Это требование ст.18 Закона об ИИ, относящееся к документации, подлежащей представлению компетентным национальным органам, список которой приведен в ст.11. Фиксированный 10-летний срок хранения для научно-технической документации является весьма спорным, ведь традиционно для такой документации сроки хранения отсчитываются от момента окончательного прекращения использования продукта, и учитывают также соответствующие сроки исковой давности … 

Это требование к управлению документами, а не к проектированию.

Пояснение: Почему на само деле речь идёт о параданных

Отсутствие схемы метаданных не ослабляет Закон об ИИ. Это просто говорит о том, что его акцент смещен в другую сторону.

Закон Евросоюза об ИИ фактически требует сохранения параданных в том смысле, в котором этот термин трактует Патриция Фрэнкс (Patricia C. Franks).

Параданные - это документы о действиях, решениях и процессах, которые формируют информацию. В контексте ИИ, они включают в себя сведения о том:

• как были подготовлены данные,
  
  
• как были спроектированы или настроены модели,
  
  
• как проводилась валидация,
  
  
• как оценивались риски,
  
  
• как осуществлялся надзор,
  
  
• как система менялась с течением времени.

Иными словами, параданные документируют то, как осуществляется определенная деятельность.

Мой комментарий: О термине «параданные» см. также посты на моём блоге в подборке http://rusrim.blogspot.com/search/label/параданные . В контексте ИИ – и в приведенной выше интерпретации - содержание понятия «параданные» практически ничем не отличается от содержания понятия «научно-техническая, опытно-конструкторская и эксплуатационная и т.п. документация» (НТД). Пока что термин «параданные» остаётся «широко известным в узких (академических) кругах»; и я пока не вижу в нём острой необходимости.

Закон об ИИ требует от организаций хранить именно такого рода процессно-ориентированные доказательства. Он не предписывает, каким образом их структурировать, - а лишь говорит, что они должны храниться достаточно долго, чтобы обеспечить возможность реконструкции, объяснения и расследования.

Мой комментарий: Черти кроятся в деталях, а в данном случае – в словах «достаточно долго». «Достаточно долго» - это сколько? Установление адекватного срока хранения документов, как известно, является «высшим пилотажем» для специалистов по управлению документами и архивистов… 

Кстати говоря, не в самом законе, а в п.71 Преамбулы к нему сказано следующее: «Техническая документация должна поддерживаться в актуальном состоянии на протяжении всего срока службы системы ИИ. Кроме того, системы ИИ высокого риска должны технически поддерживать автоматическую регистрацию событий, посредством использования журналов аудита, в течение всего срока службы системы.». 

Также не будем забывать о том, что указанные в Законе сроки – это сроки хранения документов в целях исполнения именно данного Закона, и не более того. Во исполнение требований иных законов и/или удовлетворения собственных потребностей организаций в документах в конечном итоге могут быть установлены более длительные сроки.

Параданные сохраняют историю поведения системы. Без них в будущем невозможно будет ничего понять. Закон опирается на этот принцип, прямо его не упоминая.

(Продолжение следует, см. http://rusrim.blogspot.com/2026/02/3-2.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-8f7 

Мастер-экземпляры и другие термины

Данная заметка известного румынского архивиста Богдана-Флорина Поповичи (Bogdan-Florin Popovici, на фото) была опубликована 13 декабря 2025 года на его блоге «Bogdan's Archival Blog - Blog de arhivist».

Сегодня мне пришлось провести определённую систематизацию терминов, поскольку мне приходится слышать самые разные слова. Я уже знал о «мастер-файлах», но не был в курсе того, для чего Национальные Архивы Великобритании (TNA) используют термин «экземпляр ответственного хранителя» (custodial copy) или что такое «порождённый мастер-файл» (production master file). Ниже я расскажу о том, что я для себя выяснил.

Примечание автора: Глубоко травмированным их собственной историей бедолагам-американцам больше не разрешается использовать термин «мастер» ввиду его неполиткорректности. Поскольку я не думаю, что у нас в Румынии этот термин несёт какой-либо негативный оттенок (пока что; кто знает, может быть нам его ещё навяжут…), я продолжаю использовать термин «мастер-экземпляр», как в эпоху микроплёнок. Однако ввиду лингвистических соображений мы могли бы также перевести его как «основной экземпляр».

Экземпляр ответственного хранителя (custodial copy)

Национальные Архивы Великобритании под «экземпляром ответственного хранителя» (как вариант, этот термин можно было бы перевести на русский язык как «эталонный экземпляр» или «страховой экземпляр» - Н.Х.) понимается имеющий статус «официального» экземпляр электронного документа, для которой существуют требования в отношении сроков хранения. Если говорить более детально, то понятие «экземпляра ответственного хранителя» охватывает не только файл, в котором сохраняется контент (архивный мастер-экземпляр), но и иную информацию, которая характеризует его и/или описывает соответствующий контекст (метаданные, параданные и т. д.). Таким образом, речь идёт не просто о документе, а об информационном пакете, включающий как документ, так прочую информацию. Как правило, архивный мастер-экземпляр (архивный мастер-файл) входит в состав «экземпляра ответственного хранителя», но бывают ситуации, когда этот файл может быть более высокого качества. «Экземпляр ответственного хранителя» является эквивалентом архивного информационного AIP-пакета в терминологии открытой архивной информационной системы (OAIS); и это скорее юридическое понятие.

Мой комментарий: В российской нормативной базе аналогом понятиям «сдаточный информационный пакет» и «архивный информационный пакет» в терминологии OAIS является понятия «контейнер электронного документа» и «электронный архивный документ».

В стендовом докладе сотрудника Национальных Архивов Великобритании Стива Дейли (Steve Daly) на конференции iPRES 2024 на тему «Отделённый эталонный экземпляр для облачных систем обеспечения долговременной сохранности электронных материалов» (A decoupled Custodial Copy for cloud-based Digital Preservation Systems, см. https://zenodo.org/records/13647420 ), дано следующее объяснение:

«Национальные Архивы Великобритании использует облачный управляемый сервис для хранения активного управляемых экземпляров своих документов, к которым имеется немедленный доступ, а также создали систему «Экземпляр ответственного хранителя» (Custodial Copy system), которая автоматически создаёт копии всех документов в том виде, в котором они поступили в облачную систему немедленно по их поступлении, и отправляет их в отдельное хранилище вне облака. 

Эти электронные документы будут не просто служить резервной копией контента облачной платформы, а будут храниться в стандартизированной форме, не зависящей от конкретного программного продукта, с использованием стандарта «Оксфордская стандартная структура файлов» (Oxford Common File Layout, см. https://ocfl.io/ ), - при этом каждый файл будет сопровождаться актуальной копией всех метаданных, описывающих документ. 

Система «Экземпляр ответственного хранителя» должна стать полностью полным самоописываемым представлением электронного архива, которое может использоваться в качестве источника при будущих миграциях или же для доступа к документам без использования облачной платформы.» 

Далее следует ряд технических терминов.

Архивный мастер-файл = мастер-файл для долговременного хранения 

В контексте американской «Инициативы по разработке руководств по оцифровке для федеральных органов исполнительной власти США» (Federal Agencies Digitization Guidelines Initiative, FADGI) под «архивным мастер-файлом» (archival master file) понимается наилучшая копия, созданная проводящей оцифровку организацией, причём «наилучшей» копией считается та, что соответствует целям конкретного проекта или программы. В некоторых случаях архив может создать несколько архивных мастер-файлов.

Порождённый мастер-файл (production master file) = порождённый основной файл (production primary file) 

В контексте американской «Инициативы по разработке руководств по оцифровке для федеральных органов исполнительной власти США» под этими терминами понимаются файлы, созданные в результате обработки контента одного или нескольких архивных мастер-файлов, в результате чего создаётся новый файл или файлы с уровнями качества, сопоставимым с уровнем качества архивного мастер-файла.

• Первый тип обработки заключается в сборке единого представления объекта из набора сегментов. (Например, образ большой карты можно получить, объединив набор фрагментарных образов, каждый из которых представляет собой образ части исходного бумажного объекта.)
  
  
• Второй тип обработки, которая может быть применена, заключается во внесении в исходный файл корректировок эстетического или технического характера.

Мастер-файлы любого типа имеют постоянную ценность для проводящей оцифровку организации.

Производный файл (для оказания услуг, доступа, доставки, просмотра или вывода) 

В контексте американской «Инициативы по разработке руководств по оцифровке для федеральных органов исполнительной власти США» производный файл (derivative file) по своей природе - это вторичный элемент, обычно рассматриваемый как временная часть коллекции. При создании производных файлов организации используют архивный мастер-файл или порождённый мастер-файл в качестве источника данных, и создают один или несколько производных файлов, каждый из которых оптимизирован для конкретного варианта использования. В числе типичных вариантов использования (каждый из которых может потребовать различной оптимизации) можно назвать:

• предоставление доступа конечным пользователям,
  
  
• высококачественная репродукция,
  
  
• создание текстовых представлений с помощью средств распознавания текста или речи.

Во многих случаях производные файлы, предназначенные для доступа конечных пользователей, создаются с применением сжатие с потерями - например, изображения переводятся в формат JPEG, звукозаписи - в формате MP3 или в видеопотоки в формате сжатом формате AVI. Форматы, выбранные для производных файлов, могут устареть за относительно короткий период времени.

Ссылки:

• Веб-страница руководств, разработанных в рамках американской «Инициативы по разработке руководств по оцифровке для федеральных органов исполнительной власти США», см. https://www.digitizationguidelines.gov/ 
  
  
• Беседа с Джоном Шериданом (John Sheridan, Национальные Архивы Великобритании)
  
  
• Чат с ChatGPT.

Богдан-Флорин Поповичи (Bogdan-Florin Popovici)

Источник: блог Богдана-Флорина Поповичи
https://bogdanpopovici2008.wordpress.com/2025/12/13/mastere-si-copii/ 

Становой хребет подотчётности: Обеспечение долговременной сохранности алгоритмов в автоматизированном обществе. Часть 1: Вопрос, что не давал мне покоя

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 19 ноября 2025 года в социальной сети Substack

У каждой области есть своя тихая паранойя. Это не те громкие идеи, что доминируют на конференциях, и не блестящие новые концепции, которые мелькают в маркетинговых презентациях, - а куда менее привлекающие внимание вопросы, которые таятся в глубине всего этого. Они часто лишь подразумеваются, и ставятся явным образом лишь тогда, когда разговор переходит на более глубокие материи. Их чаще обсуждают в кулуарах, чем на трибуне. Кто-то наклоняется к Вам и задаёт вопрос, который кажется немного не в тему, слегка выбивается из общего потока, но всё же каким-то образом оказывается ближе к сути реальной проблемы.

Для меня одним из таких вопросов является обеспечение долговременной сохранности алгоритмов.

Этот вопрос никогда не выходил на передний план и оставался в тени, пока во всём мире в центре внимания были искусственный интеллект, автоматизация, объяснимость моделей, прорывы в сфере глубокого обучения и последовавшая за этим регуляторная «золотая лихорадка». Большинство коллег говорило об аудите на наличие предвзятости, об отчётах о прозрачности или о метриках справедливости. Эти темы, безусловно, важны, но все они обращаются вокруг чего-то большего, чего-то такого, на что мало кто хотел взглянуть напрямую.

Проблема обеспечения сохранности алгоритмов не кричала о себе, а, скорее, «тянула за рукав».

Я чувствовал это, когда слушал, как коллеги описывают давление, которое регуляторы оказывают на организации, требуя от них раскрывать, каким именно образом принимаются автоматизированные решения. Эта тяга ощущалась, когда я читал о судебных делах, где стороны пытались восстановить логику, которая привела к ключевому по важности результату. И снова я почувствовал это, когда оказался в центре дискуссий на конференции iPRES (речь идёт о Международной конференции по обеспечению долговременной сохранности электронных объектов – о ней см. подборку постов http://rusrim.blogspot.com/search/label/iPRES . 21-я конференция iPRES 2025 года проходила в Веллингтоне, Новая Зеландия, с 3 по 7 ноября 2025 года – Н.Х.), в которых специалисты по обеспечению долговременной сохранности выражали свою озабоченность тем, что артефакты алгоритмических систем исчезают быстрее, чем учреждения успевают их захватить.

Поначалу я отмахивался от этого чувства, считая данный вопрос одной из подчинённых тем в рамках более широкого обсуждения стратегического управления искусственным интеллектом (ИИ). Я убедил себя в том, что обеспечение сохранности алгоритмов - это нишевая проблема, которую мы в конечном итоге решим благодаря более совершенным инструментам, более эффективной практике документирования и/или очередному «пакету» стандартов.

Некоторые вопросы, однако, отказываются подчиняться попыткам их классифицировать. Они бродят по периферии Ваших размышлений и «подёргивают» Вас время от времени до тех пор, пока не привлекут, наконец, Ваше внимание.

В конце концов, мне пришлось перестать притворяться, что проблемы не существует. Больше невозможно было рассматривать обеспечение сохранности алгоритмов как вспомогательную идею. Данный вопрос стал поворотным пунктов, стержнем, краеугольным камнем …

Чем больше я изучал нормативно-правовые акты Евросоюза, Великобритании и США, тем более отчётливо видел одно и то же. Все эти законы, нормативные акты и руководства были полны требований, которые имели смысл только в том случае, если организации обеспечивали сохранность нужных доказательств, в нужное время и адекватным образом. Воспроизводимость, объясняемость, происхождение данных, версионность моделей, журналы аудита, документация о рисках, право оспаривания – все эти ожидания формируют архитектуру подотчётности, которая полностью рушится, если отсутствуют соответствующие документы.

И тут в голове словно что-то негромко щелкнуло. Просто фрагменты сложились в цельную картину, произошло тихое осознание.

По всему миру регуляторы создавали структуры стратегического управления, полностью зависящие от сохранности алгоритмов. Они не использовали язык архивной науки, но фактически описывали архивные функции, инстинктивно обращаясь к тем самым понятиям и концепциям, с которыми архивисты и специалисты по управлению документами работали десятилетиями – таким, как «контекст», «происхождение (provenance)», «жизненный цикл», «доказательства», «память».

Обеспечение сохранности алгоритмов не было второстепенной темой, оно являлось недостающим центральным звеном. И когда я понял это, у меня этот вопрос застрял в голове, как кость в горле ….

Люди порой смеются, когда я использую эту метафору – «кость в горле» (в оригинале автор использовал английское выражение «bone was in my mouth» – Н.Х.), но она точна. Некоторые вопросы отказываются оставить тебя в покое, как только ты осознаёшь всю их серьёзность, и ты продолжаешь думать о них, потому что они определяют всё остальное. Ты продолжаешь «грызть» их, потому что о них невозможно забыть. Ты не прекращаешь размышлять о них, потому что что-то в глубине твоей души знает, что поступить иначе было бы ошибкой.

Именно таким вопросом стала для меня тема обеспечения долговременной сохранности алгоритмов - не потому, что я так захотел, а потому, что сам вопрос того потребовал.

Это был вопрос уже не технического, а культурного характера - вопрос демократии, вопрос о том, каким образом общества сохраняют память о решениях, принятых их автоматизированными системами, а также о том, как долго должны сохраняться следы этих решений. Это вопрос о том, у кого будет возможность проводить аудит, оспаривать и/или осознавать те решения, что сформировали их жизни.

Осознав масштабность этого вопроса, я уже не мог смотреть на обеспечение сохранности алгоритмов как на нечто опциональное. Для меня оно теперь стало не упоминаемой вслух основой подотчётности при автоматизированном принятии решений, тем не видимым глазу становым хребтом, от которого зависят будущие права и будущая история.

Эта серия постов рождается из упрямства этой «кости в горле», из непрекращающегося «потягивания за рукав», из осознания того, что обеспечение сохранности алгоритмов - не добавляемая «задним числом» техническая затея, а структурная необходимость.

Если наш жизненный опыт в 21-м веке будут определять наши автоматизированные системы, то обязательно должны быть сохранены относящиеся к ним свидетельства и доказательства. И если эта работа не будет выполнена, то будущие поколения унаследуют лишь фрагменты современной истории, а историкам, аудиторам, исследователям и пострадавшим людям останется лишь гадать о том, что на самом деле произошло.

«Кость» всё ещё на месте... И вот так начинается эта серия постов.

Мой комментарий: Является ли обеспечение долговременной сохранности алгоритмов чем-то совершенно новым, чего не было раньше? Конечно же, нет! С момента создания письменности и начала её использования в государственном управлении, общественной жизни и в деловой деятельности (а отчасти и до этого), человечество активно занималось сохранением алгоритмов в виде религиозных догматов (в письменном и устном виде), нормативно-правовых актов, правил, руководств, рекомендаций и стандартов разного рода и различного уровня и степени обязательности. Архивисты и специалисты по управлению документами знают, что многим из этих «алгоритмов» всегда устанавливались постоянные и длительные сроки хранения. 

По сути дела, сейчас изменилось лишь то, что раньше эти алгоритмы писались для людей, а теперь значительная часть из них пишется и кодируется для исполнения машинами – и в результате эта часть алгоритмов выпала из сферы внимания тех специалистов, которые традиционно занимались сохранением памяти общества и документов, отражающих государственную и деловую деятельность. К настоящему моменту правовая и деловая значимость машинных алгоритмов уже не уступает значимости человеко-ориентированных алгоритмов, поэтому появилось осознание существующего пробела и потребность его каким-то образом закрыть.

Структура серии постов

Прежде чем начать разговор, будет полезно наметить структуру этой серии постов. Эти эссе образуют связную последовательность, идущую от личных размышлений к анализу нормативно-правовой базы, к структуре доказательств, к архивным суждениям и, наконец, к более глубокому вопросу о том, как должны быть спроектированы системы, чтобы создавать свою собственную память. Каждая часть серии будет самостоятельной, но вместе они сформируют более широкое понимание того, что означает обеспечение сохранности алгоритмов на практике, и почему это важно.

• Часть 1 «Вопрос, что не давал мне покоя» закладывает основу для дальнейшей дискуссии, объясняя, как вопрос обеспечения сохранности алгоритмов превратился из второстепенного в требующую внимания постоянную проблему первого плана.
  
  
• Часть 2 «Регуляторы создают архивы, не говоря об этом вслух» - в ней исследуется, как глобальные дискуссии о политиках на самом деле, не привлекая к этому внимания, вращаются вокруг «архивных» понятий и концепций. Регуляторы начали требовать обеспечения прослеживаемости, воспроизводимости и объяснимости, причем таким образом, который предполагает наличие сохранённых свидетельств / доказательств (пусть даже сами регуляторы это так не называют).
  
  
• Часть 3 «Закон Евросоюза об искусственном интеллекте: Слегка закамуфлированный свод требований к документированию и архивированию» - в этой части подробно рассматриваются требования данного закона к системам ИИ с высоким уровнем риска, и показывает, как способность исполнять требования законодательства зависит от тех же структур и функций, которые поддерживают подотчётность, строящуюся на основе архивных документов.
  
  
• Часть 4 «Рынки, память и машинная логика» посвящена вопросам финансового регулирования. Рынки первыми осознали, что стратегическое управление автоматизированными системами невозможно наладить без документов, а из их подходов к реконструкции событий можно извлечь важные уроки.
  
  
• Часть 5 «Параданные, данные о процессах и доказательства, которые мы почти потеряли» знакомит с «пакетом для сохранения алгоритмов» (Algorithm Preservation Package). В этом эссе рассматриваются пять категорий доказательств, которые необходимо сохранить для того, чтобы в будущем можно было понять поведение алгоритмов.
  
  
• Часть 6 «Экспертиза ценности и два аспекта ценности» - здесь тема обсуждения с доказательств переключается на смысл. В данной части рассматривается, как принимаются решения о том, какие материалы заслуживают сохранения. Экспертиза ценности становится этически-значимым актом, связывающим принимаемые сегодня решения с их пониманием завтра.
  
  
• Часть 7 «Запроектированное управление документами: Архитектура памяти» завершает серию, показывая, почему системы должны быть спроектированы таким образом, чтобы создавать и сохранять свидетельства своего функционирования. Без процесса проектирования, учитывающего необходимость сохранения памяти, обеспечение сохранности алгоритмов становится нереализуемым, а при его наличии становится возможным обеспечение подотчётности.

Вместе эти семь эссе являются путеводной нитью, позволяющей познакомиться с одной из важнейших и наименее изученных областей стратегического управления в автоматизированной среде. Обеспечение долговременной сохранности алгоритмов - не второстепенная тема, а структурная основа, поддерживающая справедливость, права, доверие, а также историческую память нашей технологической эпохи.

(Продолжение следует, см. http://rusrim.blogspot.com/2026/01/2-1.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving 

Ожидая рейса в аэропорту, самое время углубиться в вопросы объяснимого ИИ и архивного мышления

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 8 ноября 2025 года в социальной сети Substack

Я всё ещё в пути – точнее, в ожидании вылета :) То ли из-за погоды, то ли из-за перестановок в расписании, мой авиарейс снова отложили. Поэтому, как любой архивист с беспокойным умом, застрявший в зале ожидания радом с точкой для подзарядки, я снова открыл свой ноутбук.

Этот пост является продолжением предыдущего, который был первым наброском рассказа о том, как может выглядеть объяснимый ИИ (Explainable AI, XAI) с точки зрения управления документами, архивной теории и информатики. Предшествующий пост был написан в более спокойный момент, когда я начал связывать прозрачность архивов с алгоритмической объяснимостью. Теперь, будучи (временно) прикованным к земле и потягивая мутноватый крепкий эль IPA, я углубился в само исследование, пытаясь сформировать «строительные леса» для этих идей.

 

 

Переосмысление представления об управлении документами

Отправной точкой по-прежнему является опубликованная в 2020 году работа Дженни Банн (Jenny Bunn) «Работа в ситуациях, когда важна прозрачность: Взгляд на объяснимый ИИ с точки зрения управления документами» (Working in Contexts for Which Transparency Is Important: A recordkeeping view of Explainable Artificial Intelligence (XAI), https://discovery.ucl.ac.uk/id/eprint/10092921/3/Bunn_Explainable_Artificial_Intelligence__final.pdf ). В этой статье Банн рассматривает объяснимость ИИI не как «техническую» дополнительную функциональную возможность, а как необходимое для управления документами условие: объяснимость становится элементом того, что делает документ подотчётным. Банн в своей статье ставит вопрос о том, какие новые формы документов возникают в том случае, когда сам процесс принятия решений опосредуется машинным обучением. Это правильный вызов.

Далее следует статья 2021 года Джованни Колавицца (Giovanni Colavizza), Тобиаса Бланке (Tobias Blanke), Чарльза Джергенса (Charles Jeurgens) и Джулии Ноордеграаф (Julia Noordegraaf) из университета Амстердама, Голландия, на тему
«Архивы и ИИ: Обзор текущих дискуссий и будущих перспектив» (Archives and AI: An Overview of Current Debates and Future Perspectives, https://dl.acm.org/doi/full/10.1145/3479010 ). В ней приведен панорамный обзор того, как автоматизация видоизменяет традиционные архивные принципы, такие как происхождение, первоначальный порядок, проведение экспертизы ценности. Наблюдение авторов о том, что алгоритмическое посредничество потихоньку меняет то, что архивисты считают контекстом, нашло отклик в моих мыслях.

И есть ещё точка зрения Патрисии Фрэнкс (Patricia Franks), чья статья 2022 года «Позиционирование параданных как процессуальной документации для ИИ» (Positioning Paradata as AI Processual Documentation,  https://www2.archivists.org/sites/all/files/Franks_In%20the%20Pursuit%20of%20Archival%20Accountability.pdf ) вводит понятие «параданных» - метаданных о создании метаданных – в качестве одной из форм артефактов, обеспечивающих подотчётность. В мире объяснимого ИИ это понятие транслируется в следы процессов, журналы решений, пояснения к моделям. Всё это является частью документации.

Мой комментарий: Подборку постов на моём блоге о параданных см. здесь: https://rusrim.blogspot.com/search?q=параданные 

Доклад Чжан Луфаня (Lufan Zhang) и Пола Скифлита (Paul Scifleet) из Технологического университета Суинберна (г. Мельбурн,  Австралия) на конференции 2024 года на тему «Прокладывая курс для трансформации управления корпоративной информацией: Объяснимость и прозрачность ИИ в практике управления корпоративной информацией» (Charting the Transformation of Enterprise Information Management: AI Explainability and Transparency in EIM Practice, https://www.scitepress.org/Papers/2024/129511/129511.pdf ) распространяет всё это на уровень стратегического управления. Одно дело - документировать решения, принятые ИИ, и совсем другое - интегрировать эту документацию в концептуальные рамки жизненного цикла и обеспечения исполнения законодательно-нормативных требований.

В совокупности эти работы отражают то, как наша предметная область без лишнего шума переосмысливает себя: архивы начинают восприниматься не как пассивные хранилища доказательств, а как системы, которые сами должны давать объяснения.

Информационно-теоретический подтекст

На этот раз мне также захотелось узнать, что говорят специалисты по информатике, и это привело меня к литературе по вопросу «узкого горлышка информационного потока» (Information Bottleneck, IB) - элегантному математическому аналогу концепции архивного происхождения.

Мой комментарий: Теория «узкого горлышка информационного потока» утверждает, что по мере прохождения данных через слои нейронной сети каждый слой фильтрует и извлекает информацию, сохраняя только то, что необходимо для конечного результата.

«Обзор по вопросу узкого горлышка информационного потока» (A Survey on Information Bottleneck, https://dl.acm.org/doi/10.1109/TPAMI.2024.3366349 ) 2024 года авторов Ху Шидже (Shizhe Hu), Лю Дженджен (Zhengzheng Lou), Янь Сяочьен (Xiaoqiang Yan) и Е Яндун (Yangdong Ye) из китайского университета Дженджоу (Zhengzhou), описывает следующую логику: всякое объяснение является компромиссом между компактностью и точностью. Чем лаконичнее объяснение, тем меньше информации оно несёт - и наоборот. Эти идеи не так далеки от наших собственных архивных противоречий в вопросах экспертизы ценности и обеспечения долговременной сохранности документов.

Далее, в 2025 году на сайте arXiv был выложен «Комплексный обзор самоинтерпретируемых нейронных сетей» (A Comprehensive Survey on Self-Interpretable Neural Networks, https://arxiv.org/html/2501.15638v2 ) авторов Цзы Ян (Yang Ji) и др., развивающий эту идею. Это системы, спроектированные таким образом, чтобы «запроектированным» образом генерировать объяснения собственных решений, оптимизируя тот же баланс, который мы стремимся достичь при работе с документами - информации должно быть достаточно для понимания, но не настолько много, чтобы система рухнула под собственной тяжестью.

В исследовании Линдси Саннеман (Lindsay Sanneman), Майкала Такера (Mycal Tucker) и Джули Шах (Julie A.Shah) из Массачусетского технологического института (MIT) на тему «Характеризация понимания через представление об «узком горлышке информационного потока» - Компромисс с точки зрения рабочей нагрузки в человеко-ориентированном объяснимом ИИ» (An Information Bottleneck Characterization of the Understanding - Workload Tradeoff in Human-Centered Explainable AI,  https://dspace.mit.edu/bitstream/handle/1721.1/155782/3630106.3659032.pdf  ) вся проблема переосмысливается как компромисс с точки зрения рабочей нагрузки на человека. Чем подробнее объяснение, тем большую когнитивную нагрузку оно налагает. Это до боли знакомо любому, кто когда-либо пытался написать или прочитать чересчур насыщенный стандарт метаданных.

Итак, пока архивный мир спорит о том, какие нужно сохранять журналы аудита ИИ, специалисты по информатике потихоньку подсчитывают, какого объёма объяснений будет достаточно. Это неожиданный диалог, в котором энтропия встречается с подотчётностью.

Почему это (всё ещё) важно 

Если в моём предыдущем посте ставился вопрос о том, можно ли в обсуждении упоминать рядом архивы и объяснимый ИИ, то в этом посте ответе обосновывается положительный ответ на него.

В сфере стратегического управления документами и информацией имеется прямая связь. Происхождение, подотчётность, прозрачность - это не необязательные добродетели; они являются необходимыми условиями доверия. Объяснимый ИИ - это просто следующий рубеж, на котором должно быть обеспечено выполнение данных условий.

В информатике вопрос релевантности рассматривается в обратном направлении. Такие концепции, как «взаимная информация» (mutual information) и сжатие предлагают терминологию - и даже исчисление – способствующую понимания того, что означает сохранить суть объяснения, не утонув при этом в данных.

Я постоянно возвращаюсь к двум вопросам, которые, на мой взгляд, определяют пересечение этих миров:

• Что мы должны задокументировать тогда, когда система ИИ принимает решение? - и
  
  
• Какая точность объяснения необходима (или даже возможна), учитывая ограничения, установленные в информатике?

Между этими вопросами лежит нарождающаяся практика управления документами в контексте ИИ, в которой качественная этика архивов соединяется с количественной логикой информатики.

На табло замигал номер моего рейса, предвещая появление нового оповещения … Завершая данный пост, скажу: я убеждён, что разговор, который нам больше всего нужен, это обсуждение вопроса о том, как заставить машины объяснять свои решения и действия - и как сохранить эти объяснения в качестве документов.

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/caught-between-gates 

Новая статья «Решение проблем обеспечения подотчётности: Роль параданных в документировании и стратегическом управлении ИИ»

12 мая 2025 года сайт международного журнала «Документация» (Journal of Documentation, см. https://www.emerald.com/insight/publication/issn/0022-0418 ), публикуемого издательством Emerald, выложил новую статью Скотта Кэмерона (Scott Cameron), Патриции Фрэнкс (Patricia C. Franks), Исто Хувила (Isto Huvila) и Нормана Мурадяна (Norman Mooradian) «Решение проблем обеспечения подотчётности: Роль параданных в документировании и стратегическом управлении ИИ» (Navigating accountability: the role of paradata in AI documentation and governance), см. https://www.emerald.com/insight/content/doi/10.1108/jd-01-2025-0009/full/html или https://doi.org/10.1108/JD-01-2025-0009 . Статья (на английском языке) находится в платном доступе.

Мой комментарий: Термин и тема параданных постепенно набирают популярность среди представителей архивной науки, и я уже упоминала его на блоге – например, здесь: https://rusrim.blogspot.com/2023/05/blog-post_27.html и http://rusrim.blogspot.com/2025/03/blog-post_11.html . Если уже ставшие привычными «метаданные» - это данные о данных, контенте и/или документах, то «параданные» - это сведения о процессах, в которых создавались и использовались данные, контент и/или документы (поэтому если термин «метаданные» трактовать достаточно широко, то «параданные» можно, в принципе, рассматривать как подвид «метаданных»).

 

В размещённой на сайте аннотации на статью отмечается следующее:

Цель: Ширящееся использование искусственного интеллекта (ИИ) побудило правительства по всему миру разрабатывать руководства и законодательство для максимизации преимуществ ИИ при одновременной минимизации рисков для людей и организаций. В настоящей статье рассматривается, как опубликованные требования к документации, выявленные в выборке авторитетных источников, решают проблемы создания, захвата и обеспечения долговременной сохранности документов, касающихся разработки, внедрения и использования инструментов ИИ для целей подотчётности и прозрачности; и как аналитическая концепция «параданных» может помочь при решении проблем управления документами, возникающих при проектировании, разработке и внедрении систем ИИ.

Проект / методология/ подход : Ознакомление и концептуальный анализ набора относящихся к ИИ законов, нормативных актов и концепций, опубликованных Евросоюзом, Великобританией, США, Канадой и Сингапуром.

Результаты: В рассмотренных авторитетных источниках четко описываются виды деятельности, подразумевающие необходимость создания и обеспечения сохранности документов. Выявление конкретных материалов, необходимых для формирования достаточного объема документов, необходимого для доказывания ответственного характера внедрения и эксплуатации ИИ, может быть сложным делом.

Литература по параданным в приложениях ИИ, используемым в управлении документами и архивном деле, может оказаться полезной для выявления соответствующих информационных артефактов, которые необходимо сохранять в процессе разработки и использования ИИ. Параданные производятся теми, кто проектирует и внедряет системы ИИ, а также самими системами ИИ.

Практические выводы: Выявление адекватных параданных, производимых системами ИИ, требует от архивистов развития как способности анализировать, так и словарного запаса, необходимого для обсуждения этих систем с целью обеспечения сохранности доказательств их функционирования в соответствии с законодательством и международными стандартами.

Новизна / ценность:  В литературе по архивному делу и по вопросам управления  информацией подобного рода сравнительный анализ не публиковался.

Источник: сайт журнала Journal of Documentation
https://www.emerald.com/insight/content/doi/10.1108/jd-01-2025-0009/full/html
 

Опубликована новая статья Лючианы Дюранти и Пьерлуиджи Феличиати о параданных (на итальянском языке)

15 мая 2025 года сайт итальянского журнала по информатике, библиотечному и архивному делу JLIS.it и новостная рассылка международного проекта InterPARES Trust AI сообщили об оналйн-публикации в №2 16 тома журнала 6-страничной статьи известных экспертов в области управления документами и архивного дела Лючианы Дюранти (Luciana Duranti) и Пьерлуиджи Феличиати (Pierluigi Feliciati) 9-страничной новой статьи на итальянском языке (с резюме на английском) о параданных, под названием «Ответственное применение искусственного интеллекта в архивах посредством использования параданных» (L’uso responsabile dell’Intelligenza Artificiale negli archivi attraverso l’uso di paradati , название на английском языке: The responsible use of Artificial Intelligence in archives through the use of paradata), см. https://www.jlis.it/index.php/jlis/article/view/636 . Полный текст статьи доступен по ссылке: https://www.jlis.it/index.php/jlis/article/view/636/564 .

     
Авторы статьи Лючиана Дюранти (Luciana Duranti) и Пьерлуиджи Феличиати (Pierluigi Feliciati)

Мой комментарий: Термин и тема параданных постепенно набирают популярность среди представителей архивной науки, и я уже упоминала его на блоге – например, здесь: https://rusrim.blogspot.com/2023/05/blog-post_27.html и http://rusrim.blogspot.com/2025/03/blog-post_11.html . Если уже ставшие привычными «метаданные» - это данные о данных, контенте и/или документах, то «параданные» - это сведения о процессах, в которых создавались и использовались данные, контент и/или документы (поэтому если термин «метаданные» трактовать достаточно широко, то «параданные» можно, в принципе, рассматривать как подвид «метаданных»).

Как отмечают сами авторы, «Целью статьи было познакомить итальянское архивное сообщество с некоторыми результатами международного проекта InterPARES Trust AI (I Trust AI), в особенности с введённым понятием «параданных»».

В аннотации на статью говорится:

«Ответственное использование искусственного интеллекта в архивах; чёткое документирование того, почему, как, кем и с какими результатами использовалась конкретная система или инструмент ИИ в конкретном контексте (условиях), требуют осознанного принятия и использования понятия «параданных» на протяжении всего периода использования такой системы или инструмента, а не только в начале или конце их жизненного цикла.

Параданные представляют собой структурированные и формализованные данные, документирующие методологии, процессы (включая технологические) и лиц (физических и юридических), связанных с созданием документов и управлением ими.

В данной статье основное внимание уделяется параданным, сгенерированным в связи с использованием систем или инструментов ИИ в архивах для выполнения архивных функций.

Содержание статьи в первую очередь отражает результаты исследований, проведенных в рамках международного проекта InterPARES Trust AI (с основной темой обеспечения доверия к ИИ – Н.Х.).»

Источник: сайт JLIS.it
https://www.jlis.it/index.php/jlis/article/view/636
https://www.jlis.it/index.php/jlis/article/view/636/564   
 

Издательство «Шпрингер» выложило в открытом доступе сборник статей о параданных

Эксперт в области управления электронными документами, эксперт ИСО от США Энди Поттер (Andy Potter - на фото) в своём посте от 5 марта 2025 года, опубликованном в социальной сети LinkedIn в учётной записи технического подкомитета ИСО TC46/SC11 «Управление документами», сообщил о публикации издательством «Шпрингер» (Springer) в открытом доступе сборника статей под редакцией Исто Хувила (Isto Huvila), Лизы Андерссон (Lisa Andersson) и Олле Скёльда (Olle Sköld) под названием «Точки зрения на параданные. Исследования и практика документирования знаний о процессах» (Perspectives on Paradata. Research and Practice of Documenting Process Knowledge).

Сборник объёмом 268 страниц текста на английском языке можно скачать по ссылке https://link.springer.com/content/pdf/10.1007/978-3-031-53946-6.pdf . Также есть возможность скачивать отдельные главы (со страницы по адресу https://link.springer.com/book/10.1007/978-3-031-53946-6 ).

Термин и тема параданных постепенно набирают популярность среди представителей архивной науки, и я уже упоминала его на блоге – например, здесь:  https://rusrim.blogspot.com/2023/05/blog-post_27.html . Если уже ставшие привычными «метаданные» - это данные о данных, контенте и/или документах, то «параданные» - это сведения о процессах, в которых создавались и использовались данные, контент и/или документы (поэтому если термин «метаданные» трактовать достаточно широко, то «параданные» можно, в принципе, рассматривать как подвид «метаданных»).

В аннотации на книгу, в частности, отмечается:

«С момента рождения Интернета и начала перехода на цифровые форматы наблюдалось непрерывное ускоряющееся производство информации. Одним из результатов такого роста стала проблема управления огромными объемами информации и обеспечения возможности поиска и извлечения тех материалов, которая одновременно могут быть выявлены и содержат полезную информацию.

Метаданные (иначе, «данные о данных») предоставляют базовую информацию о данных, упрощающую их поиск и использование. В состав типичных элементов метаданных входят название, создатель, дата, тема или ключевое слово, тип ресурса, а также права и способы использования.

Однако бывают случаи, когда пользователям будет полезна дополнительная контекстная информация о процессе и практиках, связанных с созданием данных. «Параданные» - важное понятие, опирающееся на эти идеи; параданные предоставляют необходимые контекстные подробности.

Слово «параданные» образовано с помощью греческого префикса «пара», означающего «находящийся в стороне или за пределами». Данные термин относится к вспомогательным данным, которые «окружают» набор данных и могут охватывать широкий спектр информации, включая, например, отметки времени; а также такие данные опросов, как закономерности ответов и взаимодействия с пользователями, а также тип респондента, позволяющие убедиться, что опрос охватил целевую группу населения.»

Содержание сборника следующее:

• Лиза Андерссон (Lisa Andersson), Исто Хувила (Isto Huvila), Олле Скёльд (Olle Sköld), «Введение в параданные» (An Introduction to Paradata), см. https://link.springer.com/content/pdf/10.1007/978-3-031-53946-6_1
  
  
• Патрик Оливер Шенк (Patrick Oliver Schenk), Симона Ройс (Simone Reuß) «Параданные в опросах» (Paradata in Surveys), см. https://link.springer.com/content/pdf/10.1007/978-3-031-53946-6_2
  
  
• Ричэль Бильдербек (Richèl J. C. Bilderbeek) «Как сделать используемый в ходе исследований программный код полезными параданными» (Making Research Code Useful Paradata), см. https://link.springer.com/content/pdf/10.1007/978-3-031-53946-6_3
  
  
• Костас Пападопулос (Costas Papadopoulos), «Прыжок веры: Ещё раз о параданных, связанных с технологиями 3D-визуализаций» (A Leap of Faith: Revisiting Paradata in 3D Scholarship), см. https://link.springer.com/content/pdf/10.1007/978-3-031-53946-6_4
  
  
• Сара Бьюкенен (Sarah A. Buchanan), Тереза Хантсман (Theresa Huntsman) ««Приправа» из параданных в качестве педагогическая поддержки четырех археологических полевых проектов с участием студентов» (Dustings of Paradata as Pedagogical Support at Four Archaeological Field-School Sites), см. https://link.springer.com/content/pdf/10.1007/978-3-031-53946-6_5
  
  
• Иэн Доусон (Ian Dawson), Пол Рейли (Paul Reilly) «На пути к воплощенным параданным. Дифракционный подход к искусству/археологии» (Towards Embodied Paradata. A Diffractive Art/Archaeology Approach), см. https://link.springer.com/content/pdf/10.1007/978-3-031-53946-6_6
  
  
• Кевин Мэтью Джонс (Kevin Matthew Jones), Дженни Банн (Jenny Bunn) «Анализ данных о приёме материалов на архивное хранение: Пример использования параданных» (Mapping Accessions to Repositories Data: A Case Study in Paradata), см. https://link.springer.com/content/pdf/10.1007/978-3-031-53946-6_7
  
  
• Вут Диллен (Wout Dillen) «Параданные для процессов оцифровки и цифровых научных изданий» (Paradata for Digitization Processes and Digital Scholarly Editions), см. https://link.springer.com/content/pdf/10.1007/978-3-031-53946-6_8
  
  
• Александрия Рейберн (Alexandria J. Rayburn), Андреа Томер (Andrea K. Thomer) «Реконструкция происхождения в долгоживущих системах данных: Проблема захвата параданных в базы данных коллекций учреждений памяти» (Reconstructing Provenance in Long-Lived Data Systems: The Challenge of Paradata Capture in Memory Institution Collection Databases), см. https://link.springer.com/content/pdf/10.1007/978-3-031-53946-6_9
  
  
• Меган Коэн (Megan Cohen), Жарди Мартинес Джордан (Jardi Martinez Jordan), М. Скотт Сотебир (M. Scott Sotebeer), Майкл Стибер (Michael Stiber) «Параданные в системах связи экстренных служб» (Paradata in Emergency Services Communications Systems), см. https://link.springer.com/content/pdf/10.1007/978-3-031-53946-6_10
  
  
• Киаран Трейс (Ciaran B. Trace), Джеймс Ходжес (James A. Hodges) «Роль параданных в алгоритмической подотчетности» (The Role of Paradata in Algorithmic Accountability), см. https://link.springer.com/content/pdf/10.1007/978-3-031-53946-6_11
  
  
• Саара Пакален (Saara Packalén), Пекка Хенттонен (Pekka Henttonen) «Добавление параданных о документных процессах посредством планов управления информацией» (Adding Paradata About Records Processes via Information Control Plans), см. https://link.springer.com/content/pdf/10.1007/978-3-031-53946-6_12
  
  
• Лена Энквист (Lena Enqvist) «Параданные как инструмент юридического анализа: Использование процессов, связанных с данными о данных» (Paradata as a Tool for Legal Analysis: Utilising Data-on-Data Related Processes), см. https://link.springer.com/content/pdf/10.1007/978-3-031-53946-6_13
  
  
• Исто Хувила (Isto Huvila), Лиза Андерссон (Lisa Andersson), Олле Скёльд (Olle Sköld) «Выводы по итогам обсуждения: Использование параданных для управления информацией и знаниями» (Concluding Discussion: Paradata for Information and Knowledge Management), см. https://link.springer.com/content/pdf/10.1007/978-3-031-53946-6_14

Источник: сайт LinkedIn / сайт Springer
https://www.linkedin.com/feed/update/urn:li:activity:7302787712846057472
https://link.springer.com/book/10.1007/978-3-031-53946-6

В международном журнале «Вычисления и культурное наследие» опубликована статья «Позиционирование параданных: Концептуальные рамки документации ИИ-процессов в контексте архивного дела и управления документами»

Как сообщил 28 апреля 2023 года сайт американской Ассоциация по вычислительной технике (Association for Computing Machinery, ACM), в издаваемом ассоциацией международном журнале «Вычисления и культурное наследие» (ACM Journal on Computing and Cultural Heritage) была опубликована статья Скотта Кэмерона (Scott Cameron), Пэт Фрэнкс (Patricia C. Franks) и Бабака Хамидзаде (Babak Hamidzadeh) под названием «Позиционирование параданных: Концептуальные рамки документации ИИ-процессов в контексте архивного дела и управления документами» (Positioning Paradata: A Conceptual Frame for AI Processual Documentation in Archives and Recordkeeping Contexts) объёмом 22 страницы, полный текст которой доступен по адресу https://doi.org/10.1145/3594728 , прямая ссылка на PDF-файл: https://dl.acm.org/doi/pdf/10.1145/3594728 .

Статья интересна обсуждением концепции «параданных», которые предлагается отличать от «метаданных» (правда, полезность такого различение, на мой взгляд, довольно-таки спорная). Параданные, в частности, привлекли внимание в рамках авторитетного международного проекта InterPARES, текущий этап которого связан с обеспечением доверия к технологиям искусственного интеллекта.

В статье упоминаются следующие интерпретации понятия «параданные»:

• Статистические науки: параданные - качественные или количественные данные о процессе сбора или компоновки статистических данных.
  
  
• Виртуальная визуализация культурно-исторического наследия (Бентковска-Кафел - Bentkowska-Kafel): параданные отражают выбор вариантов дизайна, сделанный в процессе создания визуализации объектов культурно-исторического наследия.
  
  
• Документация по исследовательским наборам данных (Huvila): параданные - «данные, которые могут помочь пролить свет на прошлые, текущие и потенциальные процессы, связанные с данными»; категория метаданных, которые также могут пересекаться с контекстной информацией и информацией о происхождении, в зависимости от конкретного случая.
  
  
• Мнение проекта InterPARES (разделяемое авторами статьи): параданные – информация о процедурах и инструментах, используемых для создания и обработки информационных ресурсов, вместе с информацией о лицах, выполняющих эти процедуры.
  
  Сравните: метаданные - информация об ином информационном ресурсе
  
  
• Общие моменты, присутствующие во всех источниках: параданные –информация о других информационных ресурсах; фиксируется как с целью документирования процессов создания, курирования и/или управления другими информационными ресурсами.

В резюме статьи отмечается следующее:

«Появление сложных инструментов искусственного интеллекта и машинного обучения бросает вызов специалистам в области архивного дела и управления документами, которые привыкли понимать и документировать действия людей, а не часто непрозрачные процессы функционирования сложных ИИ-систем.

На предварительном этапе работы термин «параданные» был предложен для описания уникальных потребностей в документации, которые возникают у архивистов, использующих ИИ-инструменты для обработки документов в своих коллекциях.

В контексте использования ИИ архивистами, параданные здесь понимаются как зафиксированная и сохраняемая информация об обработке документов с помощью ИИ-инструментов; это категория данных, которая определяется как её связью с другими наборами данных, так и документальной целью, которой она служит.

В данной статье приводится обзор соответствующей литературы в трёх контекстах, с целью сбора соответствующих научных знаний, которые архивисты могут использовать для формирования надлежащих практик документирования ИИ. Начиная от статистических методов социальных наук и области визуального культурно-исторического наследия, в статье обсуждаются существующие определения «параданных» и их неоднозначная, часто контекстно-зависимая взаимосвязь с существующими категориями метаданных.

Подходя к проблеме с социотехнической точки зрения, литература по объяснимому ИИ (explainable AI) подчеркнуто настаивает на том, чтобы объяснимость соответствовала сформулированным потребностям конкретных пользователей -потребностям, которые архивисты могут лучше сформулировать, используя концептуальные рамки параданных.

Что особенно важно, в статье ИИ рассматривается как вызов подотчетности, прозрачности и беспристрастности в архивах, связанный с введением незнакомого и не являющегося человеком действующего лица – вызов, который раздвигает границы существующей архивной практики и требует разработки новых концепций и словарей для формирования облика будущих технологических и методологических разработок в архивах.»

Источник: сайт ACM
https://doi.org/10.1145/3594728
https://dl.acm.org/doi/pdf/10.1145/3594728