четверг, 16 июля 2026 г.

ИСО: Опубликован новый технический отчёт ISO/TR 23081-4:2026 «Метаданные документов – Часть 4: Отчёт о наборах элементов метаданных»

В конце июня 2026 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации нового технического отчёта ISO/TR 23081-4:2026 «Информация и документация - Метаданные документов – Отчёт о наборах элементов метаданных» (Information and documentation - Metadata for records - Part 4: Report on metadata element sets) объёмом 18 страниц, см. https://www.iso.org/standard/89771.html и https://www.iso.org/obp/ui/en/#!iso:std:89771:en .

Документ подготовлен техническим подкомитетом ИСО TC46/SC11 «Управление документами». О работе над ним я уже рассказывала в постах на блоге, см. http://rusrim.blogspot.com/2025/03/isocd-tr-23081-4-4.html , http://rusrim.blogspot.com/2025/10/isodtr-23081-4-4.html и http://rusrim.blogspot.com/2026/05/isodtr2-23081-4-4.html .

Данный документ входит в состав серии стандартов ISO 23081, посвящённой метаданным для управления документами. В состав этого семейства также входят:

  • Стандарт ISO 23081-1:2017 «Информация и документация – Процессы управления документами – Метаданные документов – Часть 1: Принципы» (Information and documentation - Records management processes - Metadata for records - Part 1: Principles, см. https://www.iso.org/standard/73172.html ), о нём также см. мой пост http://rusrim.blogspot.com/2017/11/blog-post_13.html

    Данный стандарт (в редакции 2006 года) был адаптирован в России как ГОСТ Р ИСО 23081-1-2008 «Система стандартов по информации, библиотечному и издательскому делу. Процессы управления документами. Метаданные для документов. Часть 1. Принципы», https://protect.gost.ru/gost/details/1cc0c50b-6ff1-46ab-b7ba-95110a0e1c15   

  • Стандарт ISO 23081-2:2021 «Информация и документация – Метаданные для управления документами – Часть 2: Концептуальные вопросы и вопросы внедрения» (Information and documentation - Metadata for managing records - Part 2: Conceptual and implementation issues, см. https://www.iso.org/standard/81600.html ), о нём также см. мой пост http://rusrim.blogspot.com/2021/09/blog-post_502.html .

  • Технический отчет ISO/TR 23081-3:2011 «Информация и документация – Управление метаданными для документов – Часть 3: Метод самооценки» (Information and documentation - Managing metadata for records - Part 3: Self-assessment method, https://www.iso.org/standard/57121.html ), о нём также см. мой пост http://rusrim.blogspot.com/2011/08/iso-23081.html .

По словам национального эксперта ИСО от США Энди Поттера (Andy Potter), «
Метаданные имеют ключевое значение для обеспечения аутентичности, надежности и пригодности к использованию документов во времени... В данном документе представлены результаты изучения наборов элементов метаданных, разработанных в разных странах и организациях с использованием рекомендаций, содержащихся в стандартах серии ISO 23081 «Информация и документация - Метаданные документов». В нём собраны примеры реальных внедрений, показывающие, каким образом концептуальные структуры метаданных интерпретируются, адаптируются и применяются на практике.»

Разработчики документа проанализировали 25 наборов элементов метаданных, выпущенных в период с 2015 по 2025 год. Почти все они происходят из англо- и франкоговорящих стран, или из международных организаций, в которых рабочим языками являются английский и французский. Технический отчёт содержит статистику частоты использования определенных элементов метаданных, которая может представлять определённый интерес для специалистов по управлению документами и для разработчиков документных систем.

Во вводной части документа отмечается:

«В настоящем документе представлен обзор наборов элементов метаданных, разработанных в разных странах и различными организациями в соответствии со стандартами серии ISO 23081.»

Мой комментарий: Это утверждение, с моей точки зрения, не вполне корректное, поскольку наиболее популярные в мире схемы метаданных разрабатывались независимо от стандартов серии ISO 23081.

Содержание документа следующее:

Предисловие
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Контекст
5. Этапы и методология
5.1. Сбор наборов элементов метаданных
5.2. Методология
5.3. Выводы
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/89771.html 
https://www.iso.org/obp/ui/en/#!iso:std:89771:en

среда, 15 июля 2026 г.

Происхождение без контекста: Что история с учётными карточками членов НСДАП позволяют понять об искусственном интеллекте, архивах и новом информационном порядке (3)

(Продолжение, предыдущую часть см. https://rusrim.blogspot.com/2026/07/2.html )

Протокол UVA: Три основополагающих принципа и три проблемы

Протокол архивного ИИ Университета Вирджинии, опубликованный в январе 2026 года, предлагает концепцию стратегического управления, опирающуюся на ключевое правило: «необратимые» модели ИИ получают доступ к архивным материалам, только если на практике может быть продемонстрирована аутентичность и осмысленная атрибуция на уровне отдельных элементов, - и если архивное учреждение сохраняет за собой на основании договора возможность остановить дальнейшее использование модели.

Согласно протоколу UVA, оценка организуется на основе трёх основополагающих принципов. Анализ ситуации с документами НСДАП и базы Die Zeit по каждому из этих принципов весьма поучителен - не столько потому, что позволяет вынести однозначный вердикт, сколько потому, что он точно показывает, где в настоящее время существует эффективное стратегическое управление архивным ИИ, а где его нет.

Принцип первый: Происхождение и атрибуция

Первый критерий протокола UVA сформулирован четко: если ИИ не может указать на источники выдаваемых им результатов, ему нельзя использовать архивные материалы. Там, где происхождение и атрибуция не могут быть обеспечены в соответствии со стандартами организации, архивные материалы не должны использоваться для обучения ИИ или для общедоступных ИИ-сервисов.

Применительно к документам НСДАП этот принцип действует одновременно в двух направлениях. 

Где сведения о происхождении сохраняются. Цепочка ответственного хранения этих документов необычайно хорошо задокументирована. Это: Штаб-квартира НСДАП в Мюнхене → захват армией США, 1945 г. → Берлинский документационный центр → Федеральный архив Германии, 1994 г. (оригиналы) → Архивный фонд NARA 242 (микрофильмы) → оцифровка, 2025 г. 

Метаданные Национальных Архивов на уровне серий сохраняют эти сведения о происхождении коллекции. Инструмент издания Die Zeit связывает результаты поиска с изображениями отдельных карточек в каталоге Национальных Архивов. В этом узком смысле атрибуция источника сохраняется.

Где сохранение сведений о происхождении не обеспечивается. Протокол предусматривает наличие сведений о происхождении на уровне отдельных элементов. Национальные Архивы США практически не создавали описательные метаданные на уровне отдельных элементов – т.е. для отдельных карточек. 

Впоследствии поддерживаемый ИИ конвейер обработки данных, использованный изданием Die Zeit, сгенерировал новые структурированные данные на основе этих изображений, - но этот производный слой сам по себе имеет не очень много документированной информации о происхождении. Отсутствует опубликованная методология, объясняющая, какие поля были проверены человеком, а какие – заполнены на основе выводом ИИ; насколько часты были ошибки при распознавании готического почерка; как обрабатывались дубликаты и аномальные карточки; и как система решала проблему примерно 20% не сохранившихся оригинальных документов о членстве в партии. 

Когда пользователи ведут поиск в базе данных и получают результат, они сталкиваются с имеющими сомнительную достоверность данными, извлеченными искусственным интеллектом, которые связаны с архивным графическим образом посредством в значительной степени непрозрачного процесса извлечения. Происхождение сохраняется на уровне графического образа. Оно становится гораздо менее ясным на том уровне, с которым пользователи непосредственно взаимодействуют.

База данных Die Zeit, говоря на языке протокола, представляет собой общедоступный ИИ-сервис, построенный на основе архивных материалов. При строгом толковании первого основополагающего принципа, проект вызывает серьезные опасения в плане происхождения и атрибуции. ТВ то же время издание Die Zeit не было обязано соблюдать протокол UVA AAIP, который не является обязательным и не был разработан с учётом такого варианта использования. 

Проблема здесь не в недобросовестности -  это одно их проявлений отсутствия надлежащего стратегического управления. Концепция UVA предполагает, что архив ведет переговоры о предоставлении доступа к контролируемым коллекциям. В случае же с документами НСДАП речь шла об общедоступных оцифрованных документах, трансформированных «вниз по потоку» в систему публичного поиска с использованием ИИ, находящуюся вне контроля архива.

Принцип второй: Обязанности доноров, сообщества и этические обязательства

Второй основополагающий принцип протокола UVA требует уважения всех обязательств, взятых на себя в дарственных актах, документах о приёме-передаче и в договорах купли-продажи, - защищая сообщества доноров от повторного использования их материалов для обучения ИИ без согласия.

В ситуации с документами НСДАП данный принцип нарушается таким образом, который авторы протокола не могли в полной мере предвидеть.

Документы НСДАП были захвачены, а не переданы в дар. В собственном руководстве Национальных Архивов признаётся, что некоторые материалы в группе документов (фонде) 242 могли иметь частное происхождение, и что их захват, как считается, не лишил первоначальных владельцев каких-либо прав на литературную собственность. Концепция обязанностей доноров была разработана для ситуации добровольной передачи документов на архивное хранение. В ней нет терминологии для обозначения захваченных документов вражеского государства, где институциональным «создателем» является аппарат нацистской партии, а захватчиком – правительство США

Затронутыми сообществами являются те лица, сведения о которых содержатся в документах, а не те, кто их передал документы в архивы. Это более глубокая проблема. Интересы «заинтересованных сообществ» в данном случае не связаны ни с одним институциональным органом, передающим документы в архивы. Эти интересы принадлежат миллионам людей, имена которых указаны на карточках, - и их потомкам. 

Эти люди никогда не давали согласие на индексацию сведений о них в общедоступной системе с возможностью поиска с поддержкой ИИ, которая отвечает на запросы за секунды. Федеральный архив Германии сохраняет ограничения доступа к немецким оригиналам этих документов именно из-за неистекших сроков действия защиты персональных данных; в его рекомендациях отмечается, что простой полнотекстовый поиск по базе данных невозможен, а возможность доступа связана с правовыми условиями и обязательствам. Национальные Архивы США (NARA), хранящие не оригиналы, а микрофильмированные копии документов, и действующие в соответствии с американским, а не немецким законодательством о защите персональных данных, столкнулись с иными ограничениями - и решили вопрос по-другому.

Протокол UVA не содержит явных положений для того, что мы могли бы назвать сценарием «перевернутого сообщества» (inverted community): случаев, когда сообщество с наиболее сильными интересами этического плана - это не сообщество доноров документов, а сообщество субъектов документов. Это явный пробел в концепции протокола, и случай с документами НСДАП делает его видимым, причём в ситуации с максимально возможными последствиями.

Принцип третий: Институциональный контроль

Протокол UVA проводит четкое различие между двумя типами использования ИИ. Обучение для целей универсального использования - при котором данные необратимым образом поглощаются в модель - должно быть запрещено по умолчанию. Используемые во внутренней работе и контролируемые модели для поиска - которые изучают данные, не поглощая их (при этом исходные материалы хранятся под институциональным контролем) - обычно разрешены.

Именно здесь ситуация с документами НСДАП и базой данных Die Zeit наиболее непосредственно сталкивается с требованиями протокола - и именно здесь структурный пробел наиболее широк.

Национальные Архивы США не имели отношение к использованию ИИ.
Протокол UVA предусматривает, что архивное учреждение будет оценивать, вести переговоры и на договорной основе регламентировать доступ ИИ к своим собственным коллекциям. Протокол требует, чтобы архивное учреждение зарезервировало за собой «праве на прекращение использования ИИ», ещё до заключения какого-либо соглашения об использовании ИИ. 

Национальные Архивы США, однако, осуществили раскрытие архивных документов посредством инфраструктуры, изменив условия доступа к массиву документов и ведения поиска через системы своего Каталога, без публичного освещения, без объявления, без принятия на себя роли «привратника», которую предполагает протокол. 

Издание Die Zeit получило доступ к этим публичным документам и запустило собственный конвейер обработки данных с использованием ИИ. Не было никакого контракта, никаких переговоров, никакого решения архивного учреждения. Механизм «врат», открытие которых призван регулировать протокол, так и не был задействован, потому что архив полностью отказался от роли «привратника». Последовавшее за этим общественное событие было не продуктом, а последствием действий Национальных Архивов.

Различие между обучением и поиском на практике размывается. Инструмент Die Zeit, судя по всему, основан на поиске и извлечении: ИИ извлекал структурированные данные из образов карточек, затем они сохранялись в базе данных, - а поисковые запросы по базе данных выдавали ссылки на исходные графические образы. 

В соответствии с таксономией протокола UVA, такие действия относятся к категории «обычно разрешённых». Однако структурированная база данных, извлеченных с помощью ИИ, теперь функционирует как постоянное производное представление исходных документов - со своим собственным профилем ошибок, со своими собственными решениями по отбору, и со своим собственным проприетарным статусом. Цепочка происхождения от исходного документа до информации, которую видит пользователь, теперь проходит через нераскрытый процесс извлечения данных с помощью ИИ, собственником которого является медийная организация. Это значимая форма необратимости, даже если технически здесь не имеет место обучение универсальной ИИ-модели.

В этом и заключается структурный пробел. Протокол UVA AAIP является отличной концептуальной структурой для учреждений, решающих, каким образом им взаимодействовать с ИИ-компаниями, обращающимися к ним за доступом к контролируемым коллекциям. Эта концепция не разрабатывалась - и не может регламентировать - сценарий, когда финансируемый государством архив оцифровывает и выкладывает в открытом доступе документы, а третья сторона затем применяет ИИ для создания поддерживающего поиск производного продукта без каких-либо институциональных переговоров. 

Этот сценарий не является каким-то экзотическим случаем - это доминирующая модель того, как ИИ будет взаимодействовать с архивными материалами в течение следующего десятилетия, по мере того как продолжается массовая оцифровка архивов, а инструменты ИИ для обработки неструктурированных документов становятся общедоступными.

(Окончание следует)

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/provenance-without-context 


Утверждены требования к актам Правительства РФ, на основании которых создаются федеральные государственные информационные системы

Правительство Российской Федерации постановлением от 09 июня 2026 года № 712 утвердило «Требования к актам Правительства Российской Федерации, на основании которых создаются федеральные государственные информационные системы». Постановление вступит в силу с 1 сентября 2026 года.

Органам государственной власти субъектов РФ рекомендовано осуществлять подготовку правовых актов субъектов России, являющихся основанием создания региональных государственных информационных систем (ГИС), с учетом требований, утвержденных настоящим постановлением, в части требований к структуре и содержанию положения о ГИС.

Правовой акт издается в форме постановления Правительства Российской Федерации (п.2).

Правовым актом утверждается положение о соответствующей системе (далее - Положение о системе), которое должно включать в том числе следующие разделы:

  • Общие положения о системе;

  • Структура, задачи и основные функции системы;

  • Участники системы (лица, указанные в пункте 8 настоящего документа) и их полномочия;

  • Состав и порядок размещения информации в системе и предоставления информации из системы;

  • Порядок обеспечения доступа к информации, содержащейся в системе;

  • Правовой режим информации, содержащейся в системе, и программно-технических средств системы;

  • Использование электронных подписей для обеспечения равнозначности формируемых в системе электронных документов документам на бумажных носителях, а также подтверждения в системе совершения юридически значимых действий;

  • Информационное взаимодействие с иными информационными системами;

  • Требования по защите информации, содержащейся в системе;

  • Реализация мероприятий по развитию системы.

Текст правового акта также должен включать (п.4) плановый срок её вывода из эксплуатации (при необходимости), а в случае, если правовым актом предусматривается установление срока вывода системы из эксплуатации, порядок, сроки, режим хранения и дальнейшего использования содержащейся в ее базах данных информации, включая порядок обеспечения доступа к указанной информации и обеспечения ее защиты.

Постановление устанавливает требования к правовым актам в части:

  • установления общих положений о системе;

  • установления положений о структуре, задачах и основных функциях системы;

  • состава и полномочий участников системы;

  • состава и порядка размещения информации в системе и предоставления информации из неё;

  • порядка обеспечения доступа к информации, содержащейся в системе;

  • правового режима информации, содержащейся в системе, и программно-технических средств системы;

  • использования электронных подписей для обеспечения равнозначности формируемых в системе электронных документов документам на бумажных носителях, а также подтверждения в системе совершения юридически значимых действий;

  • информационного взаимодействия системы с иными информационными системами;

  • защиты информации, содержащейся в ней;

  • реализации мероприятий по её развитию.

Требования к правовым актам в части использования электронных подписей 

В Положении о системе в целях обеспечения равнозначности формируемых в системе электронных документов документам на бумажных носителях, а также подтверждения в системе совершения юридически значимых действий предусматриваются положения, согласно которым (п.14):

а) для формируемых в системе электронных документов, предназначенных для использования вне системы и являющихся исходящими электронными документами, используется усиленная квалифицированная электронная подпись, а также иные виды электронной подписи в случаях, если их использование в системе или при совершении соответствующих юридически значимых действий предусмотрено законодательством Российской Федерации:

  • усиленная неквалифицированная электронная подпись, сертификат ключа проверки которой создан и используется в инфраструктуре, обеспечивающей информационно-технологическое взаимодействие информационных систем, используемых для предоставления государственных и муниципальных услуг в электронной форме, в соответствии с «Правилами создания и использования сертификата ключа проверки усиленной неквалифицированной электронной подписи в инфраструктуре, обеспечивающей информационно-технологическое взаимодействие информационных систем, используемых для предоставления государственных и муниципальных услуг в электронной форме», утвержденными постановлением Правительства Российской Федерации от 1 декабря 2021 г. № 2152;

  • простая электронная подпись, ключ которой получен в соответствии с «Правилами использования простой электронной подписи при оказании государственных и муниципальных услуг», утвержденными постановлением Правительства Российской Федерации от 25 января 2013 г. № 33.

б) Для подтверждения в системе совершения юридически значимых действий и для формируемых в системе внутренних электронных документов, предназначенных для использования в системе, наряду с усиленной квалифицированной электронной подписью могут применяться также неквалифицированная электронная подпись или пункта простая электронная подпись;

в) электронные документы, формируемые в системе автоматически (без участия участника системы), подписываются усиленной квалифицированной электронной подписью оператора системы, квалифицированный сертификат ключа проверки которой используется только для автоматического создания электронной подписи в электронном документе или автоматической проверки электронной подписи в электронном документе.

Мой комментарий: Постановление утверждает унифицированные требования к актам Правительства РФ, на основании которых создаются федеральные государственные информационные системы (ФГИС). Документ носит рекомендательный характер для систем регионального уровня.

Помимо структуры, постановление устанавливает конкретные требования к содержанию разделов. Документирование должно обеспечивать юридическую полноту и однозначность регулирования:

  • В Положении о системе должен быть определен перечень видов информации, размещаемой в ней, с указанием ссылок на нормативные правовые акты, которыми эта информация устанавливается;

  • Необходимо указывать ссылки на положения законодательства, устанавливающие ответственность поставщиков за полноту, достоверность и своевременность размещения информации;

  • Правовой акт должен включать плановые сроки создания, ввода в эксплуатацию и, при необходимости, плановый срок вывода её из эксплуатации. В последнем случае детально прописывается порядок дальнейшего хранения и использования данных.

Особенности использования электронных подписей выделен в отдельный раздел, так как касается придания электронным документам юридической силы. Документирование здесь происходит следующим образом:

  • Для внешних исходящих документов: в Положении устанавливается обязательное использование усиленной квалифицированной электронной подписи (УКЭП);

  • Для внутренних документов системы: допускается использование наряду с УКЭП также усиленной неквалифицированной или простой электронной подписи;

  • Для автоматически формируемых документов (без участия человека): они должны подписываться УКЭП оператора системы, но с использованием квалифицированного сертификата, предназначенного исключительно для автоматического создания и проверки подписей. Это важное требование безопасности, которое должно быть задокументировано в Положении.

Источник: Консультант Плюс
https://www.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=536395

вторник, 14 июля 2026 г.

Происхождение без контекста: Что история с учётными карточками членов НСДАП позволяют понять об искусственном интеллекте, архивах и новом информационном порядке (2)

(Продолжение, начало см. https://rusrim.blogspot.com/2026/07/1.html )

Как на самом деле действовали Национальные Архивы США

Прежде чем оценивать усилия Die Zeit по использованию ИИ, нам необходимо понять, что именно сами Национальные Архивы США включили в свой каталог - потому что эта архитектура метаданных является фундаментом, на котором зиждется всё остальное.

Руководство NARA по требованиям к данным жизненного цикла (Lifecycle Data Requirements Guide, https://www.archives.gov/research/catalog/lcdrg ) организует архивное описание в строгой иерархии: Группа документов (Record Group) → Серия (Series) → Единица хранения (File Unit) → Элемент (Item) → Цифровой объект (Digital Object). В случае материалов НСДАП, это конкретно выглядит следующим образом:

  • Группа документов (фонд) 242 — Коллекция захваченных США иностранных документов

  • Публикация на микроплёнке A3340 - серия биографических сведений о членах НСДАП, охватывающая примерно 10,7–12,7 миллионов человек, вступивших в партию в период с 1927 по 1945 год

  • Подсерии (Sub-series) - именно здесь начинается значимая дифференциация. Две основные серии документов о членстве в НСДАП - это MFKL (Zentralkartei - Центральная регистратура членов партии, 3167 рулонов микроплёнки) и MFOK (Ortsgruppenkartei - региональный индекс, 2275 рулонов), а также специализированные серии для партийной переписки (PK, более 6180 рулонов), дела Верховного партийного суда (OPG, 1292 рулона), материалы партийной переписи 1939 года (PC, 121 рулон) и другие.

  • Единица хранения (File Unit) - отдельные рулоны микроплёнки, идентифицируемые кодами, такими как A3340-MFKL-A0001

  • Цифровой объект (Digital Object) - каждый отсканированный графический образ; цифровые объекты предоставляются в виде страниц в формате PDF

Ключевым является следующий факт: метаданные Национальных Архивов находятся почти исключительно на уровне серий и единиц хранения. Индивидуальные учётные карточки членов НСДАП практически не имеют описательных метаданных на уровне отдельных объектов – ни транслитерации имен, ни дат рождения, ни номеров партбилетов. К информации на уровне карточки нет точек доступа. С точки зрения описания, проведенного Национальными Архивами, каждый отсканированный образ представляет собой недифференцированный кадр в PDF-файле, содержащем образ микроплёнки.

Концептуальная система метаданных жизненного цикла Национальных Архивов допускает создание архивных описаний на уровне серий и единиц хранения, без метаданных на уровне отдельных элементов для каждого цифрового объекта. В тех случаях, когда компоненты документа не были проиндексированы индивидуально, федеральные органы исполнительной власти могут использовать описания на уровне серий или единиц хранения в отношении всех файлов с графическими образами в рамках данной агрегации документов. 

Учитывая масштабы проекта - многие миллионы графических образов – создание индивидуальных описаний никогда не было реалистичным вариантом, однако последствия этого значительны: каталожная запись для любой конкретной учётной карточки члена НСДАП почти ничего не говорит о том, что за информация на ней содержится. Вы знаете, что она принадлежит к серии MFKL, знаете номер рулона и общий алфавитный диапазон, который рулон охватывает (поскольку исследователи в раках коллективных краудсорсинговых усилий создали общий индекс, сопоставляющий каждый рулон с его диапазоном фамилий). Помимо этого, вы видите отсканированную фотографию учётной карточки, заполненной от руки.

Существует весьма «тонкий» слой полнотекстового поиска. В процессе оцифровки из PDF-файлов был извлечён кое-какой машиночитаемый текст, позволяющий осуществлять поиск по ключевым словам внутри рулонов - например, поиск по запросу «Müller AND Hamburg» потенциально может выявить подходящие кадры. Но это работает на уровне PDF-файлов, а не карточек, и даёт результаты, которые по-прежнему требуют ручного просмотра в пределах соответствующего рулона. Исследователи отметили, что примерно каждая 50-я карточка, по-видимому, содержит индексированные маркеры диапазона, позволяющие перейти к определенному разделу; поиск же конкретной карточки в этом разделе оставался ручной задачей.

Это была та среда метаданных, с которой столкнулось издание Die Zeit, когда оно решило создать кое-что получше.

Что на самом деле сделало издание Die Zeit

Издание Die Zeit получило полный набор данных, обработало его и провело статистический анализ, - создав базу данных с возможностью поиска, которая была запущена в работу в апреле 2026 года. Данный инструмент описывался как созданный «с помощью ИИ», однако Die Zeit не опубликовало подробной технической документации по его конвейеру обработки данных. Из того, что стало известно благодаря отчетам и анализу третьих сторон, картина выглядит примерно так:

Входные данные. Карточки центральной регистратуры НСДАП (Zentralkartei) имеют стандартную печатную форму. Каждая карточка содержит поля для фамилии, имени, даты рождения, места рождения, рода занятий, номера партбилета, даты вступления и местной партийной организации (Ortsgruppe). Конвейер обработки данных на основе ИИ извлек эти структурированные поля из образов карточек.

Проблема обработки: Оригинальные карточки были заполнены от руки или отпечатаны с использованием немецких готических шрифтов Куррент (Kurrent) и Зюттерлин (Sütterlin) 1930-х годов, а затем отмикрофильмированы. Впоследствии они были оцифрованы с микроплёнок. Стандартное оптическое распознавание символов (OCR) плохо работает с готическими рукописными текстами в таких условиях. 

Какой бы конвейер обработки данных издание Die Zeit ни использовало, ему, по-видимому, пришлось решать задачи распознавания рукописного текста, написанного готическим шрифтом; нормализации вариантов написания в т.ч. букв с надстрочными знаками (в сопутствующем индексе, созданном сторонними исследователями, отмечается, что «буквы с надстрочными знаками и распространенные варианты написания распознаются автоматически»); разрешения неоднозначности распространенных немецких фамилий в миллионах документов; и обработки ошибок при работе с поврежденными изображениями на микроплёнке. Издание Die Zeit не опубликовало техническую документацию по своей методологии, поэтому его точный подход остается нераскрытым.

Что раскрывает общедоступный слой поиска. Поля, которые, по-видимому, извлекает система - имя, дата рождения, место рождения, номер партбилета, дата внесения в реестр, род занятий, местная парторганизация - соответствуют структурированным полям печатной формы каждой карточки. Они представляют собой бюрократический скелет записи, элементы которого лучше всего поддаются распознаванию по шаблону в стандартизированной форме.

Что, по-видимому, не отображается в общедоступном слое поиска. Это рукописные пометки на полях; исправления, поправки или обновления статуса; номера перекрестных ссылок, ведущие к сопутствующим делам; свидетельства принуждения или обстоятельств; дублирование карточек, канцелярские ошибки, аномальные записи. Контекстуальная материя документа – т.е. всё, что заметил бы и отметил архивист, читающий карточку, - по-видимому, не отображается в доступной для поиска базе данных. Эта информация остаётся в изображении, невидимая для слоя извлечения.

Производный статус базы данных Die Zeit. Именно этот момент упустило большинство комментаторов. База данных с возможностью поиска, которой сейчас пользуются миллионы людей, не является архивными данными Национальных Архивов США. Это проприетарный, обработанный с помощью ИИ производный продукт - новый объект, созданный на основе архивных документов и имеющий собственный профиль ошибок, собственную нераскрытую методологию и собственное институциональное происхождение (создан немецкой газетой, а не архивом). 

В этом смысле в игре задействованы как минимум три различных объекта: оригинальные учётные карточки, хранящиеся в Федеральном архиве Германии (Bundesarchiv); оцифрованные изображения в Каталоге Национальных Архивов США; и структурированная база данных газеты Die Zeit на основе данных, извлеченных с помощью ИИ. Каждый из них имеет различное происхождение, надежность и структуру подотчётности. Большинство пользователей видят только третий объект, а прочие объекты не видны в интерфейсе поиска.

(Продолжение следует, см. https://rusrim.blogspot.com/2026/07/3.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/provenance-without-context