Происхождение без контекста: Что история с учётными карточками членов НСДАП позволяют понять об искусственном интеллекте, архивах и новом информационном порядке (2)

(Продолжение, начало см. https://rusrim.blogspot.com/2026/07/1.html )

Как на самом деле действовали Национальные Архивы США

Прежде чем оценивать усилия Die Zeit по использованию ИИ, нам необходимо понять, что именно сами Национальные Архивы США включили в свой каталог - потому что эта архитектура метаданных является фундаментом, на котором зиждется всё остальное.

Руководство NARA по требованиям к данным жизненного цикла (Lifecycle Data Requirements Guide, https://www.archives.gov/research/catalog/lcdrg ) организует архивное описание в строгой иерархии: Группа документов (Record Group) → Серия (Series) → Единица хранения (File Unit) → Элемент (Item) → Цифровой объект (Digital Object). В случае материалов НСДАП, это конкретно выглядит следующим образом:

• Группа документов (фонд) 242 — Коллекция захваченных США иностранных документов
  
  
• Публикация на микроплёнке A3340 - серия биографических сведений о членах НСДАП, охватывающая примерно 10,7–12,7 миллионов человек, вступивших в партию в период с 1927 по 1945 год
  
  
• Подсерии (Sub-series) - именно здесь начинается значимая дифференциация. Две основные серии документов о членстве в НСДАП - это MFKL (Zentralkartei - Центральная регистратура членов партии, 3167 рулонов микроплёнки) и MFOK (Ortsgruppenkartei - региональный индекс, 2275 рулонов), а также специализированные серии для партийной переписки (PK, более 6180 рулонов), дела Верховного партийного суда (OPG, 1292 рулона), материалы партийной переписи 1939 года (PC, 121 рулон) и другие.
  
  
• Единица хранения (File Unit) - отдельные рулоны микроплёнки, идентифицируемые кодами, такими как A3340-MFKL-A0001
  
  
• Цифровой объект (Digital Object) - каждый отсканированный графический образ; цифровые объекты предоставляются в виде страниц в формате PDF

Ключевым является следующий факт: метаданные Национальных Архивов находятся почти исключительно на уровне серий и единиц хранения. Индивидуальные учётные карточки членов НСДАП практически не имеют описательных метаданных на уровне отдельных объектов – ни транслитерации имен, ни дат рождения, ни номеров партбилетов. К информации на уровне карточки нет точек доступа. С точки зрения описания, проведенного Национальными Архивами, каждый отсканированный образ представляет собой недифференцированный кадр в PDF-файле, содержащем образ микроплёнки.

Концептуальная система метаданных жизненного цикла Национальных Архивов допускает создание архивных описаний на уровне серий и единиц хранения, без метаданных на уровне отдельных элементов для каждого цифрового объекта. В тех случаях, когда компоненты документа не были проиндексированы индивидуально, федеральные органы исполнительной власти могут использовать описания на уровне серий или единиц хранения в отношении всех файлов с графическими образами в рамках данной агрегации документов. 

Учитывая масштабы проекта - многие миллионы графических образов – создание индивидуальных описаний никогда не было реалистичным вариантом, однако последствия этого значительны: каталожная запись для любой конкретной учётной карточки члена НСДАП почти ничего не говорит о том, что за информация на ней содержится. Вы знаете, что она принадлежит к серии MFKL, знаете номер рулона и общий алфавитный диапазон, который рулон охватывает (поскольку исследователи в раках коллективных краудсорсинговых усилий создали общий индекс, сопоставляющий каждый рулон с его диапазоном фамилий). Помимо этого, вы видите отсканированную фотографию учётной карточки, заполненной от руки.

Существует весьма «тонкий» слой полнотекстового поиска. В процессе оцифровки из PDF-файлов был извлечён кое-какой машиночитаемый текст, позволяющий осуществлять поиск по ключевым словам внутри рулонов - например, поиск по запросу «Müller AND Hamburg» потенциально может выявить подходящие кадры. Но это работает на уровне PDF-файлов, а не карточек, и даёт результаты, которые по-прежнему требуют ручного просмотра в пределах соответствующего рулона. Исследователи отметили, что примерно каждая 50-я карточка, по-видимому, содержит индексированные маркеры диапазона, позволяющие перейти к определенному разделу; поиск же конкретной карточки в этом разделе оставался ручной задачей.

Это была та среда метаданных, с которой столкнулось издание Die Zeit, когда оно решило создать кое-что получше.

Что на самом деле сделало издание Die Zeit

Издание Die Zeit получило полный набор данных, обработало его и провело статистический анализ, - создав базу данных с возможностью поиска, которая была запущена в работу в апреле 2026 года. Данный инструмент описывался как созданный «с помощью ИИ», однако Die Zeit не опубликовало подробной технической документации по его конвейеру обработки данных. Из того, что стало известно благодаря отчетам и анализу третьих сторон, картина выглядит примерно так:

Входные данные. Карточки центральной регистратуры НСДАП (Zentralkartei) имеют стандартную печатную форму. Каждая карточка содержит поля для фамилии, имени, даты рождения, места рождения, рода занятий, номера партбилета, даты вступления и местной партийной организации (Ortsgruppe). Конвейер обработки данных на основе ИИ извлек эти структурированные поля из образов карточек.

Проблема обработки: Оригинальные карточки были заполнены от руки или отпечатаны с использованием немецких готических шрифтов Куррент (Kurrent) и Зюттерлин (Sütterlin) 1930-х годов, а затем отмикрофильмированы. Впоследствии они были оцифрованы с микроплёнок. Стандартное оптическое распознавание символов (OCR) плохо работает с готическими рукописными текстами в таких условиях. 

Какой бы конвейер обработки данных издание Die Zeit ни использовало, ему, по-видимому, пришлось решать задачи распознавания рукописного текста, написанного готическим шрифтом; нормализации вариантов написания в т.ч. букв с надстрочными знаками (в сопутствующем индексе, созданном сторонними исследователями, отмечается, что «буквы с надстрочными знаками и распространенные варианты написания распознаются автоматически»); разрешения неоднозначности распространенных немецких фамилий в миллионах документов; и обработки ошибок при работе с поврежденными изображениями на микроплёнке. Издание Die Zeit не опубликовало техническую документацию по своей методологии, поэтому его точный подход остается нераскрытым.

Что раскрывает общедоступный слой поиска. Поля, которые, по-видимому, извлекает система - имя, дата рождения, место рождения, номер партбилета, дата внесения в реестр, род занятий, местная парторганизация - соответствуют структурированным полям печатной формы каждой карточки. Они представляют собой бюрократический скелет записи, элементы которого лучше всего поддаются распознаванию по шаблону в стандартизированной форме.

Что, по-видимому, не отображается в общедоступном слое поиска. Это рукописные пометки на полях; исправления, поправки или обновления статуса; номера перекрестных ссылок, ведущие к сопутствующим делам; свидетельства принуждения или обстоятельств; дублирование карточек, канцелярские ошибки, аномальные записи. Контекстуальная материя документа – т.е. всё, что заметил бы и отметил архивист, читающий карточку, - по-видимому, не отображается в доступной для поиска базе данных. Эта информация остаётся в изображении, невидимая для слоя извлечения.

Производный статус базы данных Die Zeit. Именно этот момент упустило большинство комментаторов. База данных с возможностью поиска, которой сейчас пользуются миллионы людей, не является архивными данными Национальных Архивов США. Это проприетарный, обработанный с помощью ИИ производный продукт - новый объект, созданный на основе архивных документов и имеющий собственный профиль ошибок, собственную нераскрытую методологию и собственное институциональное происхождение (создан немецкой газетой, а не архивом). 

В этом смысле в игре задействованы как минимум три различных объекта: оригинальные учётные карточки, хранящиеся в Федеральном архиве Германии (Bundesarchiv); оцифрованные изображения в Каталоге Национальных Архивов США; и структурированная база данных газеты Die Zeit на основе данных, извлеченных с помощью ИИ. Каждый из них имеет различное происхождение, надежность и структуру подотчётности. Большинство пользователей видят только третий объект, а прочие объекты не видны в интерфейсе поиска.

(Продолжение следует)

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/provenance-without-context 

CEN и CENELEC: Стандарт EN 18286:2026 «Система менеджмента качества для поддержки исполнения требований Закона ЕС об искусственном интеллекте» направлен на публикацию

Данный пост был опубликован в 10 июля 2026 года в социальной сети LinkedIn в учётной записи европейских органов по стандартизации CEN и CENELEC.

Мы рады сообщить о том, что успешно завершилось финальное официальное голосование по  стандарту EN 18286:2026 «Искусственный интеллект - Система менеджмента качества для поддержки исполнения требований Закона ЕС об искусственном интеллекте» (Artificial intelligence - Quality management system for EU AI Act regulatory purposes, см. https://standards.cencenelec.eu/... , а также мой пост https://rusrim.blogspot.com/2025/12/pren-18286.html - Н.Х.)!

Положительный итог официального голосования знаменует собой важную веху в процессе разработки стандарта. После одобрения членами европейских органов по стандартизации - Европейского комитета по стандартизации (CEN) и Европейского комитета по электротехнической стандартизации (CENELEC) документ перейдет на этап публикации в соответствии с установленными процедурами.

Ожидаемая дата официальной публикации – 22 июля 2026 года

Мы хотели бы поблагодарить всех экспертов, руководителей проектов, делегатов, национальных членов CEN/CENELEC и заинтересованных лиц, которые внесли свой вклад в разработку и рассмотрение этого стандарта. Их опыт и сотрудничество были сыграли ключевую роль в достижении данного успешного результата. 

После публикации стандарт будет доступен через национальных членов CEN/CENELEC, и будет внедряться в качестве национального стандарта всеми членами в течение установленного периода внедрения, - при этом любые противоречащие национальные стандарты будут соответственно отменены.

Поздравляем всех, кто участвовал в достижении этой важной вехи!

Мой комментарий: В Евросоюзе стандарты EN являются обязательными, а отнюдь не добровольными :) Недавно принятый закон Евросоюза об ИИ прямо требует наличия системы менеджмента качества у поставщиков систем ИИ высокого риска (ст. 17).

Источник: сайт LinkedIn
https://www.linkedin.com/posts/we-are-pleased-to-announce-that-en-18286-share-7481294057621618688-xOIt/ 

Британская Коалиции по электронной сохранности начинает выпуск новой серии бюллетеней по кибербезопасности в рамках серии публикаций «Обозрение технологий»

Данная новость была опубликована 18 июня 2026 года на сайте британской Коалиции по электронной сохранности (Digital Preservation Coalition, DPC).

Британская Коалиция по электронной сохранности (Digital Preservation Coalition, DPC) 18 июня 2026 года представила первую часть новой серии из трех бюллетеней с рекомендациями (Guidance Note) по кибербезопасности и жизнестойкости для деятельности по обеспечению долговременной сохранности электронных материалов (электронной сохранности), которые входят в состав серии публикаций «Обозрение технологий» (Technology Watch). 

Первоначально серия бюллетеней будет эксклюзивно доступна членам Коалиции DPC, а в публичном доступе они буду выложены 31 августа 2026 года.

В связи с тем, что масштабы и изощренность киберпреступности продолжают расти, ответственные за обеспечение долговременной сохранности электронно-цифрового контента организации сталкиваются со все более сложным ландшафтом угроз. В новых бюллетенях с рекомендациями, разработанных в качестве реакции на эти вызовы, изучается взаимосвязь между кибербезопасностью и электронной сохранностью, и предлагаются практические рекомендации, которые помогут организациям повысить свою жизнестойкость и готовность, одновременно обеспечивая долговременную доступность электронного контента.

Первый бюллетень «Часть 1: Понимание киберугроз» (Part 1: Understand Cyber Threats), был представлен 18 июня 2026 года во время мероприятия Коалиции DPC на тему «Идеология нулевого доверия: Обеспечение жизнестойкости электронной сохранности в мире, полном рисков кибербезопасности» (Zero Trust Thinking: Doing Resilient Digital Preservation in a World of Cyber Risk, https://www.dpconline.org/events/eventdetail/804/-/zero-trust-thinking-doing-resilient-digital-preservation-in-a-world-of-cyber-risk ), - и теперь доступен членам Коалиции DPC. 

Публикация, написанная директором фирмы Resilionix Хизер Лоури (Heather Lowrie) и руководителем отдела передового опыта DPC Гартом Стюартом (Garth Stewart), знакомит как специалистов-практиков, так и руководителей организаций с ключевыми концепциями, рисками и соображениями. В ней обращается внимание на основные киберугрозы, встречающиеся в нашей практике, и на важность встраивания кибербезопасности в деятельность по обеспечению электронной сохранности, - а также поощряется более тесное сотрудничество между специалистами по электронной сохранению, ИТ и безопасности.

Комментируя публикацию, её соавтор Гарт Стюарт отметил: 

«Кибербезопасность больше не является аспектом, отдельным от деятельности по обеспечению электронной сохранности; теперь это составная часть ключевых усилий по сохранению во времени электронного контента. 

Среды, в которой мы работаем, становятся всё более сложными, взаимосвязанными и подверженными рискам. Данное руководство призвано помочь организациям и специалистам-практикам понять эти риски, разработать эффективные меры реагирования и повысить жизнестойкость без ущерба для доступности контента, для реализации целей электронной сохранности и для профессиональной практики. 

Мы также хотим подчеркнуть, что специалисты электронной сохранности не должны решать эту проблему в одиночку: мы предлагаем инструменты и методы для вовлечения и обеспечения эффективного сотрудничества между руководством, специалистами по электронной сохранности, ИТ-специалистами и специалистами по безопасности, которые все играют важную роль в защите нашего цифрового наследия».

Данная публикация – это первый из трёх бюллетеней с рекомендациями, входящих в состав серии. Ещё два выпуска запланированы на 9 и 30 июля 2026 года. Все вместе эти публикации будут посвящены проблемам кибербезопасности в деятельности по обеспечению электронной сохранности, и помогут организациям разработать эффективные подходы к управлению рисками и к укреплению их жизнестойкости.

Серия публикаций «Обозрение технологий» - это лишь один из способов, используемых Коалицией DPC для поддержки сообщества специалистов по электронной сохранности. Коалиция DPC, которая является международным благотворительным фондом и пропагандистом усилий в области электронной сохранности, помогает своим членам из различных стран мира обеспечивать жизнеспособный долговременный доступ к электронному контенту и услугам посредством взаимодействия с сообществом, целенаправленной информационно-пропагандистской работы, обучения и повышения квалификации кадров, наращивания потенциала, разработки передовых практик и стандартов, индивидуализированной поддержки и консультаций, а также посредством эффективного оперативного и стратегического управления. Видение Коалиции DPC - это защищённое электронно-цифровое наследие.

Бюллетень «Кибербезопасность и жизнестойкость при обеспечении электронной сохранности. Часть 1: Понимание киберугроз» (Cyber Security and Resilience for Digital Preservation Part 1: Understand Cyber Threats) в настоящее время доступен для членов DPC по адресу http://doi.org/10.7207/twgn26-01 .

Источник: сайт Коалиции DPC
https://www.dpconline.org/news/dpc-launches-new-tech-watch-guidance-note-series-on-cyber-security 

Происхождение без контекста: Что история с учётными карточками членов НСДАП позволяют понять об искусственном интеллекте, архивах и новом информационном порядке (1)

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 24 мая 2026 года в социальной сети Substack.

Мой комментарий: В посте идёт речь об архивах партии Гитлера, официальное название которой было Национал-социалистическая немецкая рабочая партия, НСДАП (Nationalsozialistische Deutsche Arbeiterpartei, NSDAP). С 1921 по 1945 год партию возглавлял Адольф Гитлер.

В начале 2026 года Национальные Архивы США (NARA) сделали свободно доступным любому пользователю интернета посредством обычных веб-браузеров нечто экстраординарное: миллионы оцифрованных графических образов учётных карточек членов нацистской партии - по некоторым данным, их в общей сложности более 16 миллионов (из которых на данный момент доступны 5,4 миллиона, см. https://catalog.archives.gov/id/12044361 - Н.Х.) - хранящихся в составе архивного фонда 242 в виде публикации на микроплёнке A3340.

Мой комментарий: Фонд 242 (Record Group 242) содержит захваченные США в период с 1675 по 1983 год зарубежные документы. Объём этого фонда – 90 миллионов страниц, и к настоящему времени он оцифрован на четверть (источник: Сайт NARA, https://www.archives.gov/findingaid/stat/discovery/242 и https://www.archives.gov/research/guide-fed-records/groups/242.html ).

По этому поводу не было ни пресс-релиза, ни объявления в новостях, ни публикации в блоге, ни публичного мероприятия по поводу открытия доступа, ни медиакампании. Анализ полного набора пресс-релизов NARA за 2025 и 2026 финансовые годы подтверждает это. 

За эти два года Национальные Архивы США выпустили публичные уведомления об открытии доступа к документам о неопознанных аномальных явлениях (Unidentified Anomalous Phenomena, UAP – ранее известных, как неопознанные летающие объекты, НЛО – Н.Х.); о новых доступных онлайн документах по генеалогии; о веб-странице, посвященной документам, относящимся к убийству президента Джона Кеннеди; а также опубликовали предварительные обзоры музейных экспозиций и многочисленных выставок, где демонстрировались основополагающие документы США. 

В 2009 году был выпущен пресс-релиз, специально посвященный относящейся к Холокосту цифровой коллекции, запущенной в партнерстве с генеалогической платформой. 

Оцифровка архивов НСДАП - по любым меркам крупнейшая и наиболее исторически значимая публикация документов за эти годы - не упоминается ни в одном из этих сообщений. Еще более показательно то, что собственная страница в числе ответов Национальных Архивов на часто задаваемые вопросы, рассказывающая о доступе к документам Берлинского документационного центра (Berlin Document Center), по-видимому, вообще не была обновлена с учётом открытия онлайн-доступа - она по-прежнему направляет исследователей в читальный зал микрофильмов в филиале Национальных Архивов в Колледж-Парке (College Park).

Состав Каталога Национальных Архивов (National Archives Catalog, https://catalog.archives.gov/ - инструмент поиска и онлайн-доступа к архивным документам Национальных Архивов США – Н.Х.) изменился, но институциональный коммуникационный слой остался прежним. Документы стали общедоступными, как это обычно происходит с документами Национальных Архивов, когда оцифровка завершена и урегулированы условия доступа, - посредством инфраструктуры, а не путем соответствующего объявления. Это заметили, независимо друг от друга, исследователи, генеалоги и историки. На немецкоязычных форумах начали распространяться руководства по навигации по данной коллекции. Журнал Der Spiegel отметил, что «американский архив не создавал ажиотажа в СМИ вокруг публикации, хотя набор данных не только исторически важен, но и чрезвычайно обширен». Во многих других публикациях повторялось это же наблюдение: публикация произошла тихо, без публичного освещения события со стороны самих Национальных Архивов.

Молчание такого рода не является обычным делом. Оно было избирательным, и эта избирательность сама по себе является важным фактором, заслуживающим внимания.

Это отсутствие информации не случайно. Я готов аргументировать, что оно является одним из наиболее важных моментов во всей этой истории.

Сделанное Национальными Архивам США не было инициативой по популяризации истории. Это было инфраструктурное раскрытие архивных материалов. Учреждение изменило условия поиска и доступа к массиву документов, а затем, в некотором смысле, сделало шаг назад. Последовавшие за этим широкомасштабные социальные и медийные события - переосмысление семейных отношений, журналистские расследования, политические отголоски в Германии и Австрии - возникло исключительно «вниз по потоку» после обновления Каталога, благодаря усилиям генеалогов, обсуждениям на сайте Reddit, немецким историкам, и особенно, интерфейсу поиска с ИИ-поддержкой, разработанному немецким изданием Die Zeit (см. https://www.zeit.de/wissen/2026-04/nazi-party-search-engine-membership-records-ancestors-english ).

Главная страница англоязычного интерфейса поисковой системы, разработанной Die Zeit

Вскоре после открытия Национальными Архивами США доступа к документам, Die Zeit добавила к материалам интерфейс поиска на основе ИИ, и общественный интерес сразу резко возрос.

Люди начали вводить фамилии членов своей семьи. Соседи «пробивали» соседей. Местные историки искали членов NSDAP среди городских чиновников, а журналисты –среди интеллектуалов, священнослужителей, бизнесменов, полицейских, ученых, художников, среди собственных бабушек и дедушек. Архивные документы превратились из институционального актива в событие.

С тех пор я постоянно думаю об этом переходе - и о том, какие последствия имеет то, что теперь у нас есть, в рамках Протокола архивного ИИ Университета Вирджинии (University of Virginia Archival AI Protocol, UVA AAIP, далее «протокол UVA» объёмом 19 страниц, см. https://libraopen.library.virginia.edu/entities/publication/4dd278d9-b75c-423a-a9e9-3053be4f37d7 , прямая ссылка на PDF-файл:  https://libraopen.library.virginia.edu/bitstreams/36ef8adf-ef8d-4574-88e0-2053a699d10b/download ) - формальная структура, разработанная именно для таких ситуаций. Протокол UVA AAIP появился в январе 2026 года, всего за несколько недель до раскрытия документов NSDAP. В ряде важных аспектов это сложный и своевременный документ.

Однако применение UVA-протокола к данной ситуации с документами НСДАП выявляет кое-что такое, чего, возможно, авторы протокола не предвидели: его концептуальная структура была разработана для учреждений, принимающих решение о том, «открывать ли ворота». В ней гораздо меньше говорится о том, что происходит после того, как ворота уже открыты - а это, всё чаще, именно те ситуации, с которыми мы сталкиваемся.

(Продолжение следует, см. https://rusrim.blogspot.com/2026/07/2.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/provenance-without-context