(Продолжение, начало см. https://rusrim.blogspot.com/2026/07/1.html )
Как на самом деле действовали Национальные Архивы США
Прежде чем оценивать усилия Die Zeit по использованию ИИ, нам необходимо понять, что именно сами Национальные Архивы США включили в свой каталог - потому что эта архитектура метаданных является фундаментом, на котором зиждется всё остальное.
Руководство NARA по требованиям к данным жизненного цикла (Lifecycle Data Requirements Guide, https://www.archives.gov/research/catalog/lcdrg ) организует архивное описание в строгой иерархии: Группа документов (Record Group) → Серия (Series) → Единица хранения (File Unit) → Элемент (Item) → Цифровой объект (Digital Object). В случае материалов НСДАП, это конкретно выглядит следующим образом:
- Группа документов (фонд) 242 — Коллекция захваченных США иностранных документов
- Публикация на микроплёнке A3340 - серия биографических сведений о членах НСДАП, охватывающая примерно 10,7–12,7 миллионов человек, вступивших в партию в период с 1927 по 1945 год
- Подсерии (Sub-series) - именно здесь начинается значимая дифференциация. Две основные серии документов о членстве в НСДАП - это MFKL (Zentralkartei - Центральная регистратура членов партии, 3167 рулонов микроплёнки) и MFOK (Ortsgruppenkartei - региональный индекс, 2275 рулонов), а также специализированные серии для партийной переписки (PK, более 6180 рулонов), дела Верховного партийного суда (OPG, 1292 рулона), материалы партийной переписи 1939 года (PC, 121 рулон) и другие.
- Единица хранения (File Unit) - отдельные рулоны микроплёнки, идентифицируемые кодами, такими как A3340-MFKL-A0001
- Цифровой объект (Digital Object) - каждый отсканированный графический образ; цифровые объекты предоставляются в виде страниц в формате PDF
Ключевым является следующий факт: метаданные Национальных Архивов находятся почти исключительно на уровне серий и единиц хранения. Индивидуальные учётные карточки членов НСДАП практически не имеют описательных метаданных на уровне отдельных объектов – ни транслитерации имен, ни дат рождения, ни номеров партбилетов. К информации на уровне карточки нет точек доступа. С точки зрения описания, проведенного Национальными Архивами, каждый отсканированный образ представляет собой недифференцированный кадр в PDF-файле, содержащем образ микроплёнки.
Концептуальная система метаданных жизненного цикла Национальных Архивов допускает создание архивных описаний на уровне серий и единиц хранения, без метаданных на уровне отдельных элементов для каждого цифрового объекта. В тех случаях, когда компоненты документа не были проиндексированы индивидуально, федеральные органы исполнительной власти могут использовать описания на уровне серий или единиц хранения в отношении всех файлов с графическими образами в рамках данной агрегации документов.
Учитывая масштабы проекта - многие миллионы графических образов – создание индивидуальных описаний никогда не было реалистичным вариантом, однако последствия этого значительны: каталожная запись для любой конкретной учётной карточки члена НСДАП почти ничего не говорит о том, что за информация на ней содержится. Вы знаете, что она принадлежит к серии MFKL, знаете номер рулона и общий алфавитный диапазон, который рулон охватывает (поскольку исследователи в раках коллективных краудсорсинговых усилий создали общий индекс, сопоставляющий каждый рулон с его диапазоном фамилий). Помимо этого, вы видите отсканированную фотографию учётной карточки, заполненной от руки.
Существует весьма «тонкий» слой полнотекстового поиска. В процессе оцифровки из PDF-файлов был извлечён кое-какой машиночитаемый текст, позволяющий осуществлять поиск по ключевым словам внутри рулонов - например, поиск по запросу «Müller AND Hamburg» потенциально может выявить подходящие кадры. Но это работает на уровне PDF-файлов, а не карточек, и даёт результаты, которые по-прежнему требуют ручного просмотра в пределах соответствующего рулона. Исследователи отметили, что примерно каждая 50-я карточка, по-видимому, содержит индексированные маркеры диапазона, позволяющие перейти к определенному разделу; поиск же конкретной карточки в этом разделе оставался ручной задачей.
Это была та среда метаданных, с которой столкнулось издание Die Zeit, когда оно решило создать кое-что получше.
Что на самом деле сделало издание Die Zeit
Издание Die Zeit получило полный набор данных, обработало его и провело статистический анализ, - создав базу данных с возможностью поиска, которая была запущена в работу в апреле 2026 года. Данный инструмент описывался как созданный «с помощью ИИ», однако Die Zeit не опубликовало подробной технической документации по его конвейеру обработки данных. Из того, что стало известно благодаря отчетам и анализу третьих сторон, картина выглядит примерно так:
Входные данные. Карточки центральной регистратуры НСДАП (Zentralkartei) имеют стандартную печатную форму. Каждая карточка содержит поля для фамилии, имени, даты рождения, места рождения, рода занятий, номера партбилета, даты вступления и местной партийной организации (Ortsgruppe). Конвейер обработки данных на основе ИИ извлек эти структурированные поля из образов карточек.
Проблема обработки: Оригинальные карточки были заполнены от руки или отпечатаны с использованием немецких готических шрифтов Куррент (Kurrent) и Зюттерлин (Sütterlin) 1930-х годов, а затем отмикрофильмированы. Впоследствии они были оцифрованы с микроплёнок. Стандартное оптическое распознавание символов (OCR) плохо работает с готическими рукописными текстами в таких условиях.
Какой бы конвейер обработки данных издание Die Zeit ни использовало, ему, по-видимому, пришлось решать задачи распознавания рукописного текста, написанного готическим шрифтом; нормализации вариантов написания в т.ч. букв с надстрочными знаками (в сопутствующем индексе, созданном сторонними исследователями, отмечается, что «буквы с надстрочными знаками и распространенные варианты написания распознаются автоматически»); разрешения неоднозначности распространенных немецких фамилий в миллионах документов; и обработки ошибок при работе с поврежденными изображениями на микроплёнке. Издание Die Zeit не опубликовало техническую документацию по своей методологии, поэтому его точный подход остается нераскрытым.
Что раскрывает общедоступный слой поиска. Поля, которые, по-видимому, извлекает система - имя, дата рождения, место рождения, номер партбилета, дата внесения в реестр, род занятий, местная парторганизация - соответствуют структурированным полям печатной формы каждой карточки. Они представляют собой бюрократический скелет записи, элементы которого лучше всего поддаются распознаванию по шаблону в стандартизированной форме.
Что, по-видимому, не отображается в общедоступном слое поиска. Это рукописные пометки на полях; исправления, поправки или обновления статуса; номера перекрестных ссылок, ведущие к сопутствующим делам; свидетельства принуждения или обстоятельств; дублирование карточек, канцелярские ошибки, аномальные записи. Контекстуальная материя документа – т.е. всё, что заметил бы и отметил архивист, читающий карточку, - по-видимому, не отображается в доступной для поиска базе данных. Эта информация остаётся в изображении, невидимая для слоя извлечения.
Производный статус базы данных Die Zeit. Именно этот момент упустило большинство комментаторов. База данных с возможностью поиска, которой сейчас пользуются миллионы людей, не является архивными данными Национальных Архивов США. Это проприетарный, обработанный с помощью ИИ производный продукт - новый объект, созданный на основе архивных документов и имеющий собственный профиль ошибок, собственную нераскрытую методологию и собственное институциональное происхождение (создан немецкой газетой, а не архивом).
В этом смысле в игре задействованы как минимум три различных объекта: оригинальные учётные карточки, хранящиеся в Федеральном архиве Германии (Bundesarchiv); оцифрованные изображения в Каталоге Национальных Архивов США; и структурированная база данных газеты Die Zeit на основе данных, извлеченных с помощью ИИ. Каждый из них имеет различное происхождение, надежность и структуру подотчётности. Большинство пользователей видят только третий объект, а прочие объекты не видны в интерфейсе поиска.
(Продолжение следует)
Эндрю Поттер (Andrew Potter)
Источник: сайт Substack
https://metaarchivist.substack.com/p/provenance-without-context
Комментариев нет:
Отправить комментарий