понедельник, 25 августа 2025 г.

Почему специалистам по управлению документами следует обратить внимание на «Инициативу по документированию данных» (DDI): Предварительное знакомство со следующей важной вехой в области интероперабельности данных (1)

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 27 июня 2025 года в социальной сети Substack.

Мой комментарий: «Инициатива по документированию данных» (DDI), о которой в этом посте пойдёт речь — это набор продуктов, описывающих метаданные как количественных, так и качественных научно-исследовательских данных в сфере социальных, поведенческих, экономических и медицинских наук. Набор DDI представляет собой набор бесплатных стандартов, которые документируют и управляют различными стадиями жизненного цикла научно-исследовательских данных, включая концептуализацию, сбор, обработку, распространение, поиск и извлечение и архивирование.

Разработчиком DDI является «Альянс DDI» (DDI Alliance) - международная организация, которая создает и поддерживает технические стандарты для описания научно-исследовательских данных в сфере социальных, демографических, экономических и медицинских наук. «Альянс DDI», по его словам, «… предоставляет набор продуктов, которые отвечают меняющимся потребностям производителей и пользователей данных. Документирование данных с помощью наших открытых стандартов улучшает согласованность, интеграцию и качество, создавая данные, соответствующие принципу FAIR, реализуя весь их потенциал для людей, программного обеспечения и машин.»

Контент набора продуктов DDI охватывает следующие области:

  • Концептуальные объекты: концепция, единица, тип единицы, вселенная, популяция, географические структуры и представление;

  • Методологические объекты: подходы к формированию выборки, захвату/сбору данных, присвоению весовых коэффициентов, контролю качества и управлению процессами;

  • Обработка: захват/сбор данных, обработка данных, анализ и управление данными;

  • Количественные и качественные объекты данных: концепция, вселенная, представление, использование, тип данных, запись данных, взаимосвязи записей, хранение, доступ и описательная статистика;

  • Управление данными: владение, доступ, управление правами, ограничения, стандарты качества, упорядочение, управление агентами, связь между продуктами, управление версиями и происхождение.

Источник: сайт «Альянса DDI»
https://ddialliance.org/ 
https://ddialliance.org/product_overview 

Давайте поговорим об аббревиатурах. Нет, не о таких, как «ИСО» или «XML» - хотя мы и до них доберёмся; я имею в виду аббревиатуру «DDI», означающую Data Documentation Initiative – «Инициатива по документированию данных». Если Ваша работа связана с метаданными, курированием данных в длительной перспективе или с управлением документами, относящимися к статистической или научно-исследовательской деятельности, - то самое время обратить на неё своё внимание.

Вы можете подумать: «Я специалист по управлению документами, а не архитектор данных. Какое это имеет ко мне отношение?» - ниже я попробую ответить на этот вопрос.

Рождение стандарта и его история с 1990-х годов по настоящее время

Стандарты DDI существуют со времен эры дискет - с 1995 года, если быть точным. То, что начиналось как академический проект по метаданным в Калифорнийском университете в Беркли (помните OSIRIS? – Нет, не помним! :) Возможно, речь идёт о программе полёта космического аппарата OSIRIS-REx к астероиду Бенну, или же о спектрографе интегрального поля OSIRIS – Н.Х.), превратилось в устоявшуюся многомодельную концептуальную структуру, управляемую Альянсом DDI ( https://ddialliance.org/ ) .

Первоначальный «DDI-Кодовый словарь» (DDI-Codebook, DDI-C - структурированная документация, описывающая контент, смысл, происхождение и доступ к отдельному набору данных, см. https://ddialliance.org/ddi-codebook - Н.Х.) - привет вам, XML DTD! -  использовался для описания отдельных исследований в сфере социальных наук, включая переменные, проставленные вопросы, методологии. Прошло несколько лет, и национальным статистическим управлениям потребовалось нечто большее: возможность повторного использования, охват всего жизненного цикла и междиссциплинарная интеграция.
    
Затем появились «DDI-Жизненный цикл» (DDI-Lifecycle, DDI-L - расширяет идею DDI-Codebook с точки зрения охвата контента, глубины описания, управления метаданными с течением времени, повторного использования метаданных и поддержки планирования, сбора, обработки, хранения, поиска и распространения научно-исследовательских данных, см. https://ddialliance.org/ddi-lifecycleН.Х.) и более новый продукт «DDI - Междоменная интеграция» (DDI Cross-Domain Integration, DDI-CDI - новый стандарт, предназначенный для использования с исследовательскими данными из любой области, который в минимальной степени описывает метаданные для каталогизации и цитирования, поскольку его основная цель - описать данные и процесс, см. https://ddialliance.org/ddi-cdi - Н.Х.). 

Эти модели поддерживают весь жизненный цикл данных и отлично сочетаются с такими стандартами, как ISO/IEC 11179 «Информационные технологии - Регистры метаданных (РМД)» (Metadata registries (MDR)) и стандарт «Типовая модель бизнес-процессов подготовки статистической информации» (Generic Statistical Business Process Model, GSBPM, см. https://unece.org/sites/default/files/2023-11/GSBPM%20v5_1.pdf ), разработанный Европейской экономической комиссией ООН (ЕЭК - UNECE). Мы говорим здесь о мощных инструментах работы с метаданными.

Мой комментарий: На сайте ЕЭК ООН выложен текст стандарта GSBPM на русском языке, см. https://statswiki.unece.org/download/attachments/243269812/GSBPM%20v5_1%20RUS.docx , где его название переведено как «Типовая модель производства статистической информации (ТМПСИ)».

(Окончание следует, см. http://rusrim.blogspot.com/2025/08/ddi-2.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/why-records-pros-should-care-about  

Комментариев нет:

Отправить комментарий