Обеспечение сохранности баз данных - Специфика и соответствующие проблемные вопросы

Данный пост был опубликован на блоге «Двуликий Янус» (Le regard de Janus) 26 апреля 2014 года. В нём рассказывается о докладе руководителя департамента электронной архивации и аудиовизуальных архивов Национальных Архивов Франции, сделанном на 14-м Дне архивов, прошедшем в бельгийском городе Лувен-ла-Нёв (Louvain-la-Neuve) 24-25 апреля 2014 года.

Руководитель департамента электронной архивации и аудиовизуальных архивов (Département Archivage électronique et archives audiovisuelles) Национальных Архивов Франции (Archives nationales de France, ANF)  Тома ван де Валле (Thomas Van de Walle) дал такой подзаголовок к своему докладу: «Образы изменчивого мира» (см. изображения в конце поста).

Во французском контексте миссия Национальных Архивов заключается в обеспечении сохранности, подлежащих постоянному хранению архивных документов (archives définitives) центральных государственных ведомств. В число основных задач самих ведомств не входят ни создание документов, ни их предоставление гражданам. Национальными Архивами накоплен 30-летний (1982-2014) опыт архивации баз данных. В 2014 году на архивное хранение были переданы 150 миллионов файлов (около 20 терабайт данных). Архивная служба в данный момент хранит 283 партии (versement – во французской практике ведется учет единовременно сданных партий документов фондообразователя – Н.Х.) структурированных данных из общего числа 357 партий электронных материалов, т.е. доля структурированных данных составляет 80%.

Принципы, заложенные ещё в 1980-х годах, по-прежнему сохраняют свою актуальность. Архивация не должны становиться заложником технологических вопросов, из чего следуют:

• Необходимость технологического контроля, с тем, чтобы избежать морального устаревания путем опережающих действий по обеспечению сохранности и проведению миграций;


• Закодированная информация, чтобы можно было считать её надлежащим образом заархивированной, должна быть доступна вне системы, в которой она была создана. Этим гарантируется независимость документов от конкретной системы.

Рецепты архивации баз данных следующие:

• Экспорт данных в «плоский» файл (на практике в формат CSV);


• Систематический сбор «документации» параллельно с архивацией собственно данных;


• Документирование смысла данных;


• Документирование структуры данных;


• Документирование истории жизненного цикла базы данных (разработка, использование, действия, связанных с передачей на архивное хранение ...);


• Систематическое описание архивируемых данных в соответствующих инструментах, предназначенных для этой цели:


• Описание программного приложения, из которое извлечен архивный файл;


• Описание архивного файла;


• Описание структуры архивируемого файла;


• Описание данных, содержащихся в архивируемом файле.

Процесс архивации баз данных напоминает создание последовательности фотоснимков. Первостепенное значение для обеспечения аутентичности и надёжности во времени имеет документирование. Непрерывность лучше всего обеспечивают простые и «прямолинейные» системы.

Мир баз данных постоянно изменяется:

• Изменяются технологии (между 1960 и 2000 годами баз данных были иерархическими, реляционными, объектно-ориентированными, хранилищами данных, NoSQL);


• Меняются варианты использования (статистические расчеты, динамическое формирование документов, «приемник» информации для её последующего коллективного использования и сохранения). Кроме того, характер использования зависит от типа объектов и меняется в зависимости от числа пользователей (т.е. возникает риск утраты данных и несогласованности);


• Меняется контент баз, в зависимости от логики процесса принятия на хранение, - от «кампании» к «кампании» (имеется в виду добавление большого количества данных с заданной регулярностью), или «по факту» (непрерывно идёт добавление, изменение и удаление данных). Есть также вопросы, связанные с обновлением документов (появление дубликатов и версий) и с возможностью автоматического изменения определенных данных системой.

С учетом нынешних тенденций, было сформировано межведомственное партнерство (с участием Министерства иностранных дел, Министерства культуры и коммуникаций и Министерства обороны) с целью создать общее программное обеспечение, основанное на открытых инструментах, получившее название VITAM. Изменившаяся точка зрения ориентирована на удобство доступа.

Схема проекта VITAM. Источник (с пояснениями) см. http://archiverleternite.blogspot.ch/2013/07/sae-oais-les-3-ages-vus-par-un.html

В составе VITAM будет разработан для Национальных Архивов модуль ADAMANT, который обеспечит интерфейс с уже имеющимися у Национальных Архивов приложениями. Разработка запланирована на период с конца 2014 по конец 2016 года.

Тома ван де Валле сделал выводы о направлениях дальнейшего развития:

• Инструменты: разнообразие или рационализация?


• Повторное использование: сокращение количества средств обеспечения сохранности и доступа?


• Персональные данные: как найти демократический баланс?


• Логические модели: увеличение сложности?


• Документы: исчезающий вид


• Такое развитие обеспечения возможность длительного использования ...

и путях, по которым идут Национальные Архивы:

• Для баз, объединяющих данные и документы: в первую очередь рассматривать их как наборы документов, снабжённых структурированными метаданными;


• В плане управления сбором материалов, поддерживать логику извлечения и продолжить работу по отбору и обеспечению качества данных;


• Для обеспечения долговременной сохранности, выдерживать принципы технологической автономности и сохранения документации, отражающей историю архивируемых данных;


• Для поддержания доверия: Необходимо уделять особое внимание вопросу управления правами и вопросу анонимизации;


• Для обеспечения доступа к данным, использовать потенциал исследований в области использования накапливаемых метаданных, а также применять инструменты для визуализации и выполнения типовых операций.

Всё это должно позволить от вот такой ситуации:

перейти к такой:

О других аспектах проекта VITAM Тома ван де Валле рассказывал в своём выступлении на английском языке на конференции по электронной дипломатике (Digital Diplomatics), проходившей в Париже в ноябре 2013 (см.: http://www.cei.lmu.de/digdipl13/wp-content/uploads/Van-de-Walle.pdf - очень рекомендую эту презентацию – Н.Х.)

Информацию по техническим аспектам, лежащим в основе проекта VITAM, можно найти на блоге Фредерика Брегье (Frédéric Bréguier) «Архивация вечности» (Archiver l’éternité)  по адресу: http://archiverleternite.blogspot.fr/ (в частности, см. http://archiverleternite.blogspot.fr/2013/07/larchivage-electronique-versement.html#more   - Н.Х.).

Источник: блог «Le regard de Janus»
http://regarddejanus.wordpress.com/2014/04/26/la-conservation-des-bases-de-donnees-dimensions-specifiques-et-questions-correlees/