ВНИИДАД изучает опыт киноиндустрии в области электронной архивации

Как сообщил на днях сайт ВНИИДАД (см. http://www.vniidad.ru/index.php?option=com_content&view=article&id=2476:2013-11-22-11-41-55&catid=96:sample-news&Itemid=453 ), в Калуге 16 мая 2018 года состоялось заседание Научно-методического совета (НМС) архивных учреждений Центрального федерального округа Российской Федерации, на котором директор ВНИИДАД Николай Николаевич Куняев выступил с докладом «Проблемы нормативного регулирования в цифровой экономике.  Задачи документоведения и архивоведения». Презентация к докладу доступна по адресу https://docs.google.com/presentation/...

Меня в этой презентации заинтересовали два слайда, посвященных долговременной сохранности электронных материалов и соответствующим форматам – причём, что интересно, ВНИИДАД обратил внимание на опыт киноиндустрии.

Первый слайд посвящен стандарту ГОСТ Р 54719-2011 «Архивирование телерадиопрограмм. Описание аудиовизуальных материалов. Структура метаданных» объёмом 91 страница, который доступен по адресу http://protect.gost.ru/v.aspx?control=8&baseC=6&id=171978

Стандарт был разработан Всероссийским научно-исследовательским институтом телевидения и радиовещания (ВНИИТР), внесён Министерством связи и массовых коммуникаций РФ. Документ был подготовлен с учетом основных технических документов Европейского вещательного союза EBU, стандартов Международной организации по стандартизации, Американского национального института по стандартизации ANSI и Общества инженеров кино и телевидения SMPTE.

Стандарт распространяется на процесс архивирования телерадиопрограмм и на системы
описания аудиовизуальных материалов, а также устанавливает требования к структуре метаданных в таких системах.

Содержание стандарта следующее:

Предисловие
1. Область применения
2. Нормативные ссылки
3. Термины, определения и сокращения
4. Архивирование телерадиопрограмм
4.1. Хранение материалов телерадиопрограмм
4.2. Архивы телерадиопрограмм
4.3. Основные технологические процессы в архивах телерадиопрограмм
5. Описание аудиовизуальных материалов
6. Структура и состав метаданных
7. Правила передачи и обмена метаданными
7.1. Контейнер обмена
7.2. Базовые сценарии обмена аудиовизуальным контентом
Приложения
Библиография

Ещё один слайд в докладе Н.Н.Куняева был посвящен стандарту ISO/IEC 12034-1:2017 «Информационные технологии. Формат архивирования и обмена данными (AXF). Часть 1. Структура и семантика» (Information technology - Archive eXchange Format (AXF) - Part 1: Structure and semantics, см. https://www.iso.org/standard/73525.html и https://www.iso.org/obp/ui/#!iso:std:73525:en ).

Первоначальным разработчиком данного стандарта является Общество инженеров кино и телевидения (Society of Motion Picture and Television Engineers, SMPTE, https://www.smpte.org/ ), которое опубликовало его в 2014 году, а после его утверждения в ИСО выпустило новую редакцию SMPTE ST 2034-1:2017 «Формат архивирования и обмена данными (AXF) - Часть 1. Структура и семантика» (Archive eXchange Format (AXF) - Part 1: Structure and Semantics, см. https://ieeexplore.ieee.org/document/7879152/ ).

Содержание стандарта следующее:

Предисловие
Права интеллектуальной собственности
Введение
1. Область применения
2. Обозначение обязательности/желательности положений стандарта
3. Нормативные ссылки
4. Определения
5. Типы носителей информации
6. Структура формата AXF
7. Общие соображения по применению
8. Распределение AXF-объектов по носителям информации (spanning)
9. Поддержка версионности (механизм Collected Sets)
10. Модель данных AXF

О формате AXF пишут следующее (см. http://www.content-technology.com/standards/?p=952

«Контейнерный файловый формат AXF представляет собой автономный самоописываемый информационный пакет, который может содержать любое количество файлов произвольного типа. AXF обеспечивает интероперабельность между разнородными системами хранения контента. Формат обеспечивает долговременную доступность контента, независимо от эволюции технологий систем хранения и файловых систем.

Формат AXF был разработан в качестве оболочки или контейнера, способного хранить высокоустойчивым к ошибкам образом практически неограниченные наборы файлов и метаданных, связанные друг с другом в любой комбинации. В такие контейнеры, известные как «объекты AXF» (AXF Objects), можно упаковать различными способами всю конкретную информацию, необходимую разного рода системам для доступа и восстановления данных. Поскольку формат использует для записи информации язык XML, таким образом, чтобы она могла быть прочитана и извлечена с помощью любой современной компьютерной системы, AXF-объекты практически невосприимчивы к изменениям в технологии и форматах и применимы в рамках любых унаследованных и будущих архитектур хранения.

AXF-объекты могут содержать файлы любого типа и размера, и не подвержены ограничениям конкретных носителей, на которых они хранятся. С помощью автоматической сегментации, поддержки хранения на нескольких носителях и, при необходимости, повторной сборки AXF-объектов, «распределенные по носителям наборы» (spanned sets) позволяют хранить информацию на любом числе носителей различных видов и поколений. Механизм «корректирующих наборов» (collected sets) позволяет операторам архивных систем поддерживать версии AXF-объектов или содержащихся в них файлов при сохранении всех более ранних версий, включая историю операций, даже если используются носители однократной записи или же дорогостоящие подключения к глобальной сети (WAN).»

30 марта 2018 года российская секция Общества инженеров кино и телевидения SMPTE проводила открытое заседание на тему «Организация долговременного хранения цифровых материалов аудиовизуальных произведений». На нём председатель российской секции SMPTE Олег Березин выступил с очень интересным докладом «Стандарт SMPTE ST 2034-1-2017 Archive eXchange Format (AXF)», видеозапись которого выложена на странице по адресу
https://mpe.edu.ru/library/article/otkrytoe-zasedanie-rossijskoj-sekcii-obshestva-inzhenerov-kino-i-televideniya-smpte-organizaciya-dolgovremennogo-hraneniya-cifrovyh-materialov-audiovizualnyh-proizvedenij/  (может потребоваться регистрация на сайте). Он, в частности, отметил, что это гибкий открытый контейнерный формат, предназначенный для надёжного хранения очень больших объёмов данных, при разработке которого были учтены идеи «Эталонной модели открытой архивной информационной системы» - стандарта OAIS (ISO 14721:2012). В общем, я взяла этот формат себе «на заметку» :)

В своём выступлении Олег Березин охарактеризовал формат AXF так:

• универсальный формат для инкапсуляции, хранения, транспортировки и сохранения наборов архивных данных;


• AXF - как «продвинутый ZIP», инкапсулирующий любое количество файлов, метаданных любых файловых систем;


• AXF-пакеты могут храниться на любых типах носителей - как с блоковой структурой без файловой системы (Block Based), так и с файловой системой;


• первый открытый формат, нацеленный на хранение, транспортировку и сохранение данных в виде наборов файлов.

От также выделил следующие свойства формата:

• Создан для оперативного хранения, транспортировки и долгосрочного сохранения;


• Создание Объекта AXF путем группировки файлов и метаданных в самоописываемые пакеты;


• Неограниченные размер и количество файлов любого типа в Объектах AXF;


• Неограниченный размер Объекта AXF, не зависящий от размера носителя (объединение носителей - spanning);


• Сохранение любых типов файлов данных на любых типах носителей, содержащих и не содержащих файловую систему;


• Поддержка удаленного хранения, включая облачные технологии и архитектуры;


• Обновление содержания Объекта AXF, включая метаданные без потери первичного Объекта (версионность)


• Хранение информации в соответствии со стандартами ISO OAIS;


• Обеспечение устойчивой структуры хранения через использование избыточности данных и криптографических хеш-алгоритмов;


• Обеспечение максимальной скорости записи/чтения носителей, в т.ч. с использованием потоковых технологий;


• Хранение, абстрагированное от носителей, операционных и файловых систем и приложений;


• Содержит «легкую» операционную систему внутри Объекта, обеспечивая иерархию файлов и папок;


• Проверенное на практике решение через широкое применение для медийных и немедийных приложений.

Источники: сайт ВНИИДАД / сайт Росстандарта
http://www.vniidad.ru/index.php?option=com_content&view=article&id=2476:2013-11-22-11-41-55&catid=96:sample-news&Itemid=453
http://protect.gost.ru/v.aspx?control=8&baseC=6&id=171978
http://www.content-technology.com/standards/?p=952