Инструменты анализа форматов для архивистов, часть 3

(Продолжение, предыдущую часть см. http://rusrim.blogspot.ru/2016/07/2.html )

DROID и PRONOM

Архивистам часто нужно обрабатывать большие пакеты файлов, и им нужна общая картина того, с чем они имеют дело: им нужно знать, сколько имеется файлов в каждом из форматов, сколько подверженных риску файлов, какова статистика использования форматов по годам и месяцам, в какой мере используются старые версии форматов, и т.д. В этом эффективен такой инструмент, как DROID, который распространяют Национальные Архивы Великобритании по лицензии BSD. Главная задача данного инструмента - проверять и идентифицировать файлы при их вводе в архивную систему. DROID использует разработанную Национальными Архивами базу данных о форматах PRONOM, идентифицируя форматы файлов на основе их сигнатуры или «магического числа».

Хотя по функциям он похож на команду «file», DROID проводит более детальное различие между форматами. Например, PRONOM различает в рамках формата TIFF основанный на TIFF универсальный формат для цифровых фотокамер DNG, TIFF-FX для факсимильных изображений и файлы Exif, представляющие собой TIFF-метаданных в отсутствие изображения.

DROID хорош при обработке больших пакетов файлов. Анализ проводится в два этапа. Сначала пользователь «профилирует» набор файлов, собирая информацию о них в единый документ. В командной строке пользователь может указать фильтры, говорящие DROID о том, какие файлы следует профилировать. К сожалению, в языке фильтров сложно разобраться, а документация не столь полезна, как могла бы быть, но, к счастью, существует Google-группа ( https://groups.google.com/forum/#!forum/droid-list ), участники которой могут ответить на возникающие вопросы.

На втором этапе формируется отчет. Одна команда может выполнить сразу оба этапа. Вот относительно простой пример команды с фильтром, отбирающим только PDF-файлы, создающей отчет в виде CSV-файла:

    droid.sh -p "result1.droid" -e "result1.csv" -F "file_ext contains 'pdf'"

Проще запускать DROID через графический интерфейс. В этом случае профилирование и формирование отчета - отдельные этапы.

DROID мало занимается проверкой формата и извлечением метаданных, его сильной стороной является идентификация файловых форматов по их сигнатурам. Это ценно при обработке большого количества поступающих на архивное хранение файлов, с целью отсеять файлы в неподходящих форматах.

ExifTool

Иная направленность у инструмента ExifTool, разработанного Филом Харви (Phil Harvey, см.  http://owl.phy.queensu.ca/~phil/exiftool/ ). Его специальность - манипулирование метаданными и, несмотря на свое название, он знает о метаданных очень многих типов, а не только об Exif. Он может просматривать и модифицировать файлы, и способен на такие ловкие трюки, как назначение автора группе файлов или корректировка метки времени, относящейся к неправильному часовому поясу. Для архивистов он наиболее интересен своей способностью захватывать метаданные из файлов и сообщать о них.

Инструмент в основном «знает» об аудио-, видео- и графических форматах (но не только). Он проводит простую идентификацию формата по его сигнатуре, а также проверку структуры, достаточную для выделения метаданных в файле. ExifTool доступен по лицензии Perl.

Это многоцелевой программный инструмент, с широкими возможностями написания сценариев. Perl-приложения могут использовать его посредством конструкции Image::ExifTool. Другой программный код может использовать интерфейс командной строки инструмента в качестве API, используя флаги -@ и –stay open для передачи команд через стандартное устройство ввода или через файл аргументов. Кроме того, прилагаемая библиотека поддерживает использование интерфейса командной строки в программах на языке C ++.

ExifTool рассматривает все свойства и метаданные файла в качестве «тегов». Команда может запросить конкретные теги или их группы. Приведенная ниже команда выдаст тип файла, MIME-тип и обычное расширение формата:

    exiftool -filetype -mimetype -filetypeextension sample.png

Выдача команды будет выглядеть следующим образом (если предположить, что это действительно PNG-файл):

    File Type                    : PNG
    MIME Type               : image/png
    File Type Extension     : png

Поддерживается ряд вариантов экспорта результатов, в том числе в файлы формата HTML, RDF XML, JSON и в простой текст. Выходные данные могут быть отсортированы, и для некоторых тегов есть варианты форматирования.

(Окончание следует, см. http://rusrim.blogspot.ru/2016/07/4.html )

Гэри МакГэф (Gary McGath)

Источник: блог «Mad File Format Science»
https://lwn.net/Articles/688396/

В свободном доступе выложен инструмент для идентификации файловых форматов Siegfried

Данная заметка Ричарда Лехейна (Richard Lehane) была опубликована 25 марта 2015 года на его блоге «Richard's Blog» (см. http://openpreservation.org/knowledge/blogs/author/richardlehane/ ), расположенном на сайте Фонда «Открытая сохранность» (Open Preservation Foundation, OPF), под названием «Выпущена первая версия инструмента для идентификации файловых форматов «Зигфид»» (Siegfried v 1.0 released (a file format identification tool).

Программа «Зигфрид» (Siegfried) представляет собой инструмент идентификации файловых форматов на основе реестра форматов PRONOM. Её первая версия Siegfried v. 1.0 теперь доступна по адресу http://www.itforarchivists.com/siegfried .

Основные отличительные особенности программы следующие:

• Полная реализация PRONOM (байтовые и контейнерные сигнатуры)


• Надежные результаты (Siegfried на тестах сравнивался со «скелетным» пакетом Росса Спенсера (Ross Spencer) и прошёл тестирование на качество в сопоставлении аналогичными по назначению пакетами DROID и FIDO)


• Быстрое нахождение соответствия без ограничения на количество просматриваемых байтов;


• Детальная информация о том, на каком основании был сделан вывод о соответствии определённому формату;


• Простой интерфейс командной строки с возможностью выбора вариантов вывода результатов (в формате YAML, JSON или CSV);


• Встроенный сервер для интеграции с рабочими процессами;


• Расширенные возможности, включающие режим отладки, модификацию сигнатур и поддержку нескольких идентификаторов.

Большое спасибо Россу Спенсеру за базовый набор функций, Мисти де Мео (Misty De Meo) Ubuntu-упаковку, а также всем тем в Национальных Архивах Великобритании, кто создал и поддерживает базу данных PRONOM.

Мой комментарий: Программы такого рода входят в число основных рабочих инструментов электронных архивистов. Они анализируют внутреннюю структуру файлов и позволяют достоверно определить использованный для его создания формат (и версию формата).

Переходя по данной Лехейном ссылке ( http://www.itforarchivists.com/siegfried ), мы попадаем на посвященную программе Siegfried страницу его личного сайта, которая вызовет ностальгию у тех, кто ещё помнит времена PC 286-х (см. рис.1).

Рис.1. Страница для загрузки и тестирования программы

На этой странице можно скачать 32- и 64-битовые версии программы. Можно также оценить, что программа умеет, просто перетащив мышкой какой-нибудь файл прямо на наковальню Зигфрида. Вот что получилось у меня (см.рис.2, в качестве примера был взят PDF-файл):

Рис.2 Пример выдаваемой о файле информации

Сама программа выдает результаты в следующем виде:

Особых «красот» здесь нет, электронным архивистам важна функциональность и возможность сопряжения с другими инструментами.

Дополнительная информация: Её можно найти в других постах Лехейна, посвященных проекту Siegfried:

• “Siegfried and Roy”, http://openpreservation.org/knowledge/blogs/2014/12/12/siegfried-and-roy/


•  “Siegfried – a PRONOM-based, file format identification tool”, http://openpreservation.org/knowledge/blogs/2014/09/27/siegfried-pronom-based-file-format-identification-tool/

Источник: сайт ODF
http://openpreservation.org/knowledge/blogs/2015/03/25/siegfried-v-1-0-released-a-file-format-identification-tool/ 

Великобритания: Как один из крупнейших архивов мира организует переход от пергаментов к пикселям

Заметка специалиста по электронной архивации Национальных Архивов Великобритании Дэвид Клипшема (David Clipsham - на фото) была опубликован 16 января 2015 года на сайте «Беседа» (The Conversation, http://theconversation.com ).

Коллекции Национальных Архивов Великобритании, охватывающие материалы от «Книги судного дня» (Domesday Book) до бумаг нынешнего правительства, насчитывают 11 миллионов исторических государственных документов и являются одними из крупнейших в мире. В их состав входят бумаги и пергаменты, фотографии, карты и рисунки, - а также огромное количество электронных документов, таких как заархивированные веб-сайты государственных органов, сообщения электронной почты и посты в социальных сетях. Бумага может выдержать тысячи лет, но как быть со всё возрастающими объёмами электронных документов?

Километры подобных материалов при электронном хранении уместятся в нескольких кубических сантиметрах (Фото: пользователь Flikr merlin1487, https://www.flickr.com/photos/merlin1487/5518280677 )

В соответствии с Законом о государственных документах (Public Records Act), Национальные Архивы наделены широкими полномочиями по обеспечению постоянной сохранности документов правительства Великобритании, которые были отобраны на постоянное хранение ввиду их исторической ценности.

Наши физические документы, самым старым из которых более 1000 лет, занимают более 200 погонных километров полок и требуют деликатной работы по консервации и бережному хранению. Документы электронной эпохи, с другой стороны, требуют мало места, но с ними связаны другие проблемы – так как же архивисты справляются с последствиями нашего перехода от пергаментов к пикселям?

Создайте инструменты, и пользователи придут

Мы начали уделять повышенное внимание проблемах долговременной сохранности электронных материалов начиная с середины 1990-х годов, осознав в тот момент, что отсутствует авторитетный и централизованный источник сведений о форматах файлов. Поэтому мы разработали PRONOM ( http://apps.nationalarchives.gov.uk/PRONOM/Default.aspx , см. также http://rusrim.blogspot.ru/search/label/PRONOM - Н.Х.) - реестр файловых файлов и приложений, необходимых для открытия и чтения таких файлов в таких форматах; а также Droid ( http://www.nationalarchives.gov.uk/information-management/manage-information/preserving-digital-records/droid/ , см. также http://rusrim.blogspot.ru/search/label/DROID - Н.Х.) - свободно распространяемый инструмент с открытым исходным кодом для управления такими данными и информацией.

На сегодняшний день, PRONOM содержит подробную информацию о более чем 1000 различных файловых форматов, в том числе их технические характеристики, и использует надежный метод идентификации форматов на основе анализа цифровых файлов на уровне байтов.

Совместно DROID и PRONOM используются во всем мире учреждениями, занимающимися сохранением культурно-исторического наследия. Они применяются в составе специализированного программного обеспечения для архивного хранения, и даже в составе инструментов электронной судебно-криминалистической экспертизы, используемых полицией и следователями.

Экономный подход к обеспечению долговременной сохранности

Наш подход к обеспечению электронной сохранности мы называем «экономным» (parsimonious preservation), и по сути его можно свести к двум принципам:

• Знай, что у тебя есть, и


• Храни это в безопасности.

Чтобы наши электронные документы были в безопасности, мы создали на своей площадке собственную многофункциональную Инфраструктуру для электронных документов (Digital Records Infrastructure). Предусмотрено, например, несколько этапов антивирусной проверки, обеспечивающих отсутствие риска порчи наших документов вредоносными программами. Проверяется целостность и неизменность файлов (file fixity checking), что позволяет убедиться в том, что никакой из переданных нам на хранение электронных объектов не был изменен, испорчен и не потерял биты с момента архивации.

Правильная идентификация файлового формата с помощью DROID и PRONOM позволяет надлежащим образом задокументировать сведения о типе файла и способах его чтения. Проверка метаданных позволяет убедиться в том, что имеющаяся информация, описывающая документы в архиве, действительно им соответствует.

Когда какие-либо материалы должны раскрываться в соответствии с положениями Закона о государственных документах, мы делаем это через наш публичный онлайн-каталог Discovery, http://discovery.nationalarchives.gov.uk/ .

Дэвид Клипшем (David Clipsham)

Источник: сайт TheConversation.com
http://theconversation.com/how-one-of-the-worlds-largest-archives-is-managing-the-move-from-parchment-to-pixels-33973 

Обеспечение долговременной сохранности в облаке? Первый взгляд на систему Preservica

Данная заметка сотрудника Национальной библиотеки Нидердандов Джефри ван дер Хёвена (Jeffrey van der Hoeven – на фото) была опубликована 6 июля 2012 года на блоге голландской Национальной коалиции по обеспечению сохранности электронных материалов (Nationale Coalitie Digitale Duurzaamheid, NCDD).

5 июля компания Tessella Technology & Consulting организовала веб-семинар (вебинар), на котором представила свой только что запущенный сервис «долговременная созранность как услуга» под названием Preservica. Я принял участие в этом вебинаре, поскольку меня интересуют  последние достижения компании, которая сделала ясный выбор в пользу серьёзных инвестиций в архивирование на ближайшие годы - как это она делала и в прошлом. Вот мои впечатления:

Насколько мне известно, Preservica является первым решением для архивирования, которое перенесено в облако и предлагает пользователям те же возможности, что и современное решение фирмы Tessella для автономных систем архивации под названием «Сейф» (Safety Deposit Box, SDB). Говорят, тем не менее, что облачное решение более гибкое и не требует развертывания на месте ИКТ-инфраструктуры, поскольку всем можно управлять дистанционно.

Программное обеспечение, обеспечивающие специфические функциональные возможности электронного архива, разработано фирмой Tessella, в то время как базовая инфраструктура хранения и вычислений обеспечивается облачным сервисом Amazon. За один час команда Tessella помогла участникам вебинара получить хорошее представление о возможностях и workflow-процессах системы Preservica, и даже рискнула продемонстрировать её работу в реальном времени.

По существу Preservica работает следующим образом: Вы вводите файлы в систему,  просто загружая их в неё. Формат файлов автоматически идентифицируется с помощью инструмента «Друид» (Droid, рис. 1). Это операция может быть выполнена в пакетном режиме.

Рисунок 1 (Источник: Tessella)

После этого к файлу применяется политика, содержащая информацию о том, что должно быть сделано перед отправкой файла на длительное хранение. Технический реестр содержит указания о том, что должно быть сделано с файлом определенного формата. Например, может потребоваться конверсия в другой формат (рис. 2).

Рисунок 2 (Источник: Tessella)

Для каждого пакета информации формируется сдаточный SIP-пакет (используется терминология стандарта OAIS – Н.Х.). Это можно сделать как используя заготовленный шаблон, так и «с нуля»; в последнем случае пользователь должен вручную ввести метаданные для данного конкретного пакета. Таким образом можно подготовить специфические для конкретной коллекции документов SIP-файлы, имеющие собственные метаданные.

Если все параметры заданы, то процесс ввода файлов в систему запускается в рамках авторизованной сессии. Автоматически выполняется целый ряд шагов, что хорошо показано на рис. 3.

Рисунок 3 (Источник: Tessella)

Все загруженные SIP-пакеты можно просматривать с помощью встроенного файл-браузера. Это, как мне кажется,  практичное решение для небольших коллекций, но навигация может стать проблемой, когда речь пойдёт о миллионах объектов. Тем не менее, такой инструмент имеется и обеспечивает базовые возможности интерфейса пользователя по работе с данными.

Планы и действия по обеспечению сохранности

Одной из ключевых особенностей системы Preservica является её способность осуществлять выполнять действия, необходимые для обеспечения долговременной сохранности электронных объектов. Это означает, что систему можно настроить на реагирование в определенных ситуациях, когда форматы данных могут морально устареть. Для этого нужно составить план обеспечения сохранности (preservation plan), предусмотренные которым действия могут по расписанию выполняться над определенными наборами данных (определяемых форматом файлов, типом коллекции и т.д.). Tessella продемонстрировал это на примере преобразования «на лету» файлов формата JPEG2000 в формат PDF/A, которой прекрасно сработало (рис. 4).

Рисунок 4. Источник: Tessella

Заключение

В целом, я думаю, Tessella создала хорошую возможность для малых и средних предприятий поднять на качественно новый уровень их деятельность по обеспечению долговременной сохранности электронных коллекций, используя на порядок более совершенные методы, чем те, что они  применяют сейчас. Поскольку в таких организациях может не быть масштабируемой технической инфраструктуры, то теперь они могут использовать систему Preservica для обеспечения сохранности электронных материалов. Ни один другой коммерческий поставщик, насколько мне известно, не предлагает аналогичного готового к использованию решения.

Тем не менее, следует сказать несколько слов предостережения. Как и при использовании любых других облачных решений, нужно понимать риски, о которых я писал в своём предыдущем посте (  http://www.ncdd.nl/blog/?p=2347 ). Я высказал представителям Tessella мои сомнения относительно выбора Amazon в качестве поставщика облачных услуг. В 2009 году Amazon пережил крупный технический сбой ( http://articles.businessinsider.com/2011-04-28/tech/29958976_1_amazon-customer-customers-data-data-loss ), который привёл не только к недоступности услуг в течение определенного времени, но и к  тому, что часть данных была потеряна навсегда!

Tessella же считает, что сейчас Amazon стабилен и защищён, и что вряд ли такие события повторятся в будущем. Однако при долговременном хранении «будущее» очень, очень длительное ...

Кроме того, имеется ряд юридических вопросов. Поскольку Amazon базируется в США, то все сохраняемые в системе Preservica данные автоматически загружаются на американские сервера – подпадая под американский, а не под европейский правовой режим (на практике это означает, что может не обеспечивать уровень защиты персональных данных, предусмотренный европейским законодательством, существенно более строгим в этом отношении, чем американское. В случае судебных споров или расследований, американские суды могут потребовать раскрытия данных по американским правилам – Н.Х.).

Наконец, когда данные уже сохранены в Preservica, то вытащить их из системы обратно непросто. На данный момент нет простых способов переноса большого количества контента на другие платформы (если таковые появятся). Пока Preservica Вас устраивает, это, конечно, не проблема, - но если у Вас могут возникнуть финансовые трудности или если может потребоваться быстро скачать данные из системы, то я советую Вам заранее оговорить особые условия на такие случаи.

Данный пост отражает личное мнение автора и ни в коей мере не отражает официальной позиции Национальной коалиции по обеспечению сохранности электронных материалов (NCDD) или какой-либо из её организаций-членов.

Джефри ван дер Хёвен (Jeffrey van der Hoeven)

Источник: блог голландской Национальной коалиции по обеспечению сохранности электронных материалов
http://www.ncdd.nl/blog/?p=2631

Великобритания: База данных программного приложения для идентификации форматов DROID пополнилась новыми сигнатурами

Данная заметка была опубликована на сайте Национальных Архивов Великобритании 15 июля 2011 года.

Национальные Архивы Великобритании в очередной раз расширили базу данных, используемую службой PRONOM, в рамках продолжающегося партнерства с Научно-исследовательским технологическим институтом штата Джорджия  (Georgia Tech Research Institute) и Национальными Архивами США (NARA).

В результате недавних совместных усилий  добавлено еще 50 сигнатур, используемых для идентификации электронных файловых форматов. В общей сложности за июль добавлено 60 новых сигнатур, которыми с этой целью могут воспользоваться как исследователи, так и широкая общественность.

Инструментарий DROID

Национальные Архивы в настоящее время сохраняет в реестре PRONOM (о нем см. также http://rusrim.blogspot.com/search/label/PRONOM ) сведения о 800 электронных форматах. Вместе с программным приложением для идентификации форматов DROID (подробнее о ней см. http://rusrim.blogspot.com/search/label/DROID ), база данных содержит около 400 внутренних сигнатур.

При сканировании жесткого диска компьютера, DROID идентифицирует форматы файлов на основе записей в базе данных PRONOM. Правильная идентификация форматов файлов является первым шагом в обеспечения их долговременной сохранности, так как она дает возможность электронным архивистам выявить файлы в старых форматах, которые могут подвергаться риску морального устаревания. Такая идентификация также позволяет архивистам выбрать подходящие стратегии миграции, и инструменты, используемые для обеспечения сохранности.

Текущую версию бесплатной программы DROID (DROID 6) можно скачать по адресу http://droid.sourceforge.net/ .

Источник: сайт Национальных Архивов Великобритании
http://www.nationalarchives.gov.uk/news/597.htm

Великобритания: Тот самый «Друид», которого Вы искали

О разработанной Национальными Архивами Великобритании программе DROID (Друид), решающей задачу автоматической идентификации файлового формата, я уже писала (см. материалы с тегом DROID: http://rusrim.blogspot.com/search/label/DROID ). 7 марта 2011 года разработчики сообщили о выходе новой 6-й версии программы.

Национальные Архивы Великобритании представили самую быструю и точную на сегодняшний день версию своего программного обеспечения для идентификации файловых форматов, которое уже завоевывало престижные награды.

Инструмент для определения файловых форматов DROID (названием также расшифровывается как «Идентификация электронных документных объектов» - Digital Record Object IDentification) берет на себя тяжелую работу в процессе управления электронными данными. Программу можно бесплатно скачать с соответствующей страницы веб-сайта Национальных Архивов http://www.nationalarchives.gov.uk/information-management/projects-and-work/dc-file-profiling-tool.htm (которая переадресует пользователя на сайт проекта DROID http://sourceforge.net/projects/droid/files/ - Н.Х.). Программа способна одновременно сканировать миллионы файлов и правильно определять сотни различных файловых форматов, включая большинство форматов, широко используемых для хранения документов, аудио- и видеозаписей и графических образов.

Информация, которую выдает DROID, помогает в принятии решений о том, какие данные следует сохранить, давая пользователям возможность сократить объёмы хранимых данных,  повышая благодаря этому экономическую эффективность и производительность труда (Я с такой формулировкой не согласна. Основная полезность программы DROID состоит в том, что, благодаря получаемым от неё данным, появляется возможность вовремя выявить данные, хранящиеся в устаревших форматах, а также подобрать подходящие инструменты для проведения конверсии/миграции. Принятие решений о хранении информации и, тем более, уменьшение объёмом хранимой информации тут вообще ни при чём! – Н.Х.).

Джесси Оуэн (Jessie Owen), руководитель программы Национальных Архивов по обеспечению непрерывной сохранности электронных документов и информации (Digital Continuity), отметил: «Программа DROID была разработана в качестве простого решения всё более усложняющихся проблем, связанных с управлением электронными данными. Национальные Архивы свободно предоставляют программу всем, кто желает лучше управлять своими файлами, - начиная от владельцев персональных компьютеров и до коммерческих и благотворительных организаций, и государственных органов».

Источник: сайт Национальных Архивов Великобритании / сайт проекта DROID
http://www.nationalarchives.gov.uk/news/547.htm 
http://droid.sourceforge.net/ 

Великобритания: Быстрое расширение базы данных PRONOM благодаря международному партнерству

Как сообщили 6 декабря 1010 года на своём сайте Национальные Архивы Великобритании, разработанная ими и удостоенная международных наград служба PRONOM (см. http://www.nationalarchives.gov.uk/aboutapps/pronom/ ), представляющая собой онлайн-реестр файловых форматов и имеющая ключевое значение для обеспечения долговременной сохранности электронных материалов, смогла существенно увеличить свою базу данных благодаря успешному партнерству с Институтом технических исследований штата Джорджия (Georgia Tech Research Institute) и Национальными Архивами США (National Archives and Records Administration, NARA).

Стартовая страница PRONOM на сайте
Национальных Архивов Великобритании

Как работает PRONOM?

PRONOM - это доступная в сети база данных, содержащая информацию о более чем 750 различных электронных файловых форматах. В связке с программой идентификации файловых форматов DROID (о ней см. http://rusrim.blogspot.com/2010/02/droid.html  – Н.Х.), которая использует эту базу данных, PRONOM дает возможность электронным архивистам, специалистам по управлению документами и другим пользователям определить, что за файлы у них имеются, в каких форматах, и как наилучшим образом обеспечить их долговременную сохранность.

Инструмент DROID сканирует компьютер или жесткий диск, и определяет типы файлов как с использованием расширений их имён  (например, .doc для файлов Word), так и путем сопоставления внутренних сигнатур файла с соответствующими записями в базе данных PRONOM. Использование внутренних сигнатур - гораздо более точный способ определения форматов файлов, поскольку расширения могут быть легко изменены или убраны.

В настоящее время примерно треть из 750 записей в базе данных PRONOM содержит внутренние сигнатуры. Чем больше будет в базе сигнатур,  тем точнее DROID сможет идентифицировать файловые форматы, и тем шире этот инструмент будет использоваться  сообществом специалистов, занимающихся вопросами долговременной сохранности. Точное определение форматов файлов является первым шагом в обеспечения их долговременной сохранности, так как позволяет электронным архивистам выявить файлы в старых, подвергающихся риску морального устаревания или уже устаревших  форматах. Сведения о форматах позволяют разработать стратегии миграции и подобрать соответствующие программные средства для реализации этих стратегий.

Продолжающееся сотрудничество

Научно-исследовательская работа, проделанная  Институтом технических исследований штата Джорджия по просьбе Центра перспективных систем и технологий (Center for Advanced Systems and Technologies, NCAST) Национальных Архивов США, почти на четверть увеличила количество внутренних сигнатур в базе данных PRONOM. Продолжающееся сотрудничество с Национальными Архивами Великобритании означает, что помимо 50 сигнатур, добавленных в базу этом месяце, в следующем году ожидаются очередные пополнения. Директор Центра перспективных систем и технологий Кеннет Тибодё (Kenneth Thibodeau, в течение многих лет он возглавлял программу ERA создания федерального электронного архива США – Н.Х.) отметил: «Создав инструментарий PRONOM/DROID, Национальные Архивы Великобритании отреагировали на насущную потребность в обеспечении долговременно сохранности и постоянного доступа к ценной электронной информации. Мы рады возможности внести свой вклад в развитие этого инструмента, который мы используем в нашей системе «Электронного архива документов» (Electronic Records Archives, ERA). Это полезно и нам сами, и всем тем, кому необходимо обеспечивать сохранность электронных ресурсов».

Дэвид Томас (David Thomas), директор Национальных Архивов Великобритании по технологиям, сказал: «Мы благодарны NARA и Институту технических исследований штата Джорджия за проделанную ими в последнее время работу по исследованию форматов. Решение поделиться плодами своей работой с нами значительно улучшило базу данных PRONOM, что принесёт огромную всему сообществу специалистов, занимающихся вопросами долговременной сохранности электронных материалов».

История PRONOM

Первая версия PRONOM был создана в марте 2002 года для внутреннего использования департаментом долговременной сохранности электронных материалов Национальных Архивов Великобритании. Как бесплатный онлайн-сервис, она была открыта для публики в феврале 2004 года.

В 2007 году Национальные Архивы получили за разработку инструментов PRONOM и DROID премию « За обеспечение долговременной сохранности электронных материалов» (Digital Preservation Award), в знак признания значительного вклада в сохранение электронного наследия.

DROID и PRONOM были интегрированы в ряд систем поддержки электронных архивных хранилищ,  включая те, что используются национальными архивами Эстонии, Финляндии, Австрии и Швейцарии (имеется в виду программное обеспечение Safety Deposit Box, поставляемое фирмой Tessella и первоначально созданное в сотрудничестве с Национальными Архивами Великобритании – Н.Х.).

DROID также используется рядом департаментов правительства Великобритании в рамках их информационных ресурсов и процессов управления документами, при содействии группы по «непрерывной сохранности электронных материалов» (Digital Continuity team) Национальных Архивов страны.

Будущее PRONOM

В 2011 году данные из PRONOM будут выдаваться в связанном, открытом формате. Это упростит повторное использование этих данных, и позволит развивать и расширять базу данных.

Источник: сайт Национальных Архивов Великобритании
http://www.nationalarchives.gov.uk/news/519.htm

Использование программы DROID в процессе экспертизы ценности электронных материалов

В настоящее время в ряде стран активно разрабатываются свободно распространяемые программные средства, помогающие «электронным архивистам» проводить экспертизу поступающих материалов и обеспечивать их долговременную сохранность. Ниже приведен фрагмент статьи американского архивиста Криса Прома об одном из таких полезных инструментов – программе DROID.

Программа DROID, разработанная Национальными архивами Великобритании, является инструментом, помогающим архивистам идентифицировать файловые форматы. Иногда DROID используется как часть процесса обеспечения долговременной сохранности электронных документов.

Я считаю, однако, что эта программа может быть не менее полезна в ходе экспертизы ценности, когда архивист пытается разобраться с компонентами конкретной серии электронных документов.

DROID считывает информацию из внутренних заголовков одного или нескольких файлов, а затем использует сложный алгоритм, сравнивающий эту информацию с файлами сигнатур, хранящимися в базе данных PRONOM. По итогам сравнения, DROID расценивает,  имело ли место точная или предварительная идентификация, или же формат не был идентифицирован.  В случае точной или предварительной идентификации,  DROID выдает уникальный идентификатор формата в базе Pronom (Pronom Unique ID, PUID), MIME-тип, название и версию формата. Точное процесс, реализованный в программном обеспечении, описан в технических руководствах по программе, но очевидно, что успех идентификации во многом зависит от полноты используемой программой базы данных/ файла сигнатур.

Этот инструмент очень полезен, но, как мне кажется, он вряд ли широко используется где-либо помимо крупномасштабных проектов обеспечения долговременной сохранности электронной информации и документов, поскольку фактически это инструмент для поточной «обработки», и его основная цель заключается в поддержке сохранности электронных объектов в хранилище. Версии DROID для всех основных платформ доступны для скачивания на сайте Sourceforge; имеющаяся статистика показывает, что программа была скачана около 8000 раз (последняя версия 4.0 - 1600 раз).

Помимо использования в качестве инструмента обеспечения долговременной сохранности, программа может быть использована при экспертизе файлов в ходе отбора на архивное хранение. В будущем DROID (или аналогичное ему программное приложение) может стать еще более полезным. Когда будут разработаны средства, позволяющие спланировать действия по обеспечению сохранности для файлов в определенных форматах,  то можно будет каждому формату поставить в соответствие список программных приложений, способных отобразить такие файлы и/или выполнить определенные действия с целью обеспечения их сохранности. Создаваемые в рамках проекта PLANETS инструменты, такие как PLATO и Testbed, когда их выпустят в мае 2010 года, возможно, будут включать часть таких расширенных функциональных возможностей.

Крис Пром (Chris Prom), помощник архивиста университета Иллинойса (США)

Полный текст статьи, подробно оценивающей функциональные возможности и удобство использования программы DROID (на английском языке) доступен здесь: http://e-records.chrisprom.com/?p=861

Скачать программу DROID можно по адресу:  http://sourceforge.net/projects/droid/files/ 

Источник: блог Криса Прома
http://e-records.chrisprom.com/?p=861

Разработанная Национальными Архивами Великобритании программа идентификации файловых форматов DROID доступна для скачивания

Национальные Архивы Великобритании (The National Archives, TNA) продолжают разработку т.н. «активного» подхода к обеспечению длительной сохранности документов (Active Preservation Framework), и практическую реализацию соответствующей программной системы.

Одним из программных блоков, разрабатываемых в рамках данного проекта, является программа DROID (Digital Record Object Identification), задачей которой является точная автоматическая идентификация версии файлового формата.

В настоящее время версия DROID для Windows доступна для скачивания по адресу http://sourceforge.net/projects/droid/ . Программа имеет простой, интуитивно понятный интерфейс. Результат идентификации может быть сохранен в виде XML-файла.

Источник: Bogdan’s Archival Blog
http://bogdanpopovici2008.wordpress.com/2009/07/29/droid/

Великобритания: Активный подход к обеспечению длительной сохранности электронных документов

Национальные Архивы Великобритании (The National Archives, TNA) продолжают разработку т.н. «активного» подхода к обеспечению длительной сохранности документов (Active Preservation Framework), и практическую реализацию соответствующе программной системы.

В концепции предусмотрены три основных функциональных блока, образующих замкнутый цикл, причем каждый из блоков опирается на услуги, обеспечиваемые центральным техническим реестром.

Первый функциональный блок анализа характеристик отвечает за определение тех свойств цифровых объектов, которые имеют существенное значение для их долговременной сохранности, и знание которых необходимо для принятия решений на этапе планирования, а также при проверке результатов действий по обеспечению долговременной сохранности.

В рамках данного блока можно выделить три основных процесса, каждый из которых применим как к документу в целом, так и к составляющим его файлам:

• Идентификация – данный процесс отвечает за точную идентификацию версии файлового формата. По результатам идентификации корректируются метаданные файла. В настоящее время TNA использует в качестве инструментального средства идентификации  программу DROID, а для описания форматов применяются универсальны идентификаторы, используемые в реестре файловых форматов PRONOM. В 2007 году планируется выпустить третью версию  DROID, обеспечивающую большую точность идентификации и повышенную производительность.


• Контроль соответствия структуры файла спецификациям формата, определенного по итогам идентификации. В реестре PRONOM содержатся сведения об имеющихся средствах контроля, и о форматах, которые они способны проверять. Средство проверки может быть выбрано автоматически на основе результатов процесса идентификации.


• Определение свойств. В ходе этого процесса определяются существенные с точки зрения обеспечения длительной сохранности свойства цифрового объекта, такие, как:


• Технические свойства файлов, используемые в дальнейшем на этапе планирования. Основным таким свойством является формат; но это также могут быть и любые свойства, относящиеся к технической реализации объекта, такие, как алгоритм сжатия графического изображения, или же природа макросов в офисном документе.


• Внутренние свойства, связанные с подлежащими сохранению документами. Эти свойства не зависят от технической реализации. Примером служат продолжительность видеоклипа или содержание текстового документа.

Второй функциональный блок планирования действий по обеспечению долговременной сохранности. Здесь определяется, когда и какие действия должны быть выполнены с цифровыми объектами. Эти действия должны уменьшить неблагоприятное воздействие внутренних или внешних событий, ставящих под угрозу постоянную доступность цифрового объекта. В этой связи TNA разработало метод планирования на основе анализа рисков. Используемая в TNA модель предусматривает возможность хранения нескольких представлений одного документа, которые могут быть по-разному подвержены воздействию неблагоприятных факторов.

В настоящее время учитываются два вида рисков: риски, связанные с определенным форматом, и риски, связанные с индивидуальным цифровым объектом. Риски, связанные с определенным форматом, вычисляются и документируются в реестре PRONOM на основе таких факторов, как число поддерживающих данный формат программных продуктов, открытость формата и т.д. Риски, связанные с конкретным объектом, вычисляются с учетом таких факторов, как наличие макросов в офисном документе или использование алгоритма сжатия в графическом файле.

Если для какого-либо объекта риски, относящиеся к возможности его представления или к долговременной сохранности, превышают установленное пороговое значение, то автоматически инициируется создание соответствующего плана действий, и последующее выполнение процесса миграции (в случае изменений в технологиях, данные в реестре PRONOM уточняются и риски пересчитываются заново).

Окончательным результатом на выходе второго блока является план действий по обеспечению долговременной сохранности, включающий конкретный путь обеспечения долговременной сохранности, точную последовательность выполняемых действий и список обрабатываемых таким образом цифровых объектов. 

Реестр PRONOM используется здесь двояко: для определения наиболее подходящего формата, в который будет осуществляться миграция, а также для получения сведений о программном обеспечении, способном читать и писать в каждом из форматов – что позволяет определить возможные пути миграции. Пути миграции затем тестируются и результаты анализируются (путем контроля определенных существенных свойств). По итогам этих экспериментов определяется предпочтительный путь миграции в конкретных обстоятельствах.

Третий функциональный блок – блок выполнения действий, обеспечивающих долговременную сохранность. Здесь претворяются в жизнь результаты планирования, производятся преобразования цифровых объектов, позволяющие обеспечить их постоянную доступность.

Технический реестр представляет собой базу знаний, поддерживающую работу трёх основных функциональных блоков. Это – ядро всей системы. В настоящее время реестр уже действует и доступен по адресу http://www.nationalarchives.gov.uk/PRONOM/default.htm . Текущая версия PRONOM ориентирована на использование человеком; в настоящее время идет разработка средств, позволяющих реализовать межмашинное взаимодействие.

Программная система разрабатывается на основе сервисно-ориентированной архитектуры, в которой основные функции реализованы в виде веб-сервисов. Для большей гибкости реализована иерархия сервисов. Каждому сервису, как правило, в виде параметров передаются местоположение обрабатываемых файлов и сопровождающих их XML-метаданных. Разработка ведется с использованием Java J2EE, причем так, чтобы была возможность через стандартный интерфейс использовать инструментальные средства, разработанные сторонними организациями. Для запуска сервисов используется workflow-«движок», который отвечает за управление электронными документами, начиная с момента их отбора и передачи на хранение и до предоставления документов пользователям. Разработку workflow-системы планируется завершить к концу 2007 года.

Источники:

• Adrian Brown "Developing Practical Approaches to Active Preservation", International Journal of Digital Curation, Vol. 2, No. 1, 2007, http://www.ijdc.net/ijdc/article/view/37/42


• Adrian Brown (TNA) "Developing practical approaches to active preservation", in: 2nd International Digital Curation Conference "Digital Data Curation in Practice", 21 – 22 November 2006, http://www.dcc.ac.uk/events/dcc-2006/programme/presentations/a-brown.ppt  (presentation)