Выложен «Справочник проекта PREFORMA: Проверка форматов является необходимым условием обеспечения сохранности электронных объектов»

Данная заметка было опубликована в октябре 2017 года на сайте «Digital Meets Culture» (Электронные технологии в сфере культуры,  http://www.digitalmeetsculture.net/ ).

Мы рады сообщить, что выложен и доступен для скачивания «Справочник проекта PREFORMA» (PREFORMA Handbook). Эта публикация задумана как практическое руководство, которое будет служить ключевым инструментом для лиц, принимающих решения в учреждениях культурного наследия, помогая им анализировать проблемы и выявлять жизнеспособные решения. Данное руководство также может быть использовано как технический справочник для руководителей электронных архивов и разработчиков решений, содержащий указания и рекомендации по использованию инструментов, разработанных в рамках проекта PREFORMA.

Мой комментарий: Проект PREFORMA (от “PREservation FORMAts for culture information/e-archives” – «форматы, подходящие для обеспечения долговременной сохранности информации в области культуры и для электронных архивов») - это проект проведения предкоммерческих закупок (Pre-Commercial Procurement, PCP), в финансировании которого, в рамках «7-й Рамочной программы исследований и технологического развития» (Seventh Framework Programme for Research and Technological development, FP7-ICT), участвует Еврокомиссия. Целью проекта PREFORMA является разработка инструментов с открытым исходным кодом для проверки соответствия спецификациям файлов трех форматов - PDF, TIFF и видеоформата. Эти инструменты должны способствовать деятельности по обеспечению электронной сохранности учреждениями, занимающимися сохранением исторической памяти.

Настоящая публикация является практическим руководством, разработанным на основе извлеченных из практики уроков, которое также описывает проблемы, на которые необходимо обратить внимание при планировании усилий по обеспечению долговременной сохранности архива электронных материалов по культуре.  Особое внимание уделяется этапу проверки соответствия спецификациям форматов хранящихся в архиве файлов. Для удобства использования, структура «Справочника проекта PREFORMA» представляет собой сочетание ключевых соображений о мерах, которые должны быть приняты во внимание руководителями архивов, с рекомендациями по использованию инструментов проекта PREFORMA для реального проведения проверок соответствия.

Руководство включает базовые сведения по вопросам обеспечения электронной сохранности и по проблемам, которые решаются с помощью разработанных в рамках проекта PREFORMA инструментов. Оно рассказывает о том, как продукты DPManager, MediaConch и veraPDF способствуют решению этих проблем, а также содержит практическую информацию об установке этого программного обеспечения и использованию его функциональных возможностей.

В завершающем документ послесловии рассматривается будущего области электронной сохранности, с целью способствовать обсуждению новых проблем, возникающих, например, из-за появления новых форматов и нового контента, связанных с такими технологиями, как 3D-оцифровка, дополненная реальность (augmented reality, AR), виртуальная реальность (virtual reality, VR), «связанные данные» (linked data) и географическая привязка (geo-referencing).

Скачать 136-страничный документ можно по адресу http://www.digitalmeetsculture.net/wp-content/uploads/2017/10/pfo_roadmap_print.pdf .

Мой комментарий. Содержание документа следующее:

Резюме для руководства
Предисловие
1. Введение
2. Проект PREFORMA
3. Обеспечение доступности электронных объектов и их пригодности к использованию во времени
4. Меры, о которых следует подумать при обеспечении долговременной сохранности электронных объектов
5. Проверка соответствия форматов файлов спецификациям: ключевой элемент для жизнеспособности электронных архивов
6. Инструменты, разработанные в рамках проекта PREFORMA
7. План действий по обеспечению контроля над процессом тестирования файлов на соответствие их форматов спецификациям
8. Выводы
Назад в будущее? Как сегодня предвидеть потребности будущих пользователей в области электронной сохранности anticipated today
Сокращения
Об авторах

Источник: сайт «Digital Meets Culture»
http://www.digitalmeetsculture.net/article/the-preforma-handbook/
http://www.digitalmeetsculture.net/wp-content/uploads/2017/10/pfo_roadmap_print.pdf

Файловый формат TIFF/A

Заметка профессионального разработчика программного обеспечения Гэри МакГэфа (Gary McGath - на фото) была опубликована 3 июля 2015 года на его блоге «Сумасшедшая наука о файловых форматах» (Mad File Format Science), который посвящён «файловым форматам, проверке структуры файлов, программному обеспечению для архивации и прочим странным вещам».

Файловый формат TIFF существует и используется уже в течение долгого времени. Его последняя официальная спецификация, TIFF 6.0, датируется 1992 годом (см. https://partners.adobe.com/public/developer/en/tiff/TIFF6.pdf ). В течение этих 23 лет формат, однако, не оставался неизменным. Его разработчик компания – фирма Adobe выпустила несколько «технических бюллетеней» (technical notes, о них см. https://fileformats.wordpress.com/2012/09/18/conformity/ ), описывающие важные изменения и содержащих разъяснения. Разработчики программного обеспечения единодушно проигнорировали требование о том, чтобы смещения значений (value offsets) должны располагаться на границе слова, поскольку для современных компьютеров это бессмысленное ограничение. Формат допускает частные теги, и многие организации ввели такие новые теги. Некоторые из них получили широкое распространение, такие, как тег TIFFTAG_ICCPROFILE, который удовлетворяет потребность в привязке профилей цвета ICC к изображениям. Многие приложения используют набор тегов EXIF  для определения метаданных, которые также не являются частью «стандарта».

Другими словами, формат TIFF сегодня представляет собой свод множества неписанных правил.

Как правило, не так уж сложно справляться с этим хаосом и создавать файлы, с которыми смогут работать все современные популярные приложения. С другой стороны, очень легко создать совершенно легальный TIFF-файл, который только Ваше собственное специализированное приложение будет обрабатывать так, как Вы хотели. Людям, которые архивируют файлы, нужна уверенность в их жизнеспособности. Предположения, которые популярны сегодня, могут измениться в течение одного-двух десятилетий. Вариации в соглашениях об использовании метаданных могут вызвать проблемы.

Ограниченное подмножество формата PDF, называемое PDF/A, определяет правила, помогающие обеспечить долговременную читаемость PDF-файлов, которые следуют этим правилам. Группа архивистов из научно-исследовательских учреждений начала работу над инициативой сделать то же самое с форматом TIFF, назвав будущий продукт по аналогии TIFF/A (см. http://tiff-a.org/ ). Эту инициативу поддерживает европейский проект PREFORMA (см http://www.preforma-project.eu/ ).

Пока что данная инициатива все ещё находится в стадии поиска поддержки. Как сообщает сайт этого проекта, с 1 сентября 2015 года начнутся обсуждения, а 1 марта 2016 года – целевая дата для представления проекта в Международную организацию по стандартизации (ИСО). Технические вопросы обсуждаются в «белой книге» (см. http://tiff-a.org/TIFF-A%20white%20paper.pdf ), написанной Питером Форнаро (Peter Fornaro) и Лукасом Розенталером (Lukas Rosenthaler) из Базельского университета. Это, очевидно, лишь первый «выстрел» по данному вопросу. В одном из мест авторы утверждают, что «очевидно, что TIFF-расширения [т.е. сё, что не относится к базовому TIFF] не должны использоваться в файлах, которые предполагается сохранять в течение длительного времени», однако затем они допускают использование тега ICC профиля (более того, объявляют его обязательным для цветных изображений) и EXIF-тега, а также тега IPTC для метаданных, хотя и не рекомендуют им пользоваться.

«Белая книга» не решает проблемы выравнивания на границе слова. По этому вопросу TIFF/A-консорциуму следует занять четкую позицию; либо он должен отказаться от этого требования, либо подтвердить его. Если консорциум будет настаивать на строгом соблюдении спецификаций, то очень многие файлы окажутся несоответствующими.

С TIFF/A, по сравнению с PDF/A, связаны иные проблемы. С одной стороны, TIFF значительно более простой формат, чем PDF (поверьте мне, я написал программы проверки структуры - валидаторы для обоих форматов). С другой стороны, PDF является стандартом ИСО, который ещё не пережил два десятилетия энтропии. Я желаю всяческих успехов коллегам, вовлеченным в проект TIFF/A.

Гэри МакГэф (Gary McGath)

Источник: блог «Mad File Format Science»
https://fileformats.wordpress.com/2015/07/03/tiffa/