Архивация аудиовизуального контента

Данная заметка французского специалиста Аланн Эри (Alann Héry – на фото) была опубликована 8 июня 2020 года на блоге Международного совета архивов ( https://blog-ica.org/ ) в рамках серии постов, приуроченных к Международной неделе архивов и международному дню архивов.

В связи с быстрым ростом объёмов мультимедийного контента в самых разных форматах и различного содержания, часто недолговечного, - сфера охвата, доступ и жизнестойкость (resilience) являются теми тремя аспектами, на которых следует сосредоточить внимание в ходе архивной работы.

• Сфера охвата архивной деятельности расширяется, включая в себя курирование сложного текстового и аудиовизуального контента, которого становится всё больше по мере расширения масштабов Интернета и средств связи. Мультимедийные объекты включают множество тесно переплетенных слоёв, что усложняет обеспечение их долговременной сохранности и делает необходимой адаптацию механизмов доступа.


• Устойчивый доступ к этому материалам, - что является главной задачей архивной работы, - должен быть открытым, обеспечивающим интероперабельность и нейтральным по отношению к технологиям и поставщикам. Ввиду этого серьёзным вызовом является организация доступа с использованием действующих автоматически управляемых систем на основе искусственного интеллекта, не жертвуя при этом безопасностью и целостностью (поскольку жертвы такого рода, как на входе, так и на выходе, были бы неприемлемы на очень многих уровнях).


• Третий аспект - необходимость развития инфраструктуры и сред с еще большей устойчивостью и жизнестойкостью. Для этого архивы должны быть в состоянии курировать различные инфраструктуры (охватывающие ряд географических точек, мультистандартные), оставаясь в максимально возможной степени самодостаточными и экономически независимыми от непредсказуемых событий.
  
  Инфраструктура также должна «вписываться» в уравнение со множеством неизвестных величин, среди которых одной из вызывающих наибольшие опасения является доступность источника питания, в дополнение к повсеместно присутствующим проблемам безопасности.
  
  Сохранение знаний независимо от их цифрового формата является еще одним из таких факторов, ввиду распространения новых, постоянно эволюционирующих мультимедийных объектов.

Исторический контекст и огромные объемы производимых сегодня данных (включая данные, изъятые из публичного доступа цензурой, но, тем не менее подлежащие архивированию), побудили социальные сети осознать необходимость контекстуализации, развенчания мифов и сравнения. И именно архивы могут, по крайней мере частично, удовлетворить эту потребность.

Ведь лишь посредством обработки и архивации данных мы можем надеяться понять события.

Аланн Эри  (Alann Héry),
глава технического отдела департамента коллекций французского Национального аудиовизуального института (Institut national de l'audiovisuel, INA)

Источник: блог МСА
https://blog-ica.org/2020/06/08/archiving-audio-visual-contents/

Обеспечение сохранности электронных данных не является ни революцией, ни недостижимой целью, часть 5

(Окончание, предыдущую часть см. https://rusrim.blogspot.ru/2018/02/4.html )

Несколько заключительных соображений

Не система сама по себе обеспечивает сохранность!

Никогда не будет лишним ещё раз напомнить (см. http://www.lespetitescases.net/bilan-reflexion-sur-la-gestion-des-donnees-numeriques и http://www.lespetitescases.net/expression-digital-preservation-est-elle-pertinente ): не система сама по себе обеспечивает сохранность данных! Сохранность обеспечивается в результате хорошего долговременного управления и контроля над электронными данными: данные хранятся защищённым образом, документируются, ведётся мониторинг их состояния, при необходимости проводится их миграция и предоставление общественности в пригодных для использования формах. Одной системы электронной архивации (système d'archivage électronique, SAE, см. https://fr.wikipedia.org/wiki/Système_d'archivage_électronique ) недостаточно, какими бы ни были её функциональные возможности. Такая система, безусловно, поможет выполнить часть работы, но она никогда не заменит знания и навыки, которые приносят с собой и применяют на практике архивисты, имеющие опыт работы с электронными данными (в той же степени, как это делают другие их коллеги в отношении средневековых хартий или нотариальных архивов).

Именно архивисты в состоянии определить требования к передаваемым на архивное хранение материалам, организовать наблюдение за различными файловыми форматами, принимать решения о проведении миграции файлов, проводить аудит хранимых данных, контролировать показатели работы архива и помогать пользователям в их работе с электронными архивными материалами - короче говоря, выполнять ту работу, которую кроме них никто не сделает. Хранение традиционных документов на складе никогда не было достаточным для обеспечения их сохранности, и то же самое касается электронных материалов.

Дайте себе право на эксперименты без нервотрёпки

Если принять во внимание все те факторы, которые следует учесть, приступая к обеспечению долговременной сохранности электронных документов, то задача эта может показаться пугающе-сложной или даже неподъёмной. Не раз и не два на этапах внедрения и даже на этапе промышленной эксплуатации у Вас голова будет кружиться ввиду необъятности задачи.

Берегите свои нервы: да, Вы не избежите ошибок; да, Вы будете принимать, отменять и выбирать заново определенные технические варианты и решения; да, Вы по ходу дела можете потерять какие-то электронные данные ... Ну и что? Всё это неизбежно присуще появления нового вида носителя, и если нам никогда не удавалось сохранить все инкунабулы, все звукозаписи или фильмы, то почему с электронными данными должно быть иначе?

Нормы и стандарты должны Вам помочь и дать определенные рамки для размышлений - не делайте из них оковы, мешающие Вам двигаться вперёд. Когда-нибудь наступит время, когда можно будет сделать Вашу систему полностью соответствующей всяким разным международным стандартам ИСО и национальным стандартам AFNOR NF. Я вполне понимаю, что такое соответствие абсолютно необходимо по юридически-правовым соображениям, но если Вы сделаете этот вопрос главной предпосылкой всей своей работы, то такой подход скорее всего окажется контрпродуктивным. Замечу, что ровно такой же негативный эффект будет иметь и полное игнорирование этих стандартов и норм по каким-то идеологическим причинам.

Вероятно, специалистов по данному вопросу может удивить тот факт, что я ни разу не упомянул о международном стандарте открытой архивной информационной системы (Open Archival Information System, OAIS, см. https://fr.wikipedia.org/wiki/Open_Archival_Information_System ), на который традиционно всегда ссылаются. Я вовсе не собираюсь его отвергать, как, кажется, кое-кто уже готов сделать ( https://twitter.com/BertrandCaron/status/912913768471986176 ), но считаю, что OAIS нужно принимать за то, чем он на самом деле является: это краткий справочник по хорошему управлению (электронной) информацией организации, а вовсе не инструкция пользователя, каждому слову которой нужно слепо следовать, словно положениям  инструкции по сборке мебели из Ikea ...

Короче говоря, экспериментируйте, экспериментируйте снова и всегда ...

Знать компоненты информационных систем

Как и представители всех других профессий, специалисты-компьютерщики не склонны легко и просто давать посторонним возможность постичь заветные тайны своих систем. Однако в случае, когда стоит задача обеспечения долговременной сохранности электронных данных, это абсолютно необходимо для проведения оценки данных, определения заинтересованности в их сохранении и возможностей для их экспорта.

Даже если Вы еще не развернули систему для извлечения и обеспечения сохранности электронных данных, Вы уже можете начать знакомиться с различными приложениями, входящими в состав информационной системы. Не стесняйтесь просить о том, чтобы Вам предоставили эту информационную систему, запрашивать схемы её архитектуры (они должны иметься), задавать вопросы - и повторять это снова и снова.

На основе всех этих разнообразных сведений я предлагаю Вам составить справочник или реестр существующих приложений, включающий интересующую Вас информацию (функциональные цели и задачи, заинтересованные стороны, интерес к обеспечению сохранности, используемые базы данных и/или файловые форматы, перспективы развития ...) и ряд скриншотов. Составив такой реестр, вернитесь к специалистам-компьютерщикам, чтобы вместе с ними проверить результаты и завершить эту перепись. Как правило, Вы к этому времени должны завоевать доверие ИТ-службы, Вас уже должны знать. Возможно, когда будет внедряться какое-либо очередное приложение, Ваши коллеги из ИТ сами направят Вам определенные сведения или же пригласят Вас с самого начала проекта?

Готье Пупо (Gautier Poupeau)

Источник: блог Les Petites Cases
http://www.lespetitescases.net/la-conservation-des-donnees-numeriques-n-est-ni-une-revolution-ni-inatteignable

Обеспечение сохранности электронных данных не является ни революцией, ни недостижимой целью, часть 4

(Продолжение, предыдущую часть см. http://rusrim.blogspot.ru/2018/02/3.html )

Проблемы и перспективы

Помимо важности интеграции вопроса о, архивации электронных данных в обычные процессы архивного центра, необходимо также отметить, что особые трудности создают механизмы приема/передачи материалов на архивное хранение.

Сложность экспорта и форматирования данных

С чисто технической точки зрения, главной проблемой при обеспечении сохранности электронных данных является экспорт данных и их представление в форматах, которыми архивный центр способен управлять. Строго говоря, здесь нет непреодолимых технологических препятствий и соответствующие решения существуют: это может быть программное  обеспечение типа ETL (от англ. Extract-Transform-Load – «Извлечение, преобразование, загрузка», популярная с 1970-х годов концепция при хранении данных, см. https://fr.wikipedia.org/wiki/Extract-transform-load ), первоначально предназначенное для обслуживания информационных систем для принятия решений. Но для каждой системы, ещё до её разработки, необходимо определить:

• Экспорт каких данных должен поддерживаться;


• Формат экспорта (например, CSV, XML, Json) и структура данных;


• Частота и порядок экспорта;


• Ассоциированные метаданные, обеспечивающие документирование делового контекста создания данных и свойства самих данных;


• Механизмы проверки целостности и формально-логического контроля передаваемых на архивное хранение материалов;


• Политика обеспечения сохранности, соответствующая правовым рамкам и принципам, установленным архивным центром по согласованию с владельцем данных.

Решение данной задачи усложняет ряд проблемных вопросов:

• Отсутствие платформы, поддерживающий обмен между архивными центрами готовыми адаптерами для приложений, используемых различными организациями - чего-то вроде среды Github ( https://github.com/ ) для архивов, по модели того, что существует для генераторов сдаточных информационных SIP-пакетов, соответствующих «Стандарту обмена данными для целей архивации» (Standard d'échanges de données pour l'archivage, SEDA) (см. https://github.com/PatPercot/Seda-Generator ,  https://github.com/CGI-France/Java-Seda-Generator  и https://github.com/ProgrammeVitam/generateur-seda );


• Специфичность подавляющего большинства приложений и, как следствие, сложность разработки универсальных программных решений в этой области;


• Отсутствие необходимых навыков для осуществления таких ИТ-разработок: в большинстве организаций ИТ-службы не в состоянии выполнять такие задачи, потому что их специалисты не имеют необходимой для этого подготовки;


• Полное отсутствие интереса со стороны ИТ-служб государственных органов, которые, по их словам, должны заниматься более срочными делами, и которые, в любом случае, ничего не понимают в данном вопросе ...

Конечно, первым шагом на пути решения этих проблемных вопросов является расстановка внутри организации людей, способных самостоятельно вести диалог с ИТ-специалистами, формулировать требования, контролировать и тестировать разработки и даже участвовать во внедрении решений - или, как минимум, экспериментировать с ними. Например, выпускники ( http://ademec.com/ ) магистерской программы Школы хартий по применению информационных технологий в исторических исследованиях ( http://www.enc-sorbonne.fr/fr/rubrique-admissions/master-technologies-numeriques-appliquees-histoire ) как раз имеют такую двойную компетенцию и вполне способны помочь любому архивному центру в выполнении такой работы. Но этого может оказаться недостаточно для того, чтобы убедить ИТ-департамент инвестировать средства в экспорт данных из программных приложений с целью обеспечения их долговременной сохранности.

Большие и открытые данные спешат на помощь

Десять лет тому назад я полагал (см. http://www.lespetitescases.net/bilan-reflexion-sur-la-gestion-des-donnees-numeriques ), что проблема обеспечения сохранности электронных данных подтолкнет организации к тому, чтобы всерьёз заинтересоваться управлением своим информационным наследием и изменить парадигму (см. http://www.lespetitescases.net/logique-applicative-contre-logique-informationnelle-des-si ), перейдя от информационных систем, ориентированных на «процессы»,  к системам,  ориентированным на «данные» ( http://www.lespetitescases.net/comment-mettre-la-donnee-au-coeur-du-si ). Но оказалось недостаточно пообещать большую гибкость информационных систем и предложить новые возможные виды их применения: это нужно было продемонстрировать на практике, а обеспечение долговременной сохранности само по себе не является достаточным аргументом, способных склонить организаций к переменам.

Движущей силой эволюции на деле являются две другие инициативы: «больших данных» (см. http://www.lespetitescases.net/de-quoi-le-Big-Data-est-il-le-nom ) и «открытых данных». Обе они заставляют организации проявить интерес к имеющимся у них данным, вытаскивать эти данных из их «родных», часто изолированных систем для распространения и использования внутри организации (большие данные) или даже вне её (открытые данные).

Помимо присущих им проблем, инициативы «больших данные» и «открытых данных» являются для архивов организаций отличной возможностью включиться в работу по определению политики хранения электронных данных.

Концепция «открытости данных по умолчанию» (l'Open Data par défaut), предусмотренная в «Законе об электронной Республике» (см. https://www.etalab.gouv.fr/ce-que-le-projet-de-loi-pour-une-republique-numerique-change-pour-la-donnee ), должна заставить государственные органы организовать раскрытие государственных данных в соответствии с нормативно-правовыми принципами и, как минимум, взять государственные данные на учет. С учетом этих правовых аспектов, в нынешних обстоятельствах (ожидание прозрачности государственного управления и шумиха вокруг данных) принимающих решения лиц проще убедить соблюдать процесс раскрытия данных, чем поддержать проект по обеспечению их долговременной сохранности. Однако эти два подхода имеют общие цели: обеспечить гражданам доступ к данным, созданным государственными органами - в первом случае для целей прозрачности и повторного использования, а во втором - для целей сохранения их в качестве доказательств и исторической памяти.

Тем самым решается упомянутая выше основная проблема: экспорт данных из первоначальных систем и их представление в подходящих форматах. Для выполнения проектов углубленных статистических исследований, сопоставления данных или машинного обучения («большие данных») или публикации наборов данных на порталах органов и учреждений («открытые данные»), абсолютно необходимо извлекать данные из их первоначальных приложений и систем и преобразовывать их в форматы, которые способны сохранять структуру данных и которыми легко манипулировать (CSV, XML, Json и др.). Архивы могут хорошо вписаться в эти процессы и взять под свой контроль извлеченные/сформированные для этих целей наборы данных. Конечно, эти наборы данных не будут содержать абсолютно всё, что нужно, и потребуется проделать определенную работу для того, чтобы добавить ряд метаданных, но это всё лучше, чем ничего: это позволяет начать работу и включить архивистов в соответствующие процессы, в которых, как мне кажется, на данный момент они совершенно не принимают участия.

Я абсолютно уверен, что компания OpenDataSoft ( https://www.opendatasoft.fr/ ), программное обеспечение которой используется очень многими порталами открытых данных, вполне могла бы разработать дополнительный сервис, поддерживающий выгрузку раскрываемых с помощью данного приложения наборов данных в системы электронной архивации в соответствии с протоколом SEDA ( https://redirect.francearchives.fr/seda/index.html ). Аналогичным образом можно представить себе взаимосвязи между архивной системой Vitam ( http://www.programmevitam.fr/ ) и национальным порталом открытых данных ( http://www.data.gouv.fr/ ), и, возможно, этот вопрос уже стоит на повестке дня: ведь оба проекта разрабатываются Межведомственным управлением цифровых информационных систем и коммуникаций государства (Direction interministérielle du numérique du système d'information et de communication de l'Etat, DINSIC) ...

Эта идея не очень оригинальна: французы, как водится, создали для решения этой задачи новую государственную структуру - Etalab ( https://www.etalab.gouv.fr/ ), но наши соседи из Швейцарии доверили её федеральным архивам ( https://opendata.swiss/fr/faq/#qu-est-ce-qu-opendata-swiss ), что, между нами говоря, представляется вполне логичным. Действительно, работа с «открытыми данными» означает всего лишь расширение сферы деятельности архивов, установленной законодательством ( https://www.legifrance.gouv.fr/affichCodeArticle.do?cidTexte=LEGITEXT000006074236&idArticle=LEGIARTI000006845559&dateTexte=&categorieLien=cid&idSectionTA=LEGISCTA000006159940 ). И, хотя в швейцарской стратегии на 2014-2018 годы обеспечения открытого доступа к государственным данным ( https://www.admin.ch/opc/fr/federal-gazette/2014/3347.pdf ) не обнаружилось никаких следов вопроса долговременного сохранения электронных данных, нет сомнений, что синергия между «открытыми данными» и долгосрочным сохранением электронных данных лежит в основе идеологии швейцарских федеральных архивов.

Если какие-либо органы и организации уже экспериментировали или собираются экспериментировать с этой стратегией, сообщите мне по электронной почте или через Твиттер ( https://twitter.com/lespetitescases ); я буду рад дополнить этот пост новой информацией.

(Окончание следует, см. https://rusrim.blogspot.ru/2018/02/5.html )

Готье Пупо (Gautier Poupeau)

Источник: блог Les Petites Cases
http://www.lespetitescases.net/la-conservation-des-donnees-numeriques-n-est-ni-une-revolution-ni-inatteignable

Обеспечение сохранности электронных данных не является ни революцией, ни недостижимой целью, часть 3

(Продолжение, предыдущую часть см. http://rusrim.blogspot.ru/2018/01/2_31.html )

Обеспечение долговременной пригодности к использованию, или управление коллекцией электронных данных

Хотя защищённое хранение позволяет обеспечить целостность хранимых данных, оно не гарантирует возможности их использования. Для решения этой задачи существуют два подхода:

• Эмуляция (о ней будет более подробно сказано в следующем разделе), которая направлена на то, чтобы воспроизвести поведение приложения и/или устройства на другой устройстве, обычно с использованием специализированного программного обеспечения, называемого «эмулятором»;


• Миграция формата, предусматривающая преобразование электронных данных из формата, в котором они были сохранены, в новый пригодный для использования формат.

В обоих случаях это гораздо более сложные процедуры, чем просто сохранение потока битов. В самом деле, в случае миграции, помимо описательных метаданных, необходимых для понимания содержания хранящихся данных, их поиска и извлечения, система «радостно» вычисляет и сравнивает хеши данных. Чтобы обеспечить миграцию формата (это также верно для эмуляции, но в меньшей степени), необходимо точно знать характеристики каждого файла и что из этого следует. Если у Вас имеется ограниченная по объёму однородная коллекция файлов, в которой представлено небольшое число различных файловых форматов, то управлять ею может быть довольно просто; но если у Вас имеются данные в очень разнородных форматах (или вариациях формата - например, в случае использования XML необходимо также учитывать XML-схему кодирования), то Вам совершенно необходимо хорошо управлять своей коллекцией.

Вы может возразить мне, что достаточно сохранить данные в формате, подходящем для длительного хранения, и проблема будет решена… Да, конечно, за исключением той малости, что, как и для носителей, «вечного» формата не существует. Как я уже объяснил в своём блоге ( https://www.lespetitescases.net/vous-avez-dit-format-perenne ) - ну ладно, это было давно, так что я повторюсь :), - формат является жизнеспособным в длительной перспективе только в том случае, если организация-хранитель способна контролировать его использование. Конечно, если речь идёт о текстовых данных, извлеченных из базы данных, использование формата CSV или, ещё лучше, XML может упростить этот процесс контроля и управления во времени. Однако если Вы не сохранили документацию о структуре CSV- или XML-файла (или, что лучше, XML-схему), работа по восстановлению данных для использования (rétro-ingénierie) сильно осложнится или может оказаться невозможной.

Помимо защищённого хранения, управление электронными данными с целью обеспечения их долговременной пригодности к использованию означает:

• Обеспечение при приеме электронных данных на архивное хранение их соответствия ожиданиям (иными словами, никогда полностью не полагайтесь на организацию, передающую данные на хранение);


• Сохраняемые данные делаются независимыми не только от программного приложения, из которого они поступили, но также и от самой системы архивации: в случае, если Ваша система архивации рухнет, у Вас должны оставаться возможность извлекать и использовать данные непосредственно с носителя информации;


• Точное документирование сохраняемых данных: их содержания, их технических и правовых характеристик, их структуры, истории обработки до и после поступления в архив - в частности, этапов форматно-логического контроля данных при приеме на архивное хранение и в ходе миграции;


• Сохранение метаданных и документации (сведения о форматах, программных приложениях и операционных средах) наравне с самими данными и обеспечение максимально гибких возможностей поиска по ним (в противном случае создавать метаданные не имеет смысла);


• Разработку «индикационных панелей» (dashboards) для максимально полного представления содержания архива и для мониторинга показателей активности и эволюции архива (с тем, чтобы, например, предвидеть возможные проблемы с поддержанием материалов в пригодном для использования состоянии);


• Регулярный мониторинг различных используемых архивом форматов, для своевременного планирования возможных миграций;


• Регулярный выборочный аудит электронных данные с целью проверки достоверности метаданных и целостности потока битов, с целью обеспечения безопасного хранения.

Если Вы всё это сделаете, Вы сможете без проблем выполнять операции миграции форматов. Также Вы сможете безопасно и без каких-либо осложнений проводить уничтожение электронных данных, утративших правовую и деловую ценность.

Использование данных, или проблемы предоставления доступа

В завершение, поговорим о главной причине сохранения электронных данных – об обеспечении пригодности к использованию и возможность доступа к ним во времени. Можно выделить (по крайней мере) три варианта использования или отображения этих данных.

Использование данных внешней системой

Сохраненные электронные данные могут передаваться в систему третьей стороны, предоставляющую интерфейсы для поиска, навигации и ознакомления, как это делается, например, через систему Национальной библиотеки Gallica ( http://gallica.bnf.fr/ - это электронная библиотека – Н.Х.) или через сайт INA ( http://www.ina.fr/ ). Деятельность по обеспечению сохранности электронных данных направлена на защищённое хранение данных, полученных с мест оцифровки (часто это дорогостоящие и трудновоспроизводимые в таком масштабе данные) и поддержание во времени возможности их использования.

Хотя электронные хранилища, предназначенные для обеспечения долговременной сохранности, являются первоисточником данных для упомянутых систем третьих сторон, данные передаются асинхронно. В случае взаимодействия с реальными защищенными системы хранения (ленточные LTO-библиотеки, https://fr.wikipedia.org/wiki/Linear_Tape-Open ), различия в характеристиках между форматами файлов для хранения и для оперативного использования, возможные проверки, связанные с авторским правом и требования к высокой доступности для веб-просмотра исключают прямое подключение систем. Иначе говоря, временные рамки и характеристики систем третьих сторон отличаются от требований к системам долговременного хранения, поэтому предпочтительно иметь два вида систем, каждый для своего варианта применения, даже если внешняя система «запитывается» данными из системы архивации (это был один из главных уроков, извлеченных в ходе проекта SPAR ...).

Эмуляция программного обеспечения и виртуализация операционной среды

В случае, когда Вы сохраняете само программное приложение, цель заключается в том, чтобы сохранить ощущения пользователя. Это крайне важно для видеоигр, цифрового искусства или даже при архивации Интернета, где взаимодействие с пользователем является неотъемлемой частью восприятия этих материалов. Рано или поздно наступает время, когда программное приложение, о котором идет речь, больше не может работать в стандартной программно-аппаратной среде, и в этом случае есть два решения:

• Эмуляция, которая заключается в воспроизведении поведения программного приложения в современной аппаратной среде с помощью специального программного обеспечения-эмулятора;


• Виртуализация (см. https://fr.wikipedia.org/wiki/Virtualisation ), которая заключается в использовании полномасштабной программной среды (операционной системы и программного обеспечения), формируемой на хост-компьютере.

Эти два метода не разрабатывались специально для целей обеспечения долговременной сохранности данных. Эмуляция появилась в среде пиратства видеоигр, позволяя использовать игру на платформе, для которой она изначально не предназначалась (здесь автор несколько отклоняется от исторической правды, поскольку эмуляция появилась намного раньше видеоигр и первоначально использовалась для проектирования и отладки новых процессоров и программного обеспечения на платформах совсем другой архитектуры – Н.Х.). Виртуализация первоначально появилась как способ максимально эффективного использования возможностей сервера путем запуска одновременно нескольких виртуальных «машин». Данный подход в настоящее время очень активно используется ИТ-службами и облачными системами.

В то время, как эмуляция почти исключительно используется для видеоигр, виртуализация является очень перспективным решением для сохранения электронных данных. В самом деле, виртуализация позволяет обеспечить долговременное использование данных и/или приложений, для которых трудно было осуществить миграцию формата. В этом случае мы «довольствуемся» защищённым хранением файла для виртуализации и обеспечиваем наличие программное обеспечения для работы с ним.

Мой комментарий: На одной из осенних конференций 2017 года представитель ГАРФ рассказал об опыте принятия на архивное хранение виртуальной машины, содержащей базу данных и обслуживающее её уникальное программное обеспечение.

Данный метод уже используется для обеспечения, например, в Национальной библиотеке для доступа к первым CD-ROM с цифровым искусством. В перспективе он сможет обеспечить возможность работы с самыми старыми веб-архивами, когда это уже не смогут делать современные браузеры.

Предоставление и удаленное скачивание файлов

Последний случай представляется мне наиболее сложным: как обеспечить предоставление разнородных данных, типа тех, что создаются государственными органами? Файлы офисных приложений и файлы, полученные из разнообразных баз данных, представляют собой разнородные форматы и структуры. Мне кажется, что в этом случае примером для нас могут стать порталы открытых данных, то есть можно создать упорядоченный каталог существующих наборов данных и разрешить их скачивание для локального ознакомления и использования. При этом, конечно, могут возникнуть юридические проблемы, но мне кажется, что это самый простой и эффективный способ обеспечить доступ ко всем этим разнородным данным.

(Продолжение следует, см. https://rusrim.blogspot.ru/2018/02/4.html )

Готье Пупо (Gautier Poupeau)

Источник: блог Les Petites Cases
http://www.lespetitescases.net/la-conservation-des-donnees-numeriques-n-est-ni-une-revolution-ni-inatteignable

Обеспечение сохранности электронных данных не является ни революцией, ни недостижимой целью, часть 2

(Продолжение, начало см. http://rusrim.blogspot.ru/2018/01/1_29.html )

Ландшафт сферы обеспечения сохранности электронных данных

Теперь я предлагаю вернуться к этим различным аспектам с тем, чтобы попытаться показать, что помимо существующих решений в этой области, на карту поставлены традиционные навыки и ноу-хау архивистов (у меня складывается ощущение, что я повторяю то, что говорил ещё 8 лет назад, см. мой пост 2010 года: http://www.lespetitescases.net/expression-digital-preservation-est-elle-pertinente ).

Задумайтесь о целях сохранения и об отборе на архивное хранение и на уничтожение

Прежде всего, конечно, речь идёт об отборе материалов на постоянное архивное хранение. Ввиду постоянно растущего производства данных в электронном формате очевидно, что невозможно сохранить всё. Как верно указывает Энн Боф в упомянутом выше интервью, отбор необходим и для «традиционных» архивов, и архивисты прекрасно справляются с этой задачей (вопреки тому, что, по-видимому, думают некоторые историки).  Поэтому я постараюсь не вмешиваться в дискуссию по этой теме, а также в вопросы управления документами, тем более, что последние не являются актуальными для тех учреждений, в которых я работал или работаю в настоящее время.

С другой стороны, как и у носителей любого иного вида, у электронно-цифровых носителей есть особенности, из-за которых встает вопрос о том, что, собственно, следует сохранять. Ответ, однако, зависит от того, что мы пытаемся увековечить. В самом деле, если традиционные носители как поддерживают запись/чтение, так и содержат собственно информацию, то в электронной среде это не так, и вопросы сохранности независимо решаются в каждом из следующих уровней:

• собственно носитель информации;


• устройство, необходимое для чтения носителя;


• программное обеспечение, способное расшифровывать сохраненную информацию;


• сами данные.

Каждому из этих уровней соответствует своя цель в плане обеспечения сохранности:

• сохранение технических систем;


• сохранение интерфейса пользователя;


• сохранение самой информации.

В качестве иллюстрации своей точки зрения, я предлагаю сначала вернуться к примеру, приведенному Анной Боф в упомянутом выше интервью: тексты журналов, выложенные на сайте CAIRN ( https://www.cairn.info/ ). Он особенно интересен тем, что, вопреки утверждениям Анн Боф, эти данные уже увековечены как минимум в рамках проекта сохранения национального интернета (см. http://www.inaglobal.fr/numerique/article/l-archivage-du-web-un-outil-pour-comprendre-internet-9386 ), которым совместно занимаются Национальная библиотека (BnF) и INA. Веб-сайт CAIRN (в ведении которого Национальная библиотека принимает участие) был полностью захвачен BnF. Собранные данные затем сохраняются в системе электронной архивации SPAR в стандартном формате WARC (см. соответствующий международный стандарт ISO 28500:2017: https://www.iso.org/standard/68004.html ). Контроль экспертов по обеспечению сохранности над данными и предоставление доступа к ним осуществляются через специализированные интерфейсы хранилища «обязательных экземпляров» (dépôt légal) веб-сайтов, поддерживаемого Национальной библиотекой.

В этом случае целью является сохранение данных и интерфейса навигации по сайту (из-за чего не могут не возникнуть вопросы об обеспечении доступности в долгосрочной перспективе, но я вернусь к этому вопросу позже). Но в случае CAIRN можно было бы «удовлетвориться» более ограниченной целью сохранения самих данных, и тогда было бы достаточно извлечь тексты из базы данных веб-сайта и закодировать их в стандартном формате типа XML. Это довольно просто сделать, и сохранение данных такого типа не представляет особой проблемы. Национальный вычислительный центр системы высшего образования (Centre Informatique National de l’Enseignement Supérieur, CINES, https://www.cines.fr/ ) уже предоставляет такие услуги (см. https://www.cines.fr/archivage/typologies/ressources-des-bibliotheques-et-centres-de-documentation/ ) для открытого архива научных статей HAL ( https://hal.archives-ouvertes.fr/ ) и портала публикаций по гуманитарным наукам и социологии Persée  ( http://www.persee.fr/ ).

Существуют более сложные ситуации, такие, как обеспечение сохранности видеоигр или цифрового искусства, где взаимосвязь между носителем данных и устройством для его чтения очень важна, и адекватные ощущения пользователя имеют существенное значение для правильного восприятия заархивированного объекта. Но, как показывают два последних мероприятия, организованных Национальной библиотекой («Сохранение наследия видеоигр. Каковы задачи и действующие лица?», http://bnf.hypotheses.org/2170 ; и «Цифровое искусство и грядущие поколения», http://artnumeriqueposterite.labex-arts-h2h.fr/fr/content/programme-du-colloque-art-numérique-et-postérité-jour-1 ), решения появляются и доказывают свою эффективность. Так, для видеоигр (см. https://france3-regions.francetvinfo.fr/paris-ile-de-france/paris/bnf-conserve-memoire-jeux-videos-1395589.html ) Национальная библиотека, с одной стороны, сохраняет устройства и картриджи, а с другой – работает со средствами эмуляции этих игр на современных компьютерах, чтобы упростить ознакомление и изучение этих игр. В этом случае решение заключается в обеспечении сохранности на различных уровнях.

Что касается электронных архивов органов государственной власти, то, как мне кажется, очень часто приоритетом здесь является сохранение самих данных. Это не вопрос отрицания заинтересованности в сохранении соответствующих программных приложений (могут представлять интерес как их история, так и особенно то, что они могут рассказать о видении государственным органом собственной миссии) – однако затраты и сложность будут существенно больше, и для того, чтобы получить представление о работе этих приложений и систем, проще создать реестр существующих приложений, дополненный рядом скриншотов.

Сохранение потока битов, или защищенное хранение

В первую очередь необходимо сохранить поток битов, то есть обеспечить целостность электронных данных с течением времени. Мы, однако, знаем, что «вечных» носителей информации не существует. Некоторые носители более надёжны, чем другие (как, например, ленты LTO, см. https://fr.wikipedia.org/wiki/Linear_Tape-Open ), но абсолютной гарантии никогда нет.

Для обеспечения безопасного хранения необходимо выполнять два действия:

• Создавать несколько копий данных (на LTO-лентах или на жёстких дисках на серверах), которые, по возможности, хранятся в географически удаленных друг от друга местах;


• Регулярно контролировать целостность этих копий, а в случае появления проблем проводить миграцию носителей, т.е. заменять поврежденный носитель, копируя одну из неповрежденных копий на новый носитель.

Чтобы убедиться в целостность данных, достаточно регулярно вычислять значения хешей для каждого сохраненного файла (например, алгоритм MD5 представляет собой простой алгоритм вычисления хеша, который может быть эффективно реализован на всех операционных системах) и сравнивать эти значения с эталонными.

Мой комментарий: В настоящее время алгоритм MD5 считается скомпрометированным, и его использование, хотя и может быть вполне адекватным для внутриархивной работы, не обеспечивает надёжной защиты от атак со стороны злоумышленников.

Данный уровень обеспечения сохранности не требует огромных инвестиций и уже решает многие проблемы. Существуют готовые, устанавливаемые «под ключ» решения, которые отлично решают данную задачу, и на месте архивной службы, я бы двигался в сторону соответствующих облачных решений (что, по-видимому, допускается данным информационным письмом SIAF, см. https://francearchives.fr/fr/file/03da67e398796d6e2d49035f014e98e995e9e00e/DGP_SIAF_2018001_mutualisation_archivage_electronique.pdf , - пусть даже существует требование о хранении данных на территории Франции,  см. http://siaf.hypotheses.org/656 ). И, возможно, мои слова вызовут у кое у  кого из Вас скрежет зубовный, но я думаю, что решение «Glacier» для резервного копирования от фирмы Amazon ( https://aws.amazon.com/fr/glacier/ ) может быть одним из элементов системы защищённого хранения, в дополнение к более «локальной» системе хранения на сетевых серверах ( https://fr.wikipedia.org/wiki/Serveur_de_stockage_en_réseau ). Но для этого, возможно, нужно будет признать, что глобализация информационного обмена также проходит через архивы?

(Продолжение следует, см. http://rusrim.blogspot.ru/2018/02/3.html )

Готье Пупо (Gautier Poupeau)

Источник: блог Les Petites Cases
http://www.lespetitescases.net/la-conservation-des-donnees-numeriques-n-est-ni-une-revolution-ni-inatteignable

Обеспечение сохранности электронных данных не является ни революцией, ни недостижимой целью, часть 1

Большая статья архитектора данных Готье Пупо (Gautier Poupeau – на фото) – сотрудника французского Национального аудиовизуального института (Institut national de l'audiovisuel, INA) была опубликована на его блоге 15 января 2018 года.

Когда я в связи с интервью Анны Боф (Anne Both, https://bibliobs.nouvelobs.com/idees/20171222.OBS9697/qui-veut-la-peau-des-archives-de-france.html ) выразил в Твиттере своё удивление (см. https://twitter.com/lespetitescases/status/944910221914398721 ) тем, что кто-то всё еще может сомневаться насчёт сохранения электронных данных, Жюльен Бенедетти (Julien Benedetti) обратил мое внимание на семинар - круглый стол «Архивы: что нового?» (Les archives: quoi de neuf, https://www.youtube.com/watch?v=fay54KsLj0w ), проведенный Школой хартий (Ecole des chartes) 12 декабря 2017 года с участием трех выдающихся архивистов-палеографов Бруно Галланда (Bruno Galland), Кристин Нугаре (Christine Nougaret) и Эдуарда Буйе (Edouard Bouyé) – см. фото.

Видеозапись круглого стола длительностью 1 час 45 минут выложена на сайте

YouTube

Твит Жюльена Бенедетти по поводу круглого стола

Учитывая сказанное Жюльеном Бенедетти, я опасался, что участники круглого стола подойдут к этому вопросу с пораженческой точки зрения, которая была характерной на протяжении последних нескольких лет, но я никак не ожидал услышать, что два авторитетных профессионала архивного дела чувствуют себя столь беспомощными перед лицом этого вопроса. После просмотра нескольких минут в записи (например, с 34 по 47 минуту), посвященных этому предмету, мы понимаем, что пробелы имеются на всех уровнях: профессиональной подготовки, организационном, техническом, стратегическом и даже экономическом. Я теперь лучше понимаю слова Анны Боф, которая всего лишь пересказывает то, что архивисты могли ей рассказать по данному вопросу.

Некоторые несомненные факты

Я не претендую на то, чтобы знать ответы на все вопросы, тем более, что я не архивист и кое-кто может вполне обоснованно поставить под сомнение мою компетентность. Более того, я не хочу никого свысока поучать - но сильно сомневаюсь в сложности проблем ведомственных архивов, компьютерные ресурсы которых совсем не такие, какие имеются у нас в INA или те, которые были у нас, когда я участвовал в разработке системы SPAR для Национальной библиотеки Франции (BnF). Более того, «электронный вопрос» является для региональных архивов является лишь одним из многих аспектов их деятельности. Тем не менее, есть три вещи, в которых я сегодня уверен.

Обеспечение сохранности электронных данных не является революцией

Говорить, как Кристин Нугаре и Бруно Галланд, о том, что появление электронных документов произвело революцию в профессии архивиста, - это, на мой взгляд, ошибка. Данная проблема по-прежнему рассматривается как придаток прочей повседневной деловой деятельности, даже несмотря на то, что обеспечение сохранности электронных данных опирается на всё те же основы архивной профессии, что и сохранение данных на традиционных физических носителях. Хотя Бруно Галланд прав, говоря, что, электронные носители предоставляют совершенно иные возможности по сравнению с традиционными носителями информации, на самом деле меняется не столь уж многое, и вопрос носителей (записи и предоставления доступа) является всего лишь той приманкой (или предлогом), которой архивисты, на мой взгляд, уделяют чересчур много внимания.

Рынок решений и услуг по обеспечению долговременной сохранности электронных данных не существует и не может появиться (на данный момент?)

Эдуард Буйе видит в появлении экономического рынка решение, позволяющее серьёзно подойти к этой проблеме. Запуск государством программы Vitam ( http://www.programmevitam.fr/ ), как я понимаю, направлен на объединение ресурсов на разработку и на содействие возникновению экосистемы вокруг решения на основе открытого исходного кода. Несмотря на это, при текущем положении дел рынок для решений и услуг по обеспечению сохранности электронных данных не может существовать по крайней мере по трем причинам:

• Отсутствуют крупные инвестиции в этой области как в частном, так и в государственном секторах. Организациям требуется обеспечить безопасное хранение данных в течение, как максимум, одного или двух десятилетий, что, как мы знаем, довольно легко сделать (я ещё вернусь к этому вопросу). Что касается долговременного государственного архивного хранения, объёмы необходимых для этого инвестиций намного превышают возможности каждого из региональных архивов.


• Как следствие, создание системы для обеспечения электронной сохранности неизбежно связано с объединением инфраструктур (которое недавно было авторизовано Межведомственной службой архивов Франции - Service interministériel des Archives de France, SIAF, см. https://francearchives.fr/fr/circulaire/DGP_SIAF_2018_001 ), что подразумевает существование небольшого числа систем и делает возврат инвестиций в разработку проблематичным.


• Развертывание системы, которая хранит, контролирует и обеспечивает доступ к электронным данным, не решает всех проблем. Главная проблема заключается в извлечении данных из исходных систем и их преобразование в форматы, с которые могут работать архивные центры. Приходится отдельно работать с каждой развернутой в организации информационной системой. Такая работа с каждой системой по отдельности говорит о невозможности развертывания программного решения и, следовательно, о невозможности существования соответствующего специфического рынка.

(Специфические) решения существуют и работают

Решения для обеспечения сохранности электронных данных существуют и работают, и я приведу в поддержку своей точки зрения только один из возможных примеров, который хорошо знаю: Это «Распределенная система обеспечения сохранности и архивации» (Système de préservation et d’archivage réparti, SPAR, http://www.bnf.fr/fr/professionnels/spar_systeme_preservation_numerique/a.spar_presentation.html ) в Национальной Библиотеке Франции. В марте мы отпразднуем 10-ю годовщину запуска проекта внедрения этой системы, и ясно, что она справляется со своей работой без, насколько мне известно, серьезных изменений в ее функционировании или архитектуре. Система SPAR (см. http://www.bnf.fr/fr/professionnels/spar_systeme_preservation_numerique/a.spar_partie_logicielle.html ) основан на главном принципе всестороннего управления сохраняемой электронной информацией. Этот момент является ключевым: как и для традиционных носителей, аспекты хранения которых хорошо освоены, обеспечение сохранности электронного документа требует постоянного контроля и мониторинга сохраненных объектов. Хотя инструменты используются иные, операции всё те же: отбор, хранение, инвентаризация / описание, мониторинг, извлечение / миграция, предоставление доступа.

(Продолжение следует, см. http://rusrim.blogspot.ru/2018/01/2_31.html )

Готье Пупо (Gautier Poupeau)

Источник: блог Les Petites Cases
http://www.lespetitescases.net/la-conservation-des-donnees-numeriques-n-est-ni-une-revolution-ni-inatteignable