Конференция iPRES-2014: Обеспечение сохранности и доступности в облаке. Опыт использования облачной системы Preservica

Статья специалистов компании Tessella Кевина О’Фаррелли (Kevin O’Farrelly), Майте Брод (Maïté Braud), Алана Гейри (Alan Gairey), Роберта Шарпа (Robert Sharpe) и Джеймса Карра (James Carr) «Обеспечение сохранности и доступности в облаке. Опыт использования облачной системы Preservica» (Access and Preservation in the Cloud: Lessons from Operating Preservica Cloud Edition) была опубликована в трудах конференции iPres-2014, доступных по адресу https://www.nla.gov.au/sites/default/files/ipres2014-proceedings-final.pdf (стр.137). Об этой конференции, прошедшей в октябре 2014 года в Мельбурне, Австралия, также см. http://rusrim.blogspot.ru/2014/04/11-ipres-2014-2014.html . Вниманию читателей предлагается перевод отдельных фрагментов этой статьи.

На фото: Майте Брод, Роберт Шарп и Джеймс Карр

Архивному сообществу недавно был предложен ряд облачных решений, поддерживающих различные формы электронной сохранности (digital preservation). Решение Perservica, однако, является уникальным в том плане, что речь идёт не только о сохранности на уровне потока битов, но и предоставляется весь спектр услуг по обеспечению долговременной сохранности, которые до недавнего времени, были доступны лишь организациям, использующим установленную на собственной площадке систему, созданную в ходе сложного и потенциально рискованного проекта по разработке программного обеспечения.

В данной краткой статье рассказывается о практических трудностях создания и эксплуатации такого комплексного облачного сервиса.

Преимуществом облачного решения является уменьшение потребности в капитальных затратах (поскольку аппаратное и программное обеспечение берутся в аренду, а не закупаются заранее) и техническом обслуживании системы (его обеспечивает поставщик системы). Для дальнейшего снижения затрат система может использоваться для хранения контента нескольких организаций на одном рабочем экземпляре. При этом, однако, решение должно обеспечивать изоляцию каждой организации-пользователя (т.е. контент одной организации не должен быть доступен кому-то ещё). Кроме того, каждая организация-пользователь (tenant) должна быть способна контролировать собственные процессы, не имея возможности повлиять на процессы других организаций. Это приводит к необходимости в какой-то степени администрировать деятельность организаций-пользователей (не возлагая на каждую из них существенного бремени администрирования, которое наилучшим образом выполняется на уровне системы).

Обойтись без перемещения больших объёмов контента через интернет в ходе процесса передачи на хранение невозможно, однако остальные функциональные операции в рамках этого процесса могут быть выполнены либо до загрузки (с использованием скачиваемого инструмента на стороне клиента) или на сервере (с использованием комплексных автоматизированных рабочих процессов). Процессы приема на хранение контента из ряда источников (например, в случае сбора и сохранения веб-сайтов) можно значительно облегчить при использовании облачного решения, поскольку в этом случае уже не имеет значения локальная пропускная способность ИТ-инфраструктуры организации.

Другие функциональные компоненты соответствующей стандарту OAIS системы (планирование работ по обеспечению долговременной сохранности, управление данными, администрирование и хранение) могут быть реализованы таким образом, чтобы не перегонять контент через Интернет. Доступ может предоставляться в различных формах, включая как те, что удобны для архивистов, так и те, что удобны для широкой публики. Также возможна подготовка контента к отображению на стороне сервера, с тем, чтобы минимизировать потребность в скачивании информации.

Важно отметить, что имеется возможность экспорта всего контента организации, чем обеспечивается возможность в «конец жизни» перейти в другую систему обеспечения электронной сохранности.

Правовые ограничения

Использование облачного решения означает, что контент вне периметра организации. Это потенциально может быть проблемой, в зависимости от характера информации, хранящейся, целей и задач организации, а  также правовой среды, в условиях которой организация работает. Сложная тема прав интеллектуальной собственности более подробно рассматривается в других статьях.

Наиболее сложным представляется вопрос юрисдикции, поскольку, например, американские организации неохотно идут на то, чтобы позволить своему контенту покинуть пределы Соединенных Штатов, а большинство европейских организаций не склонно позволять своему контенту покидать Европейский Союз. Чтобы обойти эту проблему, Preservica в настоящее время (март 2014 г.) развернута в двух отдельных сайтах: одна система функционирует на Восточном побережье Соединенных Штатов, а вторая - в Дублине, Ирландия.

Организации-пользователи и их изоляция друг от друга

Каждая использующая сервис Preservica организация становится «арендатором» (tenant) в пределах выбранного экземпляра решения. Чрезвычайно важно, чтобы арендаторы оставались изолированными друг от друга и не могли видеть контент друг друга, выполняемые рабочие процессы и т.д. С этой целью был проведен обширный анализ архитектуры системы Preservica и выполнена программа её строгого тестирования.

Стратегия ухода из системы

Важно, чтобы организации не становились намертво прикованными к раз выбранным ими решениям, от которых затем трудно отказаться по правовым или техническим причинам.

Защищая пользователей от такой ситуации, решение Preservica допускает полный экспорт контента вместе с соответствующими метаданными в опубликованном формате архивного информационного AIP-пакета.

Капитальные затраты или текущие расходы?

Обычно стоимость аренды облачного оборудования ниже, чем стоимость покупки и эксплуатации аналогичного набора собственных серверов. Однако при больших объемах хранимой информации затраты организации, использующей  собственную систему, начинают быть сопоставимыми или даже оказываются меньше, чем стоимость использования облачного решения. В сочетании с упрощенной стратегией ухода из облака, это может привести к решению об использовании решения на собственной площадке.

Еще одним источником потенциальных накладных расходов при использовании организацией решения на собственной площадке могут стать капитальные затраты, необходимые для закупки, первоначального развертывания и конфигурирования системы. Хотя облачное решение, предоставляющее программное обеспечение как услугу, избавляет от необходимости оплачивать эти расходы, такое решение по самой своей природе должно быть достаточно универсальным. Собственная система, напротив, может быть построены таким образом, чтобы удовлетворять специфические потребности организации (в идеале, на основе существующей, гибкой базовой системы).

Таким образом, решение о том, использовать облако или нет, часто является результатом сопоставления разовых капитальных затрат на создание собственной системы и текущих расходов на оплату облачных услуг.

Хранение

Решение Preservica по умолчанию использует сервисы хранения S3, предлагаемые в рамках Amazon Web Services компании Amazon. Эти сервисы создают несколько копий, хранящихся в географически-удаленных местах, и осуществляют собственный контроль целостности. Это позволяет компании Amazon заявлять о степени надёжности 99,999999999%, что выгодно отличает от практически любых локальных систем хранения, используемых организациями. Тем не менее, организации, обязанные в соответствии со своей миссией обеспечить постоянное хранение контента, естественно, с недоверием относятся к таким заявлениям (не в последнюю очередь потому, что, - даже если согласиться с тем, что уровень технического риска очень низок, - система может перестать существовать по иным причинам). Действительно, некоторые сервисы облачного хранения уже обанкротились и прекратили своё существование.

Чтобы решить эту проблему, большинство облачных решений позволяют организациям выбрать в качестве места хранения копий альтернативные системы хранения данных. В случае решения Preservica, есть возможность хранения локальной копии, используя механизм хранения «Копировать домой» (copy home).

Доступ

Еще одной важной стороной большинства облачных решений и систем обеспечения электронной сохранности является организация доступа к контенту. Возможности системы в этом отношении различаются, но Preservica предлагает два различных варианта. Первый из них - это пользовательский интерфейс архивиста, в то время, как второй пользовательский интерфейс предназначен для использования представителями широкой публики для получения доступа в реальном времени к открытой для них части коллекции.

Кроме того, оба пользовательских интерфейса способны обеспечить подготовку визуального отображения контента на сервере, что избавляет пользователей от необходимости полностью скачивать исходный файл на свой устройство для того, чтобы затем его просмотреть.

Заключение

В процессе создания облачного сервиса для обеспечения долговременной сохранности электронного контента был решён ряд технических проблем, в том числе следующие:

• Обеспечение возможности реализовать тщательно продуманную стратегию ухода;


• Поддержка нескольких вариантов хранения, выбираемых (возможно, автоматически) на основе политики хранения;


• Поддержка различных вариантов доступа для разных классов пользователей (сокращая, по мере возможности, объёмы скачиваемой информации);


• Предоставление полной функциональности, описанной в стандарте OAIS, а не только  хранения и доступа (т.е. функциональность системы не ограничивается сохранением потока битов);


• Отделение администрирования на уровне системы (выполняемого поставщиком сервиса) от администрирования на уровне организации-пользователя («арендатора») (осуществляется организацией-арендатором).

Кевин О’Фаррелли (Kevin O’Farrelly), Майте Брод (Maïté Braud), Алан Гейри (Alan Gairey), Роберт Шарп (Robert Sharpe) и Джеймс Карр (James Carr)

Источник: труды 11-й международной конференции по электронной сохранности iPRES-2014
https://www.nla.gov.au/sites/default/files/ipres2014-proceedings-final.pdf