четверг, 1 октября 2015 г.

Тестирование системы для постоянного хранения электронных архивных материалов, часть 2: OAS и Rosetta


Заметка Криса Эриксона (Chris Erickson) была опубликована 10 сентября 2015 года на блоге «Долговременная сохранность имеет значение» (Digital Preservation Matters, http://preservationmatters.blogspot.com/ ).

(Окончание, начало см. http://rusrim.blogspot.ru/2015/09/1.html )

«Оптическая архивная система» (Optical Archive System, OAS), разработанная компанией    Hitachi LG Data Services (HLDS), умещается в серверную стойку и может включать до 10 модулей, называемых «библиотеками». Каждый такой модуль способен хранить 100 терабайт данных на 500 оптических дисках длительного срока службы. Дополнительную информацию о ней можно найти в моей презентации на встрече 2015 года группы пользователей системы Rosetta (Rosetta Users Group) «Новые источники и варианты хранения для системы Rosetta» (New Sources and Storage Options For Rosetta, http://sites.lib.byu.edu/digitalpreservation/wp-content/uploads/sites/21/2015/06/Erickson_RosettaUsersGroup_2015.pdf , слайды 13 – 16), или в выложенном на сайте YouTube видеоролике (см. https://www.youtube.com/watch?v=IvlPwXvFtrs ).

Соединение OAS с системой для обеспечения долговременной сохранности Rosetta

Мой комментарий: Решение Rosetta компании ExLibris для управления и обеспечения долговременной сохранности электронных материалов (см. http://www.exlibrisgroup.com/category/RosettaOverview ) было разработано в сотрудничестве с Национальной библиотекой Новой Зеландии. Разработчики подчёркивают его гибкость, масштабируемость, защищённость, опору на стандарты (OAIS), доступность хранимой информации и простоту в управлении. Краткое описание системы можно найти по адресу: http://www.exlibrisgroup.com/ru/files/Products/Preservation/RosettaDescription.pdf

После того, как оптическая архивная система была установлена в нашей библиотеке, она была затем подсоединена к нашей системе Rosetta. Сделать этот оказалось несложно, и весь процесс занял пару минут. В административном модуле Rosetta я создал новую группу хранения файлов (File storage group), указав путь к OAS и её емкость. Группы хранения логических объектов (intellectual entities, IE) и для хранения метаданных (Metadata storage) остались, как и ранее, нацеленными на сервер нашей библиотеки, поскольку файлы в этих группах намного меньше по размеру, а обращаются к ним гораздо чаще, чем к другим файлам. Затем я добавил новое правило хранения, чтобы Rosetta могла решать, куда следует записывать файлы - на сервер библиотеки, в нашу учётную запись в системе хранения Amazon или же в OAS.

Доступ на запись:

Когда данные записываются на оптические диски, проводится проверка их целостности чтобы убедиться в 100% точности записи. После записи на оптический диск данные остаются неизменными. Даже если система будет выведена из эксплуатации, диски можно будет прочитать на любом устройстве Blu-Ray. Я ввёл в систему Rosetta пару сотен гигабайт данных, которые затем были записаны на диски OAS. При записи никаких проблем не возникло. Мы попробовали внести возмущения и сбить процесс записи, чтобы проверить, сможем ли мы его сорвать или заставить записать плохие данные, но даже наш системный инженер, имевший максимальный доступ, не смог каким-либо образом повлиять на данные.

Обычно наш тестовый экземпляр системы Rosetta сконфигурирован в расчете на небольшое число файлов, так что масштабы обработки были ограничены примерно 45 гигабайтами (ёмкость нашей «боевой» системы составляет 2 терабайта). Из-за этого ограничения на тестовом сервере я не мог провести неограниченный ввод данных, поскольку переполнялось дисковое пространство. В этой связи я вводил ограниченное количество элементов за один приём, а затем чистил дисковое пространство, прежде, чем продолжить ввод. В приведенной ниже таблице показаны объёмы ввода за два дня тестирования, в каждый из которых процесс ввода работал около 5 часов (неограниченный ввод, скорее всего, позволил бы ввести раза в четыре больше объектов в день).

Логических объектовФайловГигабайт
801950856352.53
663948736346.42

Доступ на чтение:

Поскольку это была система хранения на оптических дисках, не было уверенности в том, что система Rosetta сможет читать диски – для этого система OAS должна найти правильный диск и загрузить его в привод для извлечения данных (в каждом библиотечном модуле OAS имеется 12 приводов для чтения/записи дисков). Процесс поиска и извлечения информации может занять до 90 секунд. Наша система Rosetta используется в качестве «темного архива», поэтому время извлечения данных не было критичным. Вопрос был в том, станет ли Rosetta ждать доставки файла или будет сбой из-за истечения времени ожидания. Функциональные средства чтения OAS работали безупречно. Rosetta хорошо работала, когда приходилось ждать завершения процесса поиска / доступа, включавшего поиск и установку в привод нужного диска. После того, как диск оказывался в приводе, доступ к файлам на диске было примерно столь же быстрым, как и к файлам на постоянно вращающихся дисках.

Ниже приведена таблица времен доступа к одной из групп, которые я использовал для тестирования:

НазваниеФайлов в объектеРазмер, МбВремя доступа, мин./сек.
List of titles of genealogical articles91691.16
Jackson collection image2161.20
Jackson collection image280.23
John O. Bird children161.25
Cardston Alberta Temple 150.18
Piano1111.34
F Edwards120.14
E O Haymond140.09
Taj Mahal2140.27
Taj Mahal2140.09
Millie Gallup150.14
History of the Lemen family95380.17
The Boynton family94050.11
Register and almanac95370.25
The crawfishes of the state92140.14
Tank160.20
Parley D. Thomas140.19
Blake family : a genealogical history 91460.10

Из данных в графе «время доступа» очевидно, когда требовалось установить новый диск – в этом случае время превышало 60 секунд. После того, как диск был загружен, время доступа к другим файлам с этого диска было намного меньше.

Эти времена доступа даны для мастер-файлов, которые могли быть весьма объёмными.

Процессы установки, записи и чтения все прошли очень хорошо. Следующим шагом был запуск из Rosetta автоматизированной проверки целостности файлов в OAS.

Крис Эриксон (Chris Erickson)

Источник: блог Digital Preservation Matters / YouTube
http://preservationmatters.blogspot.ru/2015/09/testing-permanent-digital-storage_11.html
https://www.youtube.com/watch?v=IvlPwXvFtrs

1 комментарий: