(Окончание, начало см. http://rusrim.blogspot.ru/2015/09/1.html )
«Оптическая архивная система» (Optical Archive System, OAS), разработанная компанией Hitachi LG Data Services (HLDS), умещается в серверную стойку и может включать до 10 модулей, называемых «библиотеками». Каждый такой модуль способен хранить 100 терабайт данных на 500 оптических дисках длительного срока службы. Дополнительную информацию о ней можно найти в моей презентации на встрече 2015 года группы пользователей системы Rosetta (Rosetta Users Group) «Новые источники и варианты хранения для системы Rosetta» (New Sources and Storage Options For Rosetta, http://sites.lib.byu.edu/digitalpreservation/wp-content/uploads/sites/21/2015/06/Erickson_RosettaUsersGroup_2015.pdf , слайды 13 – 16), или в выложенном на сайте YouTube видеоролике (см. https://www.youtube.com/watch?v=IvlPwXvFtrs ).
Соединение OAS с системой для обеспечения долговременной сохранности Rosetta
Мой комментарий: Решение Rosetta компании ExLibris для управления и обеспечения долговременной сохранности электронных материалов (см. http://www.exlibrisgroup.com/category/RosettaOverview ) было разработано в сотрудничестве с Национальной библиотекой Новой Зеландии. Разработчики подчёркивают его гибкость, масштабируемость, защищённость, опору на стандарты (OAIS), доступность хранимой информации и простоту в управлении. Краткое описание системы можно найти по адресу: http://www.exlibrisgroup.com/ru/files/Products/Preservation/RosettaDescription.pdf
После того, как оптическая архивная система была установлена в нашей библиотеке, она была затем подсоединена к нашей системе Rosetta. Сделать этот оказалось несложно, и весь процесс занял пару минут. В административном модуле Rosetta я создал новую группу хранения файлов (File storage group), указав путь к OAS и её емкость. Группы хранения логических объектов (intellectual entities, IE) и для хранения метаданных (Metadata storage) остались, как и ранее, нацеленными на сервер нашей библиотеки, поскольку файлы в этих группах намного меньше по размеру, а обращаются к ним гораздо чаще, чем к другим файлам. Затем я добавил новое правило хранения, чтобы Rosetta могла решать, куда следует записывать файлы - на сервер библиотеки, в нашу учётную запись в системе хранения Amazon или же в OAS.
Доступ на запись:
Когда данные записываются на оптические диски, проводится проверка их целостности чтобы убедиться в 100% точности записи. После записи на оптический диск данные остаются неизменными. Даже если система будет выведена из эксплуатации, диски можно будет прочитать на любом устройстве Blu-Ray. Я ввёл в систему Rosetta пару сотен гигабайт данных, которые затем были записаны на диски OAS. При записи никаких проблем не возникло. Мы попробовали внести возмущения и сбить процесс записи, чтобы проверить, сможем ли мы его сорвать или заставить записать плохие данные, но даже наш системный инженер, имевший максимальный доступ, не смог каким-либо образом повлиять на данные.
Обычно наш тестовый экземпляр системы Rosetta сконфигурирован в расчете на небольшое число файлов, так что масштабы обработки были ограничены примерно 45 гигабайтами (ёмкость нашей «боевой» системы составляет 2 терабайта). Из-за этого ограничения на тестовом сервере я не мог провести неограниченный ввод данных, поскольку переполнялось дисковое пространство. В этой связи я вводил ограниченное количество элементов за один приём, а затем чистил дисковое пространство, прежде, чем продолжить ввод. В приведенной ниже таблице показаны объёмы ввода за два дня тестирования, в каждый из которых процесс ввода работал около 5 часов (неограниченный ввод, скорее всего, позволил бы ввести раза в четыре больше объектов в день).
| Логических объектов | Файлов | Гигабайт |
| 8019 | 50856 | 352.53 |
| 6639 | 48736 | 346.42 |
Доступ на чтение:
Поскольку это была система хранения на оптических дисках, не было уверенности в том, что система Rosetta сможет читать диски – для этого система OAS должна найти правильный диск и загрузить его в привод для извлечения данных (в каждом библиотечном модуле OAS имеется 12 приводов для чтения/записи дисков). Процесс поиска и извлечения информации может занять до 90 секунд. Наша система Rosetta используется в качестве «темного архива», поэтому время извлечения данных не было критичным. Вопрос был в том, станет ли Rosetta ждать доставки файла или будет сбой из-за истечения времени ожидания. Функциональные средства чтения OAS работали безупречно. Rosetta хорошо работала, когда приходилось ждать завершения процесса поиска / доступа, включавшего поиск и установку в привод нужного диска. После того, как диск оказывался в приводе, доступ к файлам на диске было примерно столь же быстрым, как и к файлам на постоянно вращающихся дисках.
Ниже приведена таблица времен доступа к одной из групп, которые я использовал для тестирования:
| Название | Файлов в объекте | Размер, Мб | Время доступа, мин./сек. |
| List of titles of genealogical articles | 9 | 169 | 1.16 |
| Jackson collection image | 2 | 16 | 1.20 |
| Jackson collection image | 2 | 8 | 0.23 |
| John O. Bird children | 1 | 6 | 1.25 |
| Cardston Alberta Temple | 1 | 5 | 0.18 |
| Piano | 1 | 11 | 1.34 |
| F Edwards | 1 | 2 | 0.14 |
| E O Haymond | 1 | 4 | 0.09 |
| Taj Mahal | 2 | 14 | 0.27 |
| Taj Mahal | 2 | 14 | 0.09 |
| Millie Gallup | 1 | 5 | 0.14 |
| History of the Lemen family | 9 | 538 | 0.17 |
| The Boynton family | 9 | 405 | 0.11 |
| Register and almanac | 9 | 537 | 0.25 |
| The crawfishes of the state | 9 | 214 | 0.14 |
| Tank | 1 | 6 | 0.20 |
| Parley D. Thomas | 1 | 4 | 0.19 |
| Blake family : a genealogical history | 9 | 146 | 0.10 |
Из данных в графе «время доступа» очевидно, когда требовалось установить новый диск – в этом случае время превышало 60 секунд. После того, как диск был загружен, время доступа к другим файлам с этого диска было намного меньше.
Эти времена доступа даны для мастер-файлов, которые могли быть весьма объёмными.
Процессы установки, записи и чтения все прошли очень хорошо. Следующим шагом был запуск из Rosetta автоматизированной проверки целостности файлов в OAS.
Крис Эриксон (Chris Erickson)
Источник: блог Digital Preservation Matters / YouTube
http://preservationmatters.blogspot.ru/2015/09/testing-permanent-digital-storage_11.html
https://www.youtube.com/watch?v=IvlPwXvFtrs
OAS - неприятная аббревиатура (Для Французов)
ОтветитьУдалить;)