Статья «На пути к экологически устойчивому обеспечению долговременной сохранности электронных материалов»

31 октября 2022 года в номере 1 17-го тома «Международного журнала цифрового курирования» (International Journal of Digital Curation, см. http://www.ijdc.net/index ) была опубликована любопытная статья специалистов Европейской организации по ядерным исследованиям (ЦЕРН - CERN) Игнасио Пелуага (Ignacio Peluaga), Жоао Фернандеса (João Fernandes) и Шреясви Натрадж (Shreyasvi Natraj) под названием «На пути к экологически устойчивому обеспечению долговременной сохранности электронных материалов» (Towards Environmentally Sustainable Long-term Digital Preservation, http://www.ijdc.net/article/view/848 , прямая ссылка на PDF-файл: http://www.ijdc.net/article/view/848/670 ) объёмом 6 страниц.

Я перевела несколько разделов данной статьи, которые приведены ниже.

Краткое содержание

Финансирование в рамках проекта ARCHIVER и использование концепции PCP (Pre-Commercial Procurement – выполнение предварительных научно-исследовательских и опытно-конструкторских работ (НИОКР) с разделением рисков и отдачи группой заинтересованных в технологиях государственных учреждений и организаций до коммерциализации этих технологий – см. Сообщение Еврокомиссии COM(2007) 799, https://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=COM:2007:0799:FIN:EN:PDF – Н.Х.) дало возможность малым и средним предприятиям (МСП) внедрять инновации и предоставлять новые услуги для Европейского облака открытой науки (European Open Science Cloud, EOSC).

В рамках PCP-тендера для проекта ARCHIVER, в период с декабря 2020 по август 2021 года три коммерческих консорциума конкурировали за право поставки инновационных прототипов решений для обеспечения долговременной сохранности данных. Два из них были отобраны для продолжения пилотного этапа и поставки готовых к проведению исследований решений для обеспечения долговременной сохранности научно-исследовательских данных, тем самым заполняя пробел в текущем ландшафте Европейской открытой науки.
 
Обеспечение долговременной сохранности опирается на технологическую инфраструктуру (информационно-коммуникационные технологии, ИКТ), которая может оказывать воздействие на окружающую среду. Хотя изменение характера использования технологий может уменьшить негативное влияние практики обеспечения долговременной сохранности цифровых данных, само по себе оно не является стратегией формирования экологически-дружественной практики. Переход к экологически жизнеспособной деятельности по обеспечению долговременной сохранности требует критического изучения мотивов и предположений, на основе которых формируется текущая практика. Использование масштабируемых облачных инфраструктур может снизить негативное воздействие на экологию решений для обеспечения долговременной сохранности данных.

Введение

Стартовавший в январе 2019 года проект ARCHIVER с общим бюджетом в 4,8 миллиона евро (при софинансировании от Еврокомиссии в рамках гранта № 824516), был сфокусирован на услугах архивации данных и обеспечения их долговременной сохранности. Проект длился 42 месяца и соответствовал концепции PCP.

Проект возглавлял ЦЕРН, а в Группу покупателей (Buyers Group, BG) вошли четыре организации: ЦЕРН (Швейцария), DESY (Германия), EMBL-EBI (Великобритания) и PIC (Испания). Эти финансируемые государствами научно-исследовательские организации выделили средства, проработали варианты использования и предприняли усилия по тестированию. Ещё два партнёра, Addestino и TrustIT, присоединились к консорциуму, чтобы поделиться своим опытом в оценке требований и усилиях по продвижению.

Группа покупателей проанализировала состояние дел до начала закупок и определила области, которые необходимо развивать на протяжении всего проекта, такие как поддержка петабайтных объемов данных, привлечение европейских поставщиков и использование передовых практик, существующих в сфере обеспечения долговременной сохранности – это, например, помимо прочего, принципы FAIR (Wilkinson и др., 2016), сертификация доверенных хранилищ (стандарты и центр сертификации CoreTrustSeal, 2019) и развитие возможностей в области обеспечения долговременной сохранности (Digital Preservation Coalition, 2021). Одновременно идёт продвижение открытого программного обеспечения и стандартов, а также учитывается воздействие на окружающую среду.

Выводы

Задачи исследований и разработок в сфере электронного архивирования выходят за рамки простого хранения данных. Критически-важно в течение десятилетий сохранять интеллектуальный контроль над данными и связанными с ними продуктами, обеспечивая возможность повторного использования результатов научных исследований. Проект ARCHIVER выступал в качестве средства для коммерциализации архивирования и обеспечения долговременной сохранности в областях научных исследований и продвигал экологически жизнеспособную модель с сервисами, которые продолжат существовать и после окончания проекта в контексте Европейского облака открытой науки (EOSC):

• Поставщики облачных услуг могут добиться очень высокой энергоэффективности. Также возможна как локальная установка на собственной площадке, так и повторное использование существующей инфраструктуры других закупающих организаций;
  
  
• Сочетание автоматизации, микросервисов, бессерверных вычислений и облачной инфраструктуры как услуги (IaaS) делает возможным более эффективное использование ресурсов;
  
  
• Выбор местоположения облака/поставщика облачных услуг, использующего экологически чистую инфраструктуру, может повысить экологическую жизнеспособность;
  
  
• Умное использование систем хранения - например, использование «глубокого»/»холодного»/с нечастым доступом архивного хранения, копий для целей доступа с небольшим экологическим  «отпечатком»;
  
  
• Поддержка концепции FAIR с целью увеличения повторного использования результатов и избежания потребления энергии для воспроизведения результатов.

Имеются убедительные доказательства пригодности получаемых в результате услуг с высоким уровнем инноваций в таких аспектах, как масштабируемость, надежность и гибкость. Проект ARCHIVER был номинирован на премию Международного совета архивов (МСА) за кооперацию и сотрудничество.

Источник: сайт «Международного журнала цифрового курирования»
http://www.ijdc.net/article/view/848
http://www.ijdc.net/article/view/848/670  

(Уже) 10 лет проекту сохранения данных Большого адронного коллайдера

Данный пост руководителя проекта обеспечения долговременной сохранности данных в сфере физики высоких энергий в Европейской организации по ядерным исследованиям ЦЕРН (CERN) Джеми Шиерса (Jamie Shiers – на фото) был опубликован 20 ноября 2018 года на блоге британской Коалиции по электронной сохранности (Digital Preservation Coalition, DPC) среди материалов, приуроченных к Международному дню электронной сохранности, который отмечался 29 ноября 2018 года (см. https://dpconline.org/blog/idpd ).
   
С первых дней планирования Большого адронного коллайдера (Large Hadron Collider, LHC) было понятно, что он будет производить беспрецедентные объемы данных. По мере того, как мы завершаем второй многолетний цикл исследований (Run2) на коллайдере, объём архива данных CERN перешёл отметку в 300 петабайт. Большой адронный коллайдер с момента рестарта и начала третьего многолетнего цикла Run3 в 2021 году, включая его запланированные модификации, такие как «LHC на высокой светимости» (High Luminosity LHC), будет продолжать получать данные ещё в течение одного-двух десятилетий (так что общий срок производства данных от начала до конца составит 3 десятилетия).

Все эти данные – полученные в прошлом, получаемые сейчас и будущие - должны быть сохранены, по крайней мере, в течение всего периода проведения экспериментов на коллайдере, а, возможно, и дольше.

Для сравнения, данные, полученные на использовавшемся ранее Большом электронно-позитронном коллайдере (Large Electron Positron collider, LEP) в период с 1989 по 2000 год по-прежнему сохраняются и повторно используются, спустя два десятилетия после окончания экспериментов и три десятилетия после запуска LEP. (До сих пор на основе этих данных выпускаются научные публикации, и имеются серьезные научные аргументы в пользу того, чтобы сохранять возможность сопоставления результатов, полученных в ходе четырёх проведенных экспериментов).

Если в начале работы LEP-коллайдера, который размещался в том же туннеле, где сейчас находится Большой адронный коллайдер LHC, ответственность за управление ленточным хранилищем данных лежали на самих экспериментаторах (пусть даже сами носители хранились централизованно), то ко времени пуска LHC мы перешли на использование централизованно управляемого роботизированного ленточного хранилища большой емкости. С начала века LHC и всем другим текущим экспериментам была предложена услуга обеспечения «сохранности битов» - сведения к минимуму, хотя и не полного исключения пусть даже мельчайших случаев потери или порчи данных.

Сохранение битов необходимо, но его далеко недостаточно для обеспечения осмысленного повторного использования данных даже по истечении коротких периодов времени. На основе новаторских работ Исследовательской группы по долгосрочному анализу в физике высоких энергий (Study Group for Long-Term Analysis in High Energy Physics), более известной как DPHEP, в рамках обновления в 2012-2013 году Европейской стратегии для физики элементарных частиц (European Strategy for Particle Physics – для которой также уже пришло время пересмотра) был предложен ряд стратегий. Сама группа DPHEP был создана около десяти лет назад, первоначально в Немецкой лаборатории электронного синхротрона - Deutsches Elektronen-Synchrotron laboratory (DESY) в Гамбурге. Группа быстро выросла, охватить все основные лаборатории физики высоких энергий по всему миру.

Эти стратегии включали не только «сохранение битов», но и хорошо зарекомендовавшие себя сервисы хранения и обеспечения долговременной сохранности документации (также известные как «цифровые библиотеки»), а также революционный подход к обеспечению сохранности не только программного обеспечения, необходимого для обработки и (повторного) использования данных, но и той среды, в которой это программное обеспечение использовалось и в условиях которой оно было проверено. В настоящее время в рамках деятельности по сохранению данных в физике высоких энергий существует широкий консенсус относительно того, что это те три столпа, на которых держатся наши сервисы сохранения данных.

Такого рода услуги в настоящее время предлагаются в режиме промышленной эксплуатации уже в течение нескольких лет и считаются зрелыми и стабильными.

Тем не менее, работа на этом не останавливается и в настоящее время предпринимаются масштабные усилия по захвату всех данных и «знаний», необходимых для повторения в будущем повторного анализа данных. Это дополняется регулярной публикацией подмножеств «открытых данных» на основе экспериментов на Большом адроном коллайдере и других установках - вместе с необходимыми для повторного использования данных программным обеспечением, средой и документацией.

Хотя мало кто в своё время рискнул бы предположить, что данные LEP-коллайдера будут всё ещё существовать в пригодном для использования виде спустя три десятилетия после первых экспериментов, сегодня именно этого ожидают - и даже требуют – в отношении данных Большого адронного коллайдера LHC, несмотря на то, что объём данных LHC уже почти на 3 порядка превышает объём данных LEP-коллайдера (который составляет примерно 100 терабайт для каждого из 4 проведенных экспериментов, включая первичные необработанные данные), и может возрасти ещё, пожалуй, в сотни раз - до десятков экзобайт в конце 2030-х годов!

Джеми Шиерс (Jamie Shiers)

Источник: блог Коалиции по электронной сохранности
https://dpconline.org/blog/idpd/already-10-years-of-lhc-data-preservation