Лучше поздно, чем никогда: Создание хешей для 16 миллионов унаследованных файлов

Данный пост старшего аналитика по вопросам политик управления электронными документами Национальных Архивов США и эксперта ИСО Энди Поттера (Andy Potter - на фото) был опубликован в социальной сети LinkedIn 6 ноября 2024 года в учётной записи технического подкомитета ИСО TC46/SC11 «Управление документами».

Мой комментарий: В своём посте Энди Поттер кратко изложил содержание заметки, опубликованной 6 ноября 2024 года на англоязычном сайте «Обеспечение электронной сохранности в Национальной библиотеке Норвегии» (Digital preservation at the National Library of Norway), который ведёт отдел обеспечение долговременной сохранности электронных материалов Национальной библиотеки, см. https://digitalpreservation-blog.nb.no/blog/2024-11-04-checksums/

«Начиная с 2007 года Национальная библиотека Норвегии использует SAM-FS (которая также известна как иерархическая система хранения Oracle HSM) в качестве системы для долгосрочного хранения и архивирования больших объемов данных. Сейчас в этой системе хранится 14 петабайт данных (1 петабайт = 1000 терабайт), и вскоре система достигнет конца своего жизненного цикла.

В 2022 году Национальная библиотека приняла решила заменить SAM-FS более современным решением для обеспечения долговременной сохранности электронных материалов. Это новое решение основано на разработанном своими силами программном обеспечении под названием DPS (Digital Preservation Services – «сервисы для обеспечения долговременной сохранности») и использует IBM-HPSS в качестве базовой системы для хранения данных.

В течение последних 10 лет Национальная библиотека использовала контрольные суммы в качестве метода проверки целостности сохранённых данных. В данном контексте контрольная сумма - это вычисляемое хеш-значение, которое используется для верификации того, что файл данных не подвергался каким-либо изменениям. В число распространённых алгоритмов расчёта контрольных сумм (хешей) входят алгоритмы MD5, SHA-1, SHA-256 и SHA-512. Национальная библиотека использует алгоритм MD5.

Многие из наиболее старых файлов, хранимых в SAM-FS, были сохранены без контрольных сумм. Поскольку все файлы в SAM-FS хранятся в трёх экземплярах, то можно сказать, что в отсутствие сопровождающей контрольной суммы эти три экземпляра существуют независимо друг от друга. Если бы между экземплярами возникло расхождение, то у нас не было бы исходной контрольной суммы для проведения верификации.

Мой комментарий: В отсутствие контрольной суммы (хеша), в случае расхождения, скорее всего, применяется метод кворумирования – если один экземпляр отличается от двух других, то верными признаются два одинаковых экземпляра. В качестве альтернативы, если успешно открывается программой просмотра только какой-либо конкретный экземпляр, то именно его могут признать верным.

Было решено, что в рамках процесса миграции данных из SAM-FS в новую систему DPS следует вычислить и сохранить контрольные суммы для всех файлов, у которых их ещё не было.»

Мой комментарий: Говоря о проблемах, норвежские специалисты отметили:

«Каким образом, в отсутствие возможности проверки на основе контрольных сумм, мы могли обеспечить, что файлы, передаваемые из SAM-FS в DPS, были точно такими же, какими они были изначально заархивированы? Самым старым файлам было более 20 лет, и с течением времени они до пяти раз проходили миграцию на новое оборудование / платформы.

Какой из трех экземпляров файла, хранящихся в SAM-FS, следовало выбрать в качестве отправной точки для миграции? Как мы могли установить, что это был «правильный файл», не читая и не сравнивая все три экземпляра? Чтение и сравнение всех трёх экземпляров было сочтено сложным подходом, поскольку это включало чтение и обработку многих петабайт данных в той же инфраструктуре, которая также использовалась для повседневных операций.»

Результаты и уроки миграции описаны следующим образом:

«Ни у одного из 16 миллионов файлов в наборе данных объемом 2,5 петабайта не было выявлено расхождений в контрольных суммах. Данный метод обеспечения аутентичности файлов в системе DPS после миграции был затратным по времени и ресурсоёмким, но для нас он оказался эффективным.

Ещё один опыт, который мы получили, заключался в том, что техническим системам хранения можно доверять, когда речь идёт предотвращении изменений в потоке составляющих файлы битов с течением времени. Мы проверили контрольную сумму 16 миллионов файлов, которые прошли до пяти миграций в течение за 20 лет, не обнаружив никаких следов изменений в потоке битов ни одного из файлов.»

Источник: сайт LinkedIn / сайт «Обеспечение электронной сохранности в Национальной библиотеке Норвегии»
https://www.linkedin.com/feed/update/urn:li:activity:7259944282210332672
https://digitalpreservation-blog.nb.no/blog/2024-11-04-checksums/

Национальная библиотека Норвегии опубликовала свой перечень предпочтительных файловых форматов

Данная заметка была опубликована 7 мая 2024 года на сайте Национальной библиотеки Норвегии на норвежском (см. https://digitalpreservation-blog.nb.no/docs/formats/preferred-formats-no/ ) и английском языках.

Приведенный ниже список представляет собой перечень предпочтительных файловых форматов для хранения электронных материалов в Национальной библиотеке Норвегии (Nasjonalbiblioteket).

Отделение Национальной библиотеки Норвегии в местечке Мо-и-Рана (Mo i Rana)

Список применим как в отношении файлов, созданных самой Национальной библиотекой, так и в отношении файлов, полученных Национальной библиотекой от внешних субъектов. Предпочтительными форматами являются те, которые предпочли бы иметь в своём распоряжении структурные подразделения Библиотеки, а приемлемыми являются форматы, которые также будут приниматься без проведения конверсии/нормализации. Любые другие форматы следует обсудить с соответствующими структурными подразделениями библиотеки до принятия файлов на хранение.

Список основан на ресурсе «Международное сравнение рекомендуемых форматов файлов» (International Comparison of Recommended File Formats, https://docs.google.com/spreadsheets/d/1XjEjFBCGF3N1spNZc1y0DG8_Uyw18uG2j8V2bsQdYjk/edit#gid=1719869262 – о нём см. мой пост http://rusrim.blogspot.com/2022/05/opf.html - Н.Х.) Фонда «Открытая сохранность» (Open Preservation Foundation, OPF, https://openpreservation.org/ ), а также на обзорах Библиотеки Конгресса США «Жизнестойкость цифровых форматов - Планирование для коллекций Библиотеки Конгресса» (Sustainability of Digital Formats: Planning for Library of Congress Collections, https://www.loc.gov/preservation/digital/formats/index.html?loclr=blogsig – см. также мой пост http://rusrim.blogspot.com/2022/07/1.html - Н.Х.) и на «Заявлении о рекомендуемых форматах» (Recommended Formats Statement, https://www.loc.gov/preservation/resources/rfs/index.html - см. также мой пост http://rusrim.blogspot.com/2023/08/2023-2024.html - Н.Х.).

Мой комментарий: Собственно список форматов включает:

• 4 формата (3 предпочтительных + 1 допустимый) для изображений,
  
  
• 23 формата (19 + 4) для видеоматериалов,
  
  
• 4 формата (3 + 1) для аудиоматериалов,
  
  
• 2 формата для веб-архивов,
  
  
• 8 форматов (7 +1) для текстовых файлов.

Источник: сайт Национальной библиотеки Норвегии
https://digitalpreservation-blog.nb.no/docs/formats/preferred-formats-en/

Национальная библиотека Франции 9-10 декабря 2021 года проведёт 3-ю Международную конференцию по использованию искусственного интеллекта в библиотеках, архивах и музеях

Данная новость была опубликована 3 сентября 2021 года на сайте регистрации на конференции Easychair.org.

Сообщество AI4LAM («Искусственный интеллект в библиотеках, архивах и музеях») организует свою третью международную конференцию «Фантастическое будущее 2021» (FF21, Fantastic Futures), которая пройдёт в Национальной библиотеке Франции (Bibliothèque nationale de France) в Париже с 9 по 10 декабря 2021 года. Доклады в рамках данного мероприятия будут делаться как «вживую», так и удалённо; а также пройдут онлайн-вебинары и семинары.

Мы намерены собрать разнообразную аудиторию из работающих в галереях библиотеках, архивах и музеях (Galleries, Libraries, Archives and Museums, GLAM) специалистов, которые заинтересованы в применении искусственного интеллекта (ИИ) в своих организациях и учреждениях.

Мы также приветствуем исследователей, артистов и художников, и всех остальных, кто работает с GLAM-коллекциями и фондами, используя методы искусственного интеллекта.

Конференция предоставит возможность поделиться нашими текущими знаниями об искусственном интеллекте и о том, что мы уже сделали, - как в плане обмена опытом между экспертами, так и в плане ознакомления с темой новичков. Нашим приоритетом является поддержка многообразия сообщества: мы стремимся отдать должное его международному распространению, различным типам коллекций и практик, а также различным уровням институциональной зрелости, когда дело доходит до понимания, применения и развертывания технологий искусственного интеллекта.

Программный комитет ищет учебные пособия и/или интерактивные семинары, нацеленные на специалистов GLAM-сектора по работе с данными, на разработчиков и партнёров (например, на исследователей из лабораторий данных), которые охватывают следующие темы:

• Введение в применение ИИ в GLAM-секторе;
  
  
• Варианты использования и внедрения ИИ в GLAM-секторе;
  
  
• Технологии и инструментарий, применимые к данным и коллекциям GLAM-сектора.

Программный комитет также ищет доклады по следующим направлениям:

• Опыт внедрения ИИ в GLAM-секторе, применительно к контенту в области культурного наследия или в смежных областях;
  
  
• Применимость и воспроизводимость успешных внедрений искусственного интеллекта;
  
  
• Обратная связь и хорошие практики в области преподавания и обучения, и как демократизировать искусственный интеллект;
  
  
• Этические соображения, такие как доступность, предвзятость в данных и конвейерах обработки, воздействие на окружающую среду, неприкосновенность частной жизни и защита персональных данных, и т.д.
  
  
• Создание и коллективное использование наборов данных и обучающих моделей в рамках GLAM-сообщества.

Источник: сайт Easychair.org
https://easychair.org/cfp/FantasticFutures21

Национальная библиотека Франции опубликовала проект политики в отношении форматов для долговременного хранения информации

Сайт Национальной библиотеки Франции (Bibliothèque nationale de France, BnF) опубликовала для публичного обсуждения проект политики в отношении форматов для долговременного хранения информации.

Документ под названием «Форматы данных для долгосрочного хранения: Политика Национальной библиотеки Франции - Первоначальная версия для публичного обсуждения» (Formats de données pour la préservation à long terme : la politique de la BnF - Version initiale pour appel à commentaires) объёмом 80 страниц доступен по адресу https://www.bnf.fr/sites/default/files/2021-04/politiqueFormatsDePreservationBNF_20210408.pdf

В информации об открытии публичного обсуждения отмечается:

«Как и все другие направления деятельности в рамках обеспечения электронной сохранности, знание и мониторинг форматов - это сложная деятельность, которую необходимо выполнять коллективно. В этой связи Национальная библиотека Франции создала рабочую группу по форматам данных для долговременной сохранности, которая ведёт мониторинг в сфере своей компетенции.

В период 2018 по 2021 год данная группа разрабатывала политику Национальной библиотеки в отношении форматов данных для долговременной сохранности.

Документ для публичного обсуждения

Обсуждение опубликованной в апреле 2021 года первой версии документа «Форматы данных для долгосрочного хранения: Политика Национальной библиотеки Франции» будет проходить до сентября 2021 года.

Свои замечания и предложения просьба посылать на адрес электронной почты formats.num@bnf.fr .

Данный документ предполагается периодически пересматривать по ходу деятельности рабочей группы по форматам.»

Содержание документа следующее:

1. Введение
2. Руководящие принципы политики
3. Список предпочтительных и допустимых форматов
4. Описание форматов (всего 19 форматов – Н.Х.)
5. Планы на будущее

Также связанные с форматами материалы выложены на сайте Github, см. https://github.com/hackathonBnF/FichesFormat и https://github.com/hackathonBnF/FichesFormat/wiki

О ходе работы над политикой в области форматов специалисты Национальной библиотеки рассказали 14 апреля 2021 года на вебинаре «Два года коллективной работы над форматами данных в Национальной библиотеке Франции», о котором я сообщала здесь: https://rusrim.blogspot.com/2021/04/blog-post_12.html

Источники: сайт Национальной библиотеки Франции / Github
https://www.bnf.fr/fr/formats-de-donnees-pour-la-preservation-numerique#bnf-la-politique-de-la-bnf-sur-les-formats-de-donn-es-pour-la-pr-servation
https://github.com/hackathonBnF/FichesFormat
https://github.com/hackathonBnF/FichesFormat/wiki 

Фонд «Открытая сохранность» проведёт вебинар на тему «Два года коллективной работы над форматами данных в Национальной библиотеке Франции»

Данная новость была опубликована 6 апреля 2021 года на сайте Фонда «Открытая сохранность» (Open Preservation Foundation, OPF).

В 2018 году Национальная библиотека Франции (BnF) возобновила свои усилия по мониторингу и изучению форматов данных и метаданных, используемых для обеспечения долговременной сохранности цифровой информации, с целью опубликовать актуализированную, обоснованную и согласованную политику в отношении форматов. В 2020 году темпы работы значительно ускорились, в результате чего в начале 2021 года был опубликован политический документ, предназначенный в первую очередь для самого учреждения, но также и для его партнеров, сети и потенциальных доноров.

В центре внимания вебинара будет организация работы внутри «Группы по форматам» (подробнее об этом см. также пост https://openpreservation.org/blogs/a-love-letter-to-formats/ - Н.Х.). На нем также будет представлен итоговый результат - политический документ Национальной библиотеки, а также инструменты, использованные для накопления опыта в отношении форматов.

С докладами на семинаре выступят сотрудники Национальной библиотеки Франции Бертран Карон (Bertrand Caron) и Тома Леду (Thomas Ledoux).

Вебинар начнётся 14 апреля 2021 года в 15:00 по центральноевропейскому времени (CEST) (16:00 по московскому времени – Н.Х.).

Зарегистрироваться на участие в вебинаре можно по адресу:  https://us02web.zoom.us/webinar/register/2916104640386/WN_heeEOQUmTB2Yna9zY1fKIw

Члены Фонда «Открытая сохранность» (OPF) регистрируются в приоритетном порядке и получают эксклюзивный доступ к нашему архиву записей вебинаров ( https://openpreservation.org/webinars/ ). Дополнительную информацию о преимуществах членства в OPF можно получить по адресу https://openpreservation.org/membership/ .

Чтобы своевременно узнавать о новых вебинарах OPF, подпишитесь на наш список рассылки ( https://openpreservation.org/subscribe/ ).

Источник: сайт OPF
https://openpreservation.org/events/two-years-of-collective-work-on-data-formats-at-bnf/

ИСО: Опубликован новый стандарт оценки качества национальных библиотек ISO 21248:2019

В марте 2019 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации стандарта ISO 21248:2019 «Информация и документация – Оценка качества для национальных библиотек» (Information and documentation - Quality assessment for national libraries) объёмом 146 страниц, см. https://www.iso.org/standard/70233.html и https://www.iso.org/obp/ui/#!iso:std:70233:en .

Стандарт подготовлен техническим подкомитетом TC46/SC8 «Качество – Статистика и оценка производительности» (Quality - Statistics and performance evaluation). 

Во введении в документ отмечается следующее:

«В настоящем документе определены термины в области оценки качества национальных библиотек и описаны следующие методы оценки:

• измерение производительности, и


• оценка воздействия.

Результаты обоих методов представляют интерес в первую очередь для сравнения положения дел в одной и той же библиотеке в различные моменты времени. Сравнения между библиотеками возможны, если принять во внимание различия в обязанностях, задачах и целевой аудитории библиотек.

Не все методы, описанные в настоящем документе, применимы во всех национальных библиотеках. Ограничения применимости отдельных методов отражены в их описаниях.

Настоящий документ не исключает возможности использования показателей эффективности или методов оценки воздействия, которые в нём не указаны.

Настоящий документ не охватывает веб-архивацию, отсылая при этом к техническому отчёту ISO/TR 14873 в части статистики и вопросов качества при решении этой новой для национальных библиотек задачи.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область определения
2. Нормативные ссылки
3. Термины и определения
4. Оценка качества в национальных библиотеках
5. Показатель производительности для национальных библиотек
6. Оценка воздействия в национальных библиотеках
Приложение A: Описание показателей производительности
Приложение B: Примеры опросов по оценке воздействия
Приложение C: Показатели производительности в структуре системы сбалансированных показателей (balanced scorecard)
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/70233.html
https://www.iso.org/obp/ui/#!iso:std:70233:en

Австралия: Национальная библиотека открыла доступ к «колоссальному» архиву национального интернета

Статья Джорджа Нотта (George Nott – на фото) была опубликована 11 марта 2019 года на сайте австралийской редакции журнала Computerworld.

Официально открытый в этом месяце Австралийский веб-архив (Australian Web Archive) является одним из крупнейших в мире

«Австралийский веб-архив (Australian Web Archive, AWA) является одним из самых больших в мире. И когда мы говорим «большой», мы имеем в виду «громадный»», - подчёркивает генеральный директор Национальной Библиотеки Австралии д-р Мари-Луиза Эйрес (Dr Marie-Louise Ayres).

Мари-Луиза Эйрес

Новый архив, открытый на прошлой неделе для публики (см. https://trove.nla.gov.au/website?q= ), содержит примерно 9 миллиардов документов общим объёмом около 600 терабайт. На языке погонных метров книжных полок: если бы эти документы распечатать и сложить подряд, бумажная лента простирались бы от Канберры (Canberra) до Кэрнса (Cairns) (т.е. через всю Австралию с юга на север – Н.Х.)

Архив содержит тысячи веб-страниц из национального домена .au - некоторые из них по-прежнему популярны, а другие давно не функционируют, - что даёт пользователям возможность увидеть, как эти страницы выглядели в разные моменты времени в период с 1996 года по настоящее время.

Проект постепенно осуществлялся почти 20 лет, а функциональные возможности архива была разработаны в течение последних двух лет небольшой ИТ-группой Национальной Библиотеки во главе с ИТ-директором Дэвидом Вонгом (David Wong).

Дэвид Вонг (David Wong)

«Сайты захватывались с того момента, когда Интернет более-менее родился», - рассказывает Вонг. «Они все находятся на постоянном хранении, и мы намереваемся обеспечить их постоянную доступность».

Хотя его концепция знакома пользователям запущенной в эксплуатацию в 2001 году «Машины прошлого» (Wayback Machine, https://archive.org/web/ ) фирмы «Интернет-архив» (Internet Archive),  архив AWA обладает значительно более широкими функциональными возможностями, поскольку поддерживается полнотекстовой поиск по всем его материалам.

Чтобы найти нужные страницы в Wayback Machine, пользователи должны знать их гиперссылки. При использовании AWA они могут находить интересующий их контент с помощью машины поиска в стиле Google, самостоятельно созданной командой Вонга.

«Вы можете ввести ключевое слово и найти сайты, где оно встречается. Это делает контент намного более доступным и отыскиваемым. Это очень удобная функциональная возможность», - отмечает Вонг.

Сбор сегодня того, что будет нужным завтра

Национальная Библиотека Австралии была одним из первых подобных учреждений в мире, создавшим свой интернет-архив (см. https://www.computerworld.com.au/article/631141/national-library-embraces-digital-future/ ).

Работы по сбору и обеспечению сохранности веб-страниц начались в 1996 году, когда кураторы библиотеки отобрали для архивации «важные сайты», сформировав в итоге веб-архив PANDORA. Позже усилиями по архивации были охвачены все сайты государственных органов и учреждений, и был создан веб-архив органов правительства Австралии (Australian Government Web Archive..

«Это было действительно хорошее предвидение будущих потребностей. Многие сайты, которые Вы видите в архиве, исчезли много лет назад. Мы благодарны нашим предшественникам за эту идею и за её реализацию на практике», - говорит Вонг.

С 2005 года Библиотека начала проводить ежегодный «массовый захват» всех сайтов в домене .au. В процессе сбора материалов задействованы веб-сканеры (web crawlers) - интернет-боты, которые просматривают сеть и индексируют страницы.

Массовый захват означает, что коллекция даёт более точную картину Австралии в Интернете, однако огромные объемы собранных данных значительно усложняют просмотр содержания хранилища.

«Это наш самый сложный проект создания машины поиска из всех, который мы до сегодняшнего дня выполняли», - подчёркивает Вонг.

Четверо разработчиков Библиотеки использовали свой собственный, а также открытый исходный код для обеспечения полнотекстового поиска по материалам хранилища.

Так выглядел в 1999 году сайт журнала Computerworld Australia

«Мы использовали нашу версию предложенного Google алгоритма PageRank, и применяем определенную байесовскую фильтрацию и машинное обучение. Нам потребовалось довольно много времени, чтобы придумать этот алгоритм, и его настройка заняла много месяцев», - говорит Вонг.

Группа также использовала распознавание образов на основе машинного обучения, с целью выявления и удаления страниц с порнографическими материалами.

«Мы пришлось подумать о способах подавления шума и мусора, предоставляя при этом пользователям нужные им материалы. Мы использовали несколько методов в комбинации», - поясняет Вонг.

Объёмы хранилища создали значительные проблемы. Группа разработчиков уже имела опыт решения таких проблем, накопленный при создании сервиса Trove ( https://trove.nla.gov.au/ ) - запущенного в 2008 году интерфейса для поиска по базе данных, охватывающей более 90 миллионов предметов из библиотек, музеев, архивов, хранилищ и других исследовательских организаций. Архив AWA доступен через сервис Trove ( https://trove.nla.gov.au/website?q= ), услугами которого  пользуется до 70 тысяч пользователей в день.

Мой комментарий: Поскольку мне удалось найти в веб-архиве упоминающие меня страницы, я простоя обязана дать ему высокую оценку! :)

«Нам пришлось внести изменения в подход и внедрить новое решение, потому что, если Вы посмотрите на веб-архив, он содержит гораздо больше материалов, но, как мы ожидаем, его пользовательская база будет меньше. Нам пришлось перепроектировать решение, чтобы оно соответствовало контенту. Мы пришлось инвертировать дизайн», - объясняет Вонг.

«Наши серверы специально сконфигурированы для поддержки сервиса веб-архива. В случае Trove серверы имеют много оперативной памяти, а в случае веб-архива всё обстоит наоборот - оперативной памяти меньше, но больше дисковой памяти», - добавляет Вонг.

В среднесрочной перспективе архив останется на локальных серверах Библиотеки, но, по мере увеличение объёмов, может быть перемещён впоследствии в облако.

«Двигаясь дальше, это будет непростая задача – собрать сегодня те материалы, которые будут важны завтра», - подчёркивает Вонг.

Метод захвата также может адаптироваться.

«В интернете так много контента, что нам придётся изучить другие механизмы захвата материалов с использованием машинного обучения и искусственного интеллекта, однако прямо сейчас эту роль выполняют люди-кураторы, которые делают это очень эффективно», - говорит Вонг.

Хранители истории

Ожидается, что архив интернет-активности Австралии станет для будущих историков и исследователей ключевым по важности ресурсом.

«Мы закладываем фундамент на следующие 100 лет. Когда люди захотят узнать о сегодняшнем дне, о том, что происходило сегодня, то вместо доступа к оцифрованным книгам, журналам и газетам, они скорее предпочтут посмотреть, что было в Твиттере, на новостных сайтах и в разделах комментариев. Они смогут это сделать на основе веб-контента», - отмечает Вонг.

Национальная Библиотека считает усилия по созданию и поддержанию веб-архива частью своих обязанностей в качестве «хранителями австралийской истории», - говорит Айрес.

«Для тех из нас, кто жил и работал до появления веб-сайтов, это замечательное напоминание о том, как много всего изменилось. Для тех, кто никогда не знал мира без Интернета, это замечательный урок истории», - отметила она.

Джордж Нотт (George Nott)

Источник: сайт журнала Computerworld
https://www.computerworld.com.au/article/658641/national-library-launches-enormous-archive-australia-internet/

Дания: Мытьё грампластинок в библиотеке

Статья Сабины Шостаг (Sabine Schostag) из Государственной библиотеки Дании (Statsbiblioteket) была опубликована 6 октября 2015 года на сайте Европейской библиотеки Europeana

Не правда ли, это звучит несколько странно? Для чего Государственной библиотеке Дании (Statsbiblioteket) дискомоечная машина? Нет, это не опечатка – речь идёт не о посудомоечной машине. У нас действительно есть дискомоечный агрегат (discwasher)!

Дискомоечная машина

Рис. 1: Дискомоечная машина

Дискомоечная машина – это инструмент, который мы используем в процессе оцифровки грампластинок со скоростью вращения 78 оборотов в минуту. Наряду с проигрывателем и аппаратурой и программным обеспечением для оцифровки, это самый важный инструмент для оцифровки нашей коллекции, включающей в себя 37 тысяч датских грампластинок из шеллака.

Оцифровка грампластинок - это небесконечноая, но довольно-таки длительная история. Наш аудиоинженер оцифровывает от 10 до 12 дисков в день (в рамках полного процесса).

Национальная коллекция грампластинок

Государственная библиотека Дании несет ответственность за сохранность датского аудиовизуального культурного наследия. Мы сохраняем всю музыку, записанную и опубликованную в Дании в течение последних 100 лет, в том числе и все диски на 78 оборотов в минуту. Национальная коллекция грампластинок была основана журналистом Анкером Киркеби (Anker Kirkeby) ещё в 1913 году. Впоследствии хранителями коллекции были по очереди несколько датских культурных учреждений – сначала Королевская библиотека, позднее Национальный музей. В 1989 году коллекция была передана Государственной библиотеке. Именно поэтому мы располагаем столь обширным, практически полным собранием датских грампластинок, несмотря на то, что многие из них были выпущены задолго до того, как были законодательно установлены требования об обязательных экземплярах аудиовизуального культурного наследия.

Процесс оцифровки грампластинок

Хотя этот пост посвящен дискомоечной машине (disc-washing machine), мы сначала хотим рассказать о процессе в целом - от архивной грампластинки до получения электронной мастер-копии. Это даст Вам представление о роли дискомоечной машины в процессе оцифровки.

Рис. 2: Проверка технического состояния пластинок

Рис. 3: Смачивание грампластинки жидким мылом

На первом этапе грампластинки поступают на оцифровку небольшими партиями из архива и регистрируются. Следующим шагом является их помывка. Очищенные пластинки перемещаются в лабораторию оцифровки, в которой располагаются два важных инструмента: устройство звукозаписи и, что не менее важно, наушники аудиоинженера, который прослушивает записи - и на основании того, что слышит, выбирает для проведения окончательной оцифровки одну из четырех различных звукоснимающих головок-игл. Однако это уже другая история.

Рис. 4: Равномерное распределение мыла

Рис. 5: Отсасывающее устройство-аспиратор

Мытьё грампластинок

Давайте вернемся к дискомоечной машине. Наша машина совсем не похожа на обычную посудомоечную машину, в которую можно было бы положить какое-то количество пластинок, запустить её, и через час пластинки уже чистые. Дискомоечная машина больше похожа на проигрыватель, чем на стиральную машина (см. рис. 1). На помывку одной стороны пластинки требуется около десяти минут.

Перед этим аудиоинженер проверяет техническое состояние диска - есть ли на нём какие-то отметки, царапины, отпечатки пальцев и т.д. (рис. 2). Свои наблюдения инженер регистрирует в базе данных. Затем он смачивает поверхность грампластинки жидким мылом на водной основе (рис. 3) и использует очень мягкую кисточку для равномерного, распределения мыла (рис. 4) с тем, чтобы растворить пыль и отпечатки пальцев.

Следующий шаг - удаление мыла. Для этого используется тонарм (pickup arm), который на самом деле представляет собой вытяжное устройство-аспиратор (рис. 5 и 6), поглощающее всю жидкость и перекачивающее её в колбу, прикрепленной к дискомоечной машине.

На завершающем этапе аудиоинженер аккуратно снимает вымытую с одной стороны и просушенную пластинку, переворачивает её, и вся процедура повторяется с другой стороной грампластинки.

Сколько времени уходит на помывку пластинки? Наш аудиоинженер моет 3-4 пластинки в час.

Рис. 6: Удаление мыла

Рис. 7: Контейнер для жидких отходов

Сабина Шостаг (Sabine Schostag)

Мой комментарий: Не знаю, как Вас, а меня особенно восхищает то, что в цифровую эпоху люди продолжают создавать оригинальные некомпьютерные устройства и технологии :)

Источник: сайт Europeana
http://www.europeanasounds.eu/news/disc-washing-at-the-library

Австралия: Национальная библиотека будет захватывать материалы, выложенные в интернете

Данная заметка Салли Хопман (Sally Hopman) была опубликована 2 июля 2015 года на сайте Национальной библиотеки Австралии

Будущие поколения австралийцев теперь смогут, благодаря Национальной библиотеке Австралии, получить доступ к тем сведениям, которая сегодня выложены в сети.

Согласно новому законодательству, с января 2016 года Национальная библиотека сможет захватывать всё, от книг до блогов, от веб-сайтов до контента социальных сетей, - а также все прочие материалы, выложенные в Интернете.

Генеральный директор Национальной библиотеки Австралии г-жа Анн-Мари Швиртлих (Anne-Marie Schwirtlich) отметила, что уже более 100 лет библиотека собирает все печатные материалы об Австралии и австралийцах посредством механизма обязательных экземпляров (legal deposit).

«Новое законодательство позволяет нам взять на себя инициативу в документировании Австралией постоянно меняющегося онлайн-мира путем сбора свежих электронных публикаций, то есть путем сохранения полного электронного ландшафта.»

Г-жа Швиртлих сообщила, что это стало возможным благодаря закону о внесении поправок в гражданское законодательство (Civil Law and Justice Legislation Amendment Bill 2014), которое модифицирует Закон об авторском праве 1968 года (Copyright Act 1968).

В результате Библиотека сможет собрать миллиарды австралийских веб-страниц, десятки тысяч австралийских электронных книг, газет и журналов, а также любые новые формы публикации, которые появятся в будущем.

«Мы с нетерпением ожидаем начала сотрудничества с издательской индустрией по этому вопросу, с тем, чтобы совместными усилиями сохранить всю австралийскую историю, независимо от того, зафиксирована ли она в печатном виде или выложена в сети», - подчеркнула она.

«Эти новые цифровые коллекции будут столь же ценны для будущих исследователей, как сегодня важны для нас наши самые драгоценные сокровища, такие, как судовой журнал судна «Эндевор» (Endeavour) капитана Кука или документы Эдварда Коики Мабо (Edward Koiki Mabo – известный борец за права аборигенов – Н.Х.)».

«Сбор этих электронных материалов позволит нам создать картину того, что представляет собой сегодня жизнь в Австралии: как мы думаем, что чувствуем, о чём заботимся. Благодаря этому ученые будущего получат бесценные сведения по истории общества.»

Салли Хопман (Sally Hopman)

Источник: сайт Национальной библиотеки Австралии
https://www.nla.gov.au/media-releases/2015/07/02/library-captures-the-internet 

50 самых распространенных файловых форматов в электронном хранилище Национальной Библиотеки Голландии

Данная заметка Йохана ван дер Книйфа (Johan van der Knijff – на фото) была опубликована 29 апреля 2015 года на блоге KB Research («Научные исследования Национальной Библиотеки Голландии»). Приводится с сокращениями.

Текущая версия системы, поддерживающей электронное хранилище Национальной Библиотеки (  e-Depot, https://www.kb.nl/en/organisation/research-expertise/long-term-usability-of-digital-resources/the-e-depot-project-cycle) пока что не включает в себя каких-либо инструментов для автоматизированной идентификации файловых форматов. Наша предыдущая система DIAS также не имела такой функциональной возможности. Как следствие, информация о файловых форматах, присутствующих в наших электронных коллекциях, в значительной степени основана на заполненных издателем метаданных и на расширениях имён файлов, которые не обязательно правильные.

Кроме того, ранее проведенный анализ выявил ряд достаточно распространенных расширений файлов, которые непросто связать с определенным форматом. Одним из последствий этой ситуации являлось то, что мы не могли с уверенностью сказать (оставляя в стороне очевидно широко распространенные форматы), в какой степени пользователи были способны просматривать контент электронного хранилища на компьютерах, установленных в наших читальных залах.

Чтобы получить более четкое представление о форматах в нашей коллекции, мы провели анализ «топ 50» самых распространенных расширений файлов в нашем хранилище e-Depot: какие форматы соответствуют этим расширениям, можно ли их автоматически идентифицировать, и можем ли мы отображать их в наших читальных залах? В данном посте обобщены основные результаты этой работы.

Подсчет числа файлов с различными расширениями

В качестве первого шага, мы составили список всех уникальных расширений, с указанием числа таких файлов в нашем хранилище. Важно отметить, что мы охватили все файлы в файловой системе, включая как основные файлы, так и дополнительный контент и (оригинальные) файлы метаданных. Приведенная ниже диаграмма показывает количество файлов для каждого расширения. Данные отсортированы в порядке убывания (обратите внимание на то, что вертикальная ось имеет логарифмическую шкалу):

Было выявлено 1163 уникальных расширения. Сюрпризом стало то, что .gif оказалось самым распространенным расширением, в хранилище имеется 34 миллиона таких файлов. В общей сложности, 10 наиболее распространенным расширениям (gif, xml, jpg, sml, pdf, raw, tif, oa3, doc, htm) соответствует 99% всех файлов в электронном хранилище. Существует длинный «хвост» расширений, которые встречаются у менее чем 10 файлов, и они составляют более половины всех уникальных расширений ...

Полный список слишком длинный, чтобы включить его в это сообщение целиком, но Вы можете познакомиться с ним по адресу: https://gist.github.com/bitsgalore/21028de28b7f05066585#file-extensionskbdm-md

Йохан ван дер Книйф (Johan van der Knijff)

Источник: блог «KB Research»
http://blog.kbresearch.nl/2015/04/29/top-50-file-formats-in-the-kb-e-depot/ 

Интернет не является надежным архивом, предупреждают голландские учреждения, сохраняющие культурное наследие

Данная заметка была опубликована на голландском англоязычном новостном сайте DutchNews.nl 21 апреля 2015 года.

Интернет может казаться гигантским онлайн-архивом, но на самом деле большие объёмы информации постоянно теряются, отмечают голландские организации, участвовавшие в конференции ЮНЕСКО в Париже.

Мой комментарий: речь идёт о Королевской библиотеке, Национальных Архивах и Голландском институте видео- и звукозаписи (Nederlands Instituut voor Beeld en Geluid), представители которых приняли участие в состоявшейся в штаб-квартире ЮНЕСКО встрече экспертов по проблемам, связанным с обеспечением долговременной сохранности электронных материалов, см. http://www.unesco.org/new/en/media-services/single-view/news/a_unesco_expert_meeting_on_digital_preservation_challenges_held_in_paris_this_week/ . В этой встрече приняли участие 45 экспертов из 17 стран мира.

В частности, комментарии в социальных сетях, содержание которых очень многое рассказывает о тенденциях в обществе и новостных событиях, скорее всего будут недоступны для исторических исследований в будущем, - предупреждают эти учреждения в статье, опубликованной в голландской газете Volkskrant 21 апреля 2015 года (см. http://www.volkskrant.nl/media/veel-op-internet-opgeslagen-informatie-verdwijnt~a3969474/ ).

«Мы выходим из цифровых темных веков», говорит руководитель программы Национальной коалиции по обеспечению сохранности электронных материалов (Nationale Coalitie voor Digitale Duurzaamheid, NCDD) Марсель Рас (Marcel Ras). «Большая часть информации времен первых дней Интернет уже утрачена навсегда».

«Мы счастливы, когда удаётся найти дневник времен «золотого века» Голландии, но сегодняшние дневники - Twitter и Facebook - станут культурно-историческим наследием в будущем. Однако никто не берет на себя ответственность за их сохранение», говорит исследователь из университета Амстердама Юлия Ноордеграаф (Julia Noordegraaf).

Документы

Как отмечают специалисты, электронные документы часто более уязвимы, чем бумажные. Файлы исчезают, дискеты повреждаются либо их становится невозможно использовать.

Организованная ЮНЕСКО конференции стремилась найти пути для проведения «спасательной операции», обеспечивающей выживание электронных архивных документов. Кстати говоря, Голландский институт видео- и звукозаписи архивирует в год около 300 видеороликов с YouTube году и копирует около 7500 голландских веб-сайтов.

Источник: сайт DutchNews.nl
http://www.dutchnews.nl/news/archives/2015/04/internet-is-not-a-reliable-archive-dutch-organisations-warn/ 

Оцифровка корейских королевских архивов, хранящихся в Национальной библиотеке Франции

Совместное франко-корейское коммюнике от 31 марта 2008 года

Начиная с мая 2007 года, корейские и французские организации начали осуществление проекта по переводу в электронный вид первых 30 томов манускриптов, которые королевский дом Кореи хранил в Национальной библиотеке Франции. Эта работа была завершена в начале 2008 года.

Поскольку в процессе оцифровки потребовалось обеспечить предельно бережное обращение с документами, а также тесное взаимодействие сторон, то за это время группа корейских экспертов (включая технических экспертов) дважды посещала Францию, чтобы убедиться в качестве работ, выполняемых французскими специалистами.

Официальное представление оцифрованных копий корейских королевских документов состоялось 14 марта 2008 года в Париже. Для обеспечения публичного доступа к этим материалам, французские и корейские власти решили разместить оцифрованные копии в Интернете на сайте Агентства по культурному наследию и Национальной библиотеки Франции в конце апреля 2008 года.

Выполненный проект отражает прекрасные отношения и продолжающийся диалог между двумя странами. Вопрос о продолжении проекта оцифровки остальных томов корейских королевских манускриптов, хранимых в Национальной библиотеке, будет решен в ходе межправительственных консультаций.

Франция и Корея собираются и дальше в конструктивном духе решать вопросы, связанные с корейскими королевскими манускриптами.

Источник: France diplomatie
http://www.diplomatie.gouv.fr:80/fr/pays-zones-geo_833/coree-du-sud_570/evenements_14496/numerisation-archives-royales-coreennes-conservees-bibliotheque-nationale-france-31.03.08_61188.html