Показаны сообщения с ярлыком Норвегия. Показать все сообщения
Показаны сообщения с ярлыком Норвегия. Показать все сообщения

пятница, 12 июня 2026 г.

Норвегия: Опубликовано руководство по архивированию изначально-электронных архивных материалов коммерческих организаций

В марте 2026 года архив норвежской губернии (фюльке) Вестфолд в восточной Норвегии опубликовал любопытное руководство «Извлечение из частного сектора и обеспечение сохранности созданных в цифровом виде архивных материалов» (Uttrekk og bevaring av digitalt skapt arkivmateriale fra næringslivet – Veileder) объёмом 67 страниц, см. https://www.nasjonalarkivet.no/content/uploads/2026/03/Vestfoldarkivet_Veilederen.pdf 

Во вводной части руководства отмечается:

«Практически все создаваемые сегодня архивные материалы являются цифровыми. В течение последних 20-30 лет бумажные архивные документы постепенно вытеснялись. Если мы хотим сохранить для будущего архивные документы, созданные в норвежских компаниях за последние десятилетия, то учреждениям, занимающимся сохранением культурного наследия, необходимо работать с цифровыми материалами. Однако мы наблюдаем, что усилия по сбору цифровых архивных материалов предпринимаются слишком поздно.

В норвежских учреждениях по сохранению культурного наследия явно не хватает ИТ-специалистов, способных обеспечить сохранность цифровых архивных материалов. Цель настоящего руководства - познакомить традиционного «бумажного» архивиста и придать ему уверенность в своих действиях при решении задач инвентаризации, оценки состояния и приема на архивное хранение цифровых архивных материалов. 

Это руководство адресовано тем, кто ощущает нехватку таких знаний, и его цель - показать, что эту задачу можно решать проще, чем об этом думают, и что большинство специалистов уже достаточно компетентны, чтобы справиться с ней. Здесь важно подчеркнуть ценность простых решений, которые могут быть не идеальными, но дают достаточно хорошие результаты, следуя принципу «лучше что-то, чем ничего».

Мы постоянно слышим, что изначально-электронные архивные материалы создают совершенно новые проблемы и требуют совершенно иных знаний и решений, чем работа с бумажными архивами. Похоже, это многих отпугивает от участия в этой работе. Действительно, электронные архивные материалы требуют других решений, но они также имеют много общего с бумажными архивными документами. Архивные опыт и компетенции как минимум так же важны, как и обширные знания в области цифровых технологий. 

В то же время сегодня буквально каждый самостоятельно создаёт и управляет электронными архивными материалами на своем компьютере, на работе или в личной жизни. Многие компьютерные инструменты, которые мы все сегодня используем для создания и структурирования собственных данных, также могут быть использованы в работе по приему на хранение электронных архивов других людей. Архивист с глубокими знаниями в области информационных технологий, вероятно, справится с этой работой лучше, чем тот, кто не обладает такими специальными знаниями; однако сотрудников, имеющих такие специализированные знания, сравнительно немного. Если не увеличится число архивистов, работающих с электронными архивами, то в ближайшие десятилетия очень многое будет потеряно. Худшее, что может произойти, связано не с тем, что наши хранилища слишком плохи, - это риск того, что всё будет утрачено из-за того, что слишком мало специалистов считают себя способными выполнять такую работу.

Внедрение комплексных безошибочных решений может оказаться очень дорогостоящим делом. Внедрение таких решений часто требует значительных усилий от создавшей архив компании, - усилий, которые она зачастую не может себе позволить сделать приоритетными в рамках своей повседневной деятельности, когда основное внимание уделяется основным функциям деловой деятельности. Подобные решения также часто требуют больших затрат от учреждения, занимающегося сохранением архивных материалов. В таких случаях может возникнуть абсолютная необходимость поиска решений, обеспечивающих полезные результаты с минимальными затратами ресурсов всех участвующих сторон.

Самое важное в настоящий момент - привлечь больше специалистов к работе по инвентаризации и приёму на хранение электронных архивов. В случае передачи на архивное хранение очень сложных материалов может потребоваться больше экспертных знаний и компетенций. Это также может потребоваться в случае, когда данными необходимо будет управлять после их передачи. Момент возникновения такой потребности будет зависеть от обстоятельств. Ключевое значение имеет обеспечение защиты материалов сейчас, чтобы они не были утрачены. Опыт и компетенции в области информационных технологий в настоящее время являются дефицитным ресурсом, поэтому важно использовать знания и компетенциях, уже имеющиеся в учреждениях, занимающихся обеспечением сохранности материалов.

Данное руководство ориентировано на обеспечение сохранности частных архивов, и в особенности архивов норвежских предприятий (компаний и коммерческих организаций), - не потому, что эти архивы технически радикально отличаются от других, а потому, что рамки возможного в данной сфере, как правило, отличаются от тех, что существуют в государственном секторе, а также в частных организациях иных типов, и мы к этому ещё вернёмся. При этом большая часть этого руководства, естественно, также применима в отношении архивных материалов организаций и частных лиц.»

Содержание настоящего руководства следующее:

Предисловие
1. Назначение и целевая аудитория
2. Какие знания и компетенции необходимы?
3. Компании и коммерческие организации – рамочные условия для обеспечения долговременной сохранности
4. Как связаться и провести первую встречу
5. Цифровые системы, наличия которых в компании следует ожидать 
6. Инвентаризация и экспертиза ценности
7. Возможные методы извлечения материалов
8. Примеры из практики
8.1. Бухгалтерские системы
8.2. CRM-системы управления взаимоотношениями с клиентами (системы продаж и обслуживания клиентов)
8.3. Практический опыт компании Speira
8.4. Резюме
9. Составление сметы расходов и делового предложения
10. Договор передачи на хранение
11. Формирование архивного пакета
12. Процессы после передачи материалов на депозитарное хранение в учреждение-хранитель
Приложения
Приложение 1: Первое письмо коммерческой компании
Приложение 2: Предложение по проведению обследования, инвентаризации и экспертизы ценности
Приложение 3: Договор передачи на хранение
Приложение 4: Стандартный файловый формат для обмена данными бухгалтерского и налогового учёта SAF-T (Standard Audit File – Tax)

Источник: Сайт Национальных архивов Норвегии
https://www.nasjonalarkivet.no/content/uploads/2026/03/Vestfoldarkivet_Veilederen.pdf

четверг, 4 июня 2026 г.

«Такими они уродились»: Размышления на симпозиуме Национальной библиотеки Норвегии об изначально-электронных личных архивах (3)

(Окончание, предыдущую часть см. http://rusrim.blogspot.com/2026/06/2_0926872896.html )

Что в приоритете: идеальные сведения о происхождении или защита персональных данных? Этические дилеммы в электронных личных архивах

Оскар Рюдеберг (Oscar Rüdeberg) из Национальной библиотеки Швеции ( https://www.kb.se/ )  представил результаты работы по исследованию подходов к обеспечению сохранности данных на магнитных носителях.

Его концепция «внешнего мониторинга» (external monitoring – под которым понимается создание и сохранение полных образов носителей информации – Н.Х.) были особенно актуальна как в контексте тематики симпозиума, так и с точки зрения сопоставления с аналогичной работой, проводимой Библиотеками и архивами Кембриджского университета (University of Cambridge Libraries and Archives). Были описаны две стратегии, каждая из которых имеет свои сильные стороны и проблемные особенности.


Слайд с описанием двух подходов к «внешнему мониторингу»

Создание полных образов дисков (как это делается в цифровой криминалистике – Н.Х.) позволяет сохранить, наряду с целенаправленно созданными документами, также и удалённые файлы, системные файлы, следы действий пользователя и скрытые метаданные. Такие подходы могут обеспечить максимально полную информацию о происхождении и повысить ценность данных для будущих исследований, однако при этом возникают вопросы этики и неприкосновенности частной жизни (защиты персональных данных).

Я высоко оценила приведенный ниже слайд, на котором приведены размышления о прошлых процессах передачи на архивное хранение в сравнении с будущими, в которых подчеркивается необходимость пересмотра существующих методов по мере накопления информации и опыта.

Мой комментарий: Из слайда видно, что в настоящее время образы носителей информации создаются по умолчанию, но не предоставляются пользователям архивов в отсутствие явного согласия источника комплектования. В будущем предполагается перейти на более жёсткий (в плане защиты конфиденциальности) режим, когда такие образы будут создаваться и использоваться только с согласия источника комплектования.

Документирование приобретений в архивных учреждениях

Томас Хвид Кроманн (Thomas Hvid Kromann) из Королевской библиотеки Дании ( https://www.kb.dk/ ) предложил переходить от представления об архивных документах только как об источниках для исследований к рассмотрению самих этих архивных документов в качестве объектов исследования. Следствием такого подхода является необходимость осмысления исследователями архивных процессов в своей работе; а для архивных учреждений – необходимость обеспечения того, чтобы их действия были тщательно изучены, задокументированы, прозрачны и подотчётны.

В своем докладе он сфокусировал внимание на документировании архивной деятельности: на решениях по отбору материалов для приобретения, на решениях по упорядочению документов, на действиях по обеспечению долговременной сохранности, на ограничениях доступа; и на роли архивистов как со-создателей архива, в том числе создания документации или иных выходных результатов для цифрового контента в архиве.

Это стало важным напоминанием о том, что архивная практика формирует коллекции, - и будущим исследователям, возможно, потребуется понять, как именно это происходит.

 
Итоговый слайд, подчёркивающий важность документирования различных аспектов деятельности архивов

Исследование изначально-электронных архивов: Пробелы, пересечения и темы в двух норвежских коллекциях материалов из сети Usenet

Заключительный доклад Титы Энстад (Tita Enstad) и Йона Тённессена (Jon Tønnessen) из Национальной библиотеки Норвегии (NLN) был посвящен сети Usenet (см. https://ru.wikipedia.org/wiki/Usenet ) - ранней социальной онлайн-платформе и предшественнице многих более поздних онлайн-сообществ.

В докладе были рассмотрены проблемы, связанные с пробелами, пересечениями, некорректной каталогизацией, хранением на унаследованных CD-R носителях и с подготовкой исторических наборов данных для проведения анализа с использованием вычислительных методов. В данном случае материалы сети Usenet были депонированы в NLN на CD-R дисках и отражены в каталоге как журнал, что затрудняло их поиск.


Описание коллекции материалов из Usenet в фондах Национальной библиотеки Норвегии 

Контент Usenet также захватывался «Интернет-Архивом» (Internet Archive), поэтому значительная часть работы заключалась в определении с использованием вычислительных методов того, какой контент присутствовал в обеих или только в одной из этих коллекций.

Особенно интересным извлечённым уроком оказалась потребность в моделях на языках, отличных от английского, для проведения вычислительного анализа контента на том языке, на котором он был создан.


Слайд с итогами исследования

Мы также узнали, что Национальная библиотека Норвегии создала ИИ-лабораторию для изучения использования искусственного интеллекта в контексте библиотек, архивов и музеев, а также для проведения исследований и разработок с целью создания ресурсов для более широкого сообщества.

Заключительные мысли

Больше всего на симпозиуме меня порадовала его прозрачность. Ни один из выступавших, будь то представители национальных библиотек, университетов или региональных архивов, не претендовал на то, что нашёл окончательное решение проблемы изначально-электронных личных архивов. Вместо этого коллеги делились информацией об экспериментах, ограничениях, компромиссах и извлеченных уроках.

Изначально-электронные архивные документы и архивы поступают в наши учреждения [архивы, библиотеки и музеи – Н.Х.], и это происходит уже в течение некоторого времени. Эти материалы имеют исключительную научно-исследовательскую ценность, но они также могут создавать риски, неопределенности и сложности. Перед нашей профессией стоит сейчас вызов, заключающийся не в том, стоит ли иметь с ними дело, а в том, как делать это ответственно, жизнеспособным образом и на основе сотрудничества.

Я благодарна Бенте (Bente), Эллен (Ellen), Метте (Mette) и Ребекке (Rebecca) из NLN за приглашение на симпозиум и за щедрое гостеприимство. Для меня было честью внести свой вклад и самой поучиться у таких вдумчивых коллег из нашей отрасли.

Примечание: Все изображения в этом посте были сделаны или созданы автором. Интеллектуальный контент, представленный на этих изображениях, принадлежит соответствующим авторам.

Кейлин Смит (Caylin Smith) 

Источник: блог «Обеспечение электронной сохранности в библиотеках и архивах Кембриджского университета»
https://digitalpreservation-blog.lib.cam.ac.uk/born-this-way-reflections-from-the-national-library-of-norway-symposium-on-born-digital-personal-912ce2c6de3a 

среда, 3 июня 2026 г.

«Такими они уродились»: Размышления на симпозиуме Национальной библиотеки Норвегии об изначально-электронных личных архивах (2)

(Продолжение, начало см. http://rusrim.blogspot.com/2026/06/1_0344722029.html )

«Такими они уродились»: Управление изначально-электронными архивами от их приобретения до предоставления к ним доступа

Это был мой доклад, который, вместо описания примера работы с личным архивом, был посвящён тому, как специалисты в области электронной сохранности (т.е. по обеспечению долговременной сохранности электронных материалов - digital preservation) могут поддерживать усилия архивистов, работающих с изначально-электронными материалами, посредством разработки для них соответствующих сервисов.

Группа библиотек Кембриджского университета по обеспечения электронной сохранности работает над созданием взаимосвязанных сервисов, охватывающих весь жизненный цикл цифровых коллекций. Сюда входят сервисы депонирования, передачи цифровых файлов и метаданных, и обеспечения безопасного доступа к изначально-электронным специальным коллекциям, а также рабочие процессы хранилища, инструментарий для проведения экспертизы ценности файлов и других вспомогательных меры и средства управления.


Слайд об инструментах и сервисах, поддерживающих работу с изначально-электронными материалами перед их приёмом на постоянное хранение

Один из ключевых уроков, которыми я хотела поделиться, заключается в том, что проблемы изначально-электронных архивов редко могут быть решены с помощью какого-то одного инструмента. Для работы с ними необходимы скоординированные системы, политики и сотрудничество представителей различных профессий. В нашем случае мы воспользовались опытом коллег из наших групп консервации и цифровым услуг; инструментом сканирования и архивирования веб-контента Browsertrix ( https://webrecorder.net/browsertrix/ ) и помощью сотрудников и волонтеров Центра компьютерной истории в Кембридже (Centre for Computing History, https://www.computinghistory.org.uk/ ).

Электронное архивирование в Швейцарском литературном архиве: Текущее состояние и процедуры

Кристель Родер (Kristel Roder) из Швейцарской национальной библиотеки ( https://www.nb.admin.ch/en ) рассказала об электронном архивировании в контексте швейцарских литературных архивов.

В своем докладе она проиллюстрировала, как личные архивы часто поступают в руки архивистов, имея весьма специфические технические зависимости. Одна коллекция библиотеки включала более ста дискет, а другая - жёсткий диск, извлечённый из компьютера Atari, для изучения которого требовались специальные знания и оборудование.

Кристель также привела пример специализированной «криминалистической» рабочей станции, собранной на основе игрового компьютера (см. рис. ниже).
 

В докладе было показано, что технические проблемы могут варьироваться от простых задач по созданию цифровых образов носителей информации до восстановления файлов, зависящих от устаревшего программного обеспечения и оборудования, а также от наличия специальных знаний.

Использование возможностей муниципальной цифровой инфраструктуры: Дорога от государственных документов к личным архивам

Rolf Holte (Рольф Хольте) из архива норвежской губернии (фюльке) Вестфолд (в восточной Норвегии – Н.Х.) задался вопросом о том, чего можно добиться, если повторно использовать для личных архивов инфраструктуру, разработанную для государственных документов.

Опираясь на ресурсы норвежского «Цифрового ресурсного центра муниципальных архивных учреждений» (Kommunearkivinstitusjonenes Digitale Ressurssenter, KDRS, https://www.kdrs.no/ ) и на отлаженные рабочие процессы для муниципальных электронных документов, он исследовал, каким образом конвейеры обработки, используемые для структурированных архивных документов государственного сектора, могут быть адаптированы для работы с частными и коммерческими архивными документами.

В его докладе также было привлечено внимание к недавно опубликованному руководству по частным электронным архивам, которое адресовано архивистам частного сектора и рассказывает о том, как можно «продавать» руководству своих организаций идею передачи документов на депозитарное хранение в государственные архивы.


Слайд о норвежском руководстве для частных электронных архивов

Мой комментарий: Речь идёт об опубликованном в марте 2026 года руководстве «Извлечение из частного сектора и обеспечение сохранности созданных в цифровом виде архивных материалов» (Uttrekk og bevaring av digitalt skapt arkivmateriale fra næringslivet – Veileder) объёмом 67 страниц, см. https://www.nasjonalarkivet.no/content/uploads/2026/03/Vestfoldarkivet_Veilederen.pdf 

(Окончание следует, см. http://rusrim.blogspot.com/2026/06/3_01351863457.html )

Кейлин Смит (Caylin Smith) 

Источник: блог «Обеспечение электронной сохранности в библиотеках и архивах Кембриджского университета»
https://digitalpreservation-blog.lib.cam.ac.uk/born-this-way-reflections-from-the-national-library-of-norway-symposium-on-born-digital-personal-912ce2c6de3a 

вторник, 2 июня 2026 г.

«Такими они уродились»: Размышления на симпозиуме Национальной библиотеки Норвегии об изначально-электронных личных архивах (1)

Данный пост руководителя группы электронной сохранности библиотек Кембриджского университета Кейлин Смит (Caylin Smith – на фото) был опубликован 16 апреля 2026 года на блоге «Обеспечение электронной сохранности в библиотеках и архивах Кембриджского университета» (Digital Preservation at the University of Cambridge Libraries and Archives).

Мой комментарий: На всякий случай напомню, что термины «электронный» и «цифровой» являются в настоящее время синонимами. Оба означают «электронно-цифровой», где первое слово указывает на использование электронных, магнитных, оптических и т.п. технологий при обработке (или, иногда, только при хранении) информации, а второе – на использование дискретного кодирования информации. В мировой литературе выбор предпочтительного термина существенно зависит от региона и/или отрасли и может со временем изменяться. 

В этом смысле что перфокарта прошлого века; что современный двумерный штрих-код, высеченный в камне; что качественно отпечатанная бумажная книга, текст которой системы распознавания воспринимают практически безошибочно – все они являются примерами цифровой записи информации, и могут рассматриваться как электронные документы, поскольку могут уверенно обрабатываться с использованием «электронных» технологий и устройств. По мере развития технологий грань между цифровым и аналоговыми мирами порой стирается…


14 апреля 2026 года мне посчастливилось присутствовать и выступить на прошедшем в Осло симпозиуме «Изначально-электронные личные архивы: Статус, проекты и этические вопросы» (Born-Digital Personal Archives: Status, Projects and Ethical Questions, см. https://www.nb.no/hva-skjer/born-digital-personal-archives-status-projects-and-ethical-questions/ ), который был организован Национальной библиотекой Норвегии (NLN, https://www.nb.no/en/ ).

В симпозиуме приняли участие архивисты, библиотекари, исследователи, специалисты по обеспечению электронной сохранности и другие эксперты со всей Европы (и, вероятно, из других стран), для обсуждения - как лично, так и в онлайн-формате - одной из важнейших и быстро эволюционирующих областей современной архивной работы: а именно, того, как мы собираем, сохраняем, интерпретируем и предоставляем доступ к архивным материалам, изначально созданным в электронно-цифровом виде.

Выступавшие описали технические рабочие процессы, поделились теоретическими соображениями, рассказали об этических дилеммах, институциональных экспериментах и нерешенных вопросах. Результатом стала не какая-то единая модель, обеспечивающая успех, - а коллективное признание того, что изначально-электронные личные архивы и архивные документы коренным образом трансформируют практику архивной работы.

Личные архивы долгое время играли центральную роль в исследованиях. Они раскрывают творческие процессы, взаимоотношения, сети общения, версии, повседневные условия жизни людей, а также неопубликованные работы и переписку. Традиционно такого рода материалы поступали в архивы в виде бумажных писем, блокнотов, дневников, рукописей, фотографий и аннотированных черновиков.

Сегодня большая часть таких материалов существует в электронной форме.

Вместо писем мы получаем в наследство сообщения электронной почты. Вместо машинописного текста с собственноручными правками мы получаем папки с Word-файлами, имеющими множество версий. Вместо фотоальбома мы можем получить изображения, которые сами существуют во множестве копий и отредактированных версий. Вместо шкафа с документами нам могут передать ноутбуки, USB-накопители, сделать выгрузку материалов в облако или же отдать съемные носители, которым уже несколько десятилетий.

На протяжении всего дня симпозиума неоднократно повторялись темы трансформации и адаптации. С изначально-электронными архивами, как и с коллекциями других типов, связана не только проблема меняющихся форматов. Такие архивы меняют саму архивную практику.

Резко растут масштабы. Первоначальный порядок становится сложнее интерпретировать. Скрытые метаданные могут иметь столь же важное значение, как и видимый контент. Высококонфиденциальная информация часто бывает рассеяна по коллекциям. Доступность зависит от программного и аппаратного обеспечения, от полученных от источника комплектования разрешений и от технических посредников.

В ходе своей презентации я высказала аргументы о том, что изначально-электронные личные архивы не следует рассматривать как какую-то нишевую или исключительную категорию. Их лучше рассматривать как стресс-тест для более широкой категории изначально-электронных архивов, позволяющий выявить проблемы, связанные с масштабом, контекстом, этикой и инфраструктурой, которые все чаще затрагивают все виды электронных архивов.

«Неоднозначный, промежуточный»: Признание гибридности архива Чарльза Дженкса

Симпозиум открыл увлекательный доклад Анны МакНэлли (Anna McNally) из «Космического дома» (The Cosmic House, https://www.thecosmichouse.org/ - благотворительно-образовательная организация, пропагандирующая наследие Чарльза Дженкса (Charles Jencks) - американского архитектора (1939-2019), стоявшего у истоков и разрабатывавшего теорию постмодернизма в современной архитектуре, см. также Википедию:  https://ru.wikipedia.org/wiki/Дженкс,_Чарльз  - Н.Х.) об архиве ландшафтного дизайнера и архитектора Чарльза Дженкса.

В своём докладе она поставила под сомнение возможность упрощенного разделения подобных архивов на аналоговые и цифровые. Материалы Дженкса включают многочисленные версии текстов с переработанными обложками, при этом каждая новая версия вносила изменения в соответствующий документ. Этот архив также включает аннотированные копии, распечатки цифровых файлов, физические слайды для лекций и, в более поздний период, PowerPoint-презентации; а также материалы на съёмных носителях информации, главным образом на оптических CD-R дисках.

Анна рассказала об их работе с CD-R дисками, подчеркнув проблемы, связанные как с физическим носителем и его химическим составом, так и с пониманием и наведением порядка в цифровом пространстве.


Слайд из презентации: сопоставление заводских CD-дисков и CD-R дисков однократной записи

Особенно интересным мне показался тезис о двойном значении этих дисков. Они служат для хранения контента и для обозначения момента принятия решения, когда файлы были записаны на диск, - но также являются способом обмена контентом с коллегами и другими участниками проекта, что тоже является ценной информацией для данного архива.

Опыт работы с изначально-электронными личными архивами

Метте Виттинг (Mette Witting) из Национальной библиотеки Норвегии (NLN) рассказала об опыте работы с изначально-электронными личными архивами, на примере сообщений электронной почты, имеющихся в составе одной из коллекций библиотеки.

Виттинг занималась описанием гибридного архива театрального режиссера Кая Йонсена (Kai Johnsen), включающего наряду с бумажными документами два компьютера Apple, содержащие данные электронной почты.

Она воспользовалась этой возможностью для выполнения пилотного проекта, посвященного архивированию электронной почты и используемым для этой цели инструментам, сосредоточив внимание на том, как ответственным образом получать, сохранять и обрабатывать подобные цифровые архивы с помощью решения ePADD (от «Email: Process Appraise Discover Deliver» - «Электронная почта: Обработка, экспертиза ценности, поиск, предоставление доступа» - Н.Х.) и защищённых рабочих процессов обработки данных.


Слайд «Оценка результатов пилотного проекта обработки электронной почты»

Ещё один представитель NLN Пьер Богитт (Pierre Beauguitte) рассказал о создании архивного информационного пакета (Archival Information Package, AIP) для долговременного сохранения данных электронной почты.

В этом докладе также было отмечено, что цифровые носители порой можно обнаружить среди бумажных документов в архивных коллекциях, - об этом полезно помнить при проведении аудита на предмет определения того, входят ли цифровые материалы в состав конкретного фонда или архива в целом.

(Продолжение следует, см. http://rusrim.blogspot.com/2026/06/2_0926872896.html )

Кейлин Смит (Caylin Smith) 

Источник: блог «Обеспечение электронной сохранности в библиотеках и архивах Кембриджского университета»
https://digitalpreservation-blog.lib.cam.ac.uk/born-this-way-reflections-from-the-national-library-of-norway-symposium-on-born-digital-personal-912ce2c6de3a 

понедельник, 2 декабря 2024 г.

Лучше поздно, чем никогда: Создание хешей для 16 миллионов унаследованных файлов

Данный пост старшего аналитика по вопросам политик управления электронными документами Национальных Архивов США и эксперта ИСО Энди Поттера (Andy Potter - на фото) был опубликован в социальной сети LinkedIn 6 ноября 2024 года в учётной записи технического подкомитета ИСО TC46/SC11 «Управление документами».

Мой комментарий: В своём посте Энди Поттер кратко изложил содержание заметки, опубликованной 6 ноября 2024 года на англоязычном сайте «Обеспечение электронной сохранности в Национальной библиотеке Норвегии» (Digital preservation at the National Library of Norway), который ведёт отдел обеспечение долговременной сохранности электронных материалов Национальной библиотеки, см. https://digitalpreservation-blog.nb.no/blog/2024-11-04-checksums/

«Начиная с 2007 года Национальная библиотека Норвегии использует SAM-FS (которая также известна как иерархическая система хранения Oracle HSM) в качестве системы для долгосрочного хранения и архивирования больших объемов данных. Сейчас в этой системе хранится 14 петабайт данных (1 петабайт = 1000 терабайт), и вскоре система достигнет конца своего жизненного цикла.

В 2022 году Национальная библиотека приняла решила заменить SAM-FS более современным решением для обеспечения долговременной сохранности электронных материалов. Это новое решение основано на разработанном своими силами программном обеспечении под названием DPS (Digital Preservation Services – «сервисы для обеспечения долговременной сохранности») и использует IBM-HPSS в качестве базовой системы для хранения данных.

В течение последних 10 лет Национальная библиотека использовала контрольные суммы в качестве метода проверки целостности сохранённых данных. В данном контексте контрольная сумма - это вычисляемое хеш-значение, которое используется для верификации того, что файл данных не подвергался каким-либо изменениям. В число распространённых алгоритмов расчёта контрольных сумм (хешей) входят алгоритмы MD5, SHA-1, SHA-256 и SHA-512. Национальная библиотека использует алгоритм MD5.

Многие из наиболее старых файлов, хранимых в SAM-FS, были сохранены без контрольных сумм. Поскольку все файлы в SAM-FS хранятся в трёх экземплярах, то можно сказать, что в отсутствие сопровождающей контрольной суммы эти три экземпляра существуют независимо друг от друга. Если бы между экземплярами возникло расхождение, то у нас не было бы исходной контрольной суммы для проведения верификации.

Мой комментарий: В отсутствие контрольной суммы (хеша), в случае расхождения, скорее всего, применяется метод кворумирования – если один экземпляр отличается от двух других, то верными признаются два одинаковых экземпляра. В качестве альтернативы, если успешно открывается программой просмотра только какой-либо конкретный экземпляр, то именно его могут признать верным.

Было решено, что в рамках процесса миграции данных из SAM-FS в новую систему DPS следует вычислить и сохранить контрольные суммы для всех файлов, у которых их ещё не было.»

Мой комментарий: Говоря о проблемах, норвежские специалисты отметили:

«Каким образом, в отсутствие возможности проверки на основе контрольных сумм, мы могли обеспечить, что файлы, передаваемые из SAM-FS в DPS, были точно такими же, какими они были изначально заархивированы? Самым старым файлам было более 20 лет, и с течением времени они до пяти раз проходили миграцию на новое оборудование / платформы.

Какой из трех экземпляров файла, хранящихся в SAM-FS, следовало выбрать в качестве отправной точки для миграции? Как мы могли установить, что это был «правильный файл», не читая и не сравнивая все три экземпляра? Чтение и сравнение всех трёх экземпляров было сочтено сложным подходом, поскольку это включало чтение и обработку многих петабайт данных в той же инфраструктуре, которая также использовалась для повседневных операций.»

Результаты и уроки миграции описаны следующим образом:

«Ни у одного из 16 миллионов файлов в наборе данных объемом 2,5 петабайта не было выявлено расхождений в контрольных суммах. Данный метод обеспечения аутентичности файлов в системе DPS после миграции был затратным по времени и ресурсоёмким, но для нас он оказался эффективным.

Ещё один опыт, который мы получили, заключался в том, что техническим системам хранения можно доверять, когда речь идёт предотвращении изменений в потоке составляющих файлы битов с течением времени. Мы проверили контрольную сумму 16 миллионов файлов, которые прошли до пяти миграций в течение за 20 лет, не обнаружив никаких следов изменений в потоке битов ни одного из файлов.»

Источник: сайт LinkedIn / сайт «Обеспечение электронной сохранности в Национальной библиотеке Норвегии»
https://www.linkedin.com/feed/update/urn:li:activity:7259944282210332672
https://digitalpreservation-blog.nb.no/blog/2024-11-04-checksums/

четверг, 6 июня 2024 г.

Национальная библиотека Норвегии опубликовала свой перечень предпочтительных файловых форматов

Данная заметка была опубликована 7 мая 2024 года на сайте Национальной библиотеки Норвегии на норвежском (см. https://digitalpreservation-blog.nb.no/docs/formats/preferred-formats-no/ ) и английском языках.

Приведенный ниже список представляет собой перечень предпочтительных файловых форматов для хранения электронных материалов в Национальной библиотеке Норвегии (Nasjonalbiblioteket).


Отделение Национальной библиотеки Норвегии в местечке Мо-и-Рана (Mo i Rana)

Список применим как в отношении файлов, созданных самой Национальной библиотекой, так и в отношении файлов, полученных Национальной библиотекой от внешних субъектов. Предпочтительными форматами являются те, которые предпочли бы иметь в своём распоряжении структурные подразделения Библиотеки, а приемлемыми являются форматы, которые также будут приниматься без проведения конверсии/нормализации. Любые другие форматы следует обсудить с соответствующими структурными подразделениями библиотеки до принятия файлов на хранение.

Список основан на ресурсе «Международное сравнение рекомендуемых форматов файлов» (International Comparison of Recommended File Formats, https://docs.google.com/spreadsheets/d/1XjEjFBCGF3N1spNZc1y0DG8_Uyw18uG2j8V2bsQdYjk/edit#gid=1719869262 – о нём см. мой пост http://rusrim.blogspot.com/2022/05/opf.html - Н.Х.) Фонда «Открытая сохранность» (Open Preservation Foundation, OPF, https://openpreservation.org/ ), а также на обзорах Библиотеки Конгресса США «Жизнестойкость цифровых форматов - Планирование для коллекций Библиотеки Конгресса» (Sustainability of Digital Formats: Planning for Library of Congress Collections, https://www.loc.gov/preservation/digital/formats/index.html?loclr=blogsig – см. также мой пост http://rusrim.blogspot.com/2022/07/1.html - Н.Х.) и на «Заявлении о рекомендуемых форматах» (Recommended Formats Statement, https://www.loc.gov/preservation/resources/rfs/index.html - см. также мой пост http://rusrim.blogspot.com/2023/08/2023-2024.html - Н.Х.).

Мой комментарий: Собственно список форматов включает:

  • 4 формата (3 предпочтительных + 1 допустимый) для изображений,

  • 23 формата (19 + 4) для видеоматериалов,

  • 4 формата (3 + 1) для аудиоматериалов,

  • 2 формата для веб-архивов,

  • 8 форматов (7 +1) для текстовых файлов.

Источник: сайт Национальной библиотеки Норвегии
https://digitalpreservation-blog.nb.no/docs/formats/preferred-formats-en/

понедельник, 13 декабря 2021 г.

Норвегия: Коварная проблема управления документами

Данная заметка директора Национальных Архивов Норвегии Эспена Шёволла (Espen Sjøvoll – на фото) была опубликована 21 октября 2021 года в социальной сети LinkedIn.

В 2019 году Национальные Архивы представили амбициозное видение: «К 2025 году ни один государственный служащий не должен управлять документами вручную». Вы вполне справедливо можете посчитать такие намерения весьма амбициозными – так что же нужно для достижения этой цели?

До 2025 года осталось ещё несколько лет. В рамках усилий по реализации этого видения, Национальные Архивы Норвегии провели в 2020 году проект Arkivfloken – или, в переводе, «Коварная проблема управления документами» (по-норвежски это звучит даже сильнее – «проклятье документов» - Н.Х.). В проекте использовался сервисно-ориентированный подход, разработанный для решения сложных проблем в государственном секторе. В отчёте о проекте описан весь его процесс и извлечённые по его ходу уроки.

В первые десятилетия цифровой трансформации ведение документации стало «функцией самообслуживания сотрудников». Следствием этого является то, что каждый регистрирует свои собственные документы, что рассматривается как серьезная потеря рабочего времени и как проблема. Во всех административных структурах управление документами воспринимается как задача, которую нужно выполнять в дополнение к своей основной работе. Сотрудники воспринимают соответствующие системы как сложные для использования. Кроме того, служащие государственного сектора должны на свой страх и риск принимать множество решений о том, что следует сохранить. Результатом этого стали серьёзные пробелы в документировании и в документах государственного сектора.

В отчете «Коварная проблема управления документами» исследуется вопрос, который является фундаментальной проблемой для демократического общества: в государственном секторе Норвегии отсутствует достаточная документация по решениям и деятельности, поскольку эта информация не регистрируется в соответствующих системах. Масштабы проблемы увеличились с ростом объёма и разнообразия информации ввиду появления большего количества цифровых каналов, посредством которых граждане и сотрудники государственных служб вступают в многоканальный – от Facebook до электронной почты и личных встреч - диалог.

Выросшие объём и разнообразия информации приводят к производству буквально гор документов, о сохранении которых следует задуматься.

Наше общество сталкивается с рядом сложных взаимосвязанных проблем, которые отдельные действующие лица не в состоянии решить в одиночку. Эти проблемы как раз можно назвать большими коварными социальными проблемами, решение которых требует нововведений, сотрудничества, инноваций и внедрения методов работы, отходящих от традиционной проектной методологии и знакомых структур административного управления. В данном отчёте выделены несколько проблем и предложена методологическая концепция того, как Национальные Архивы Норвегии могли бы решить коварные проблемы управления документами в сотрудничестве с другими государственными органами и учреждениями, а также с действующими на рынке поставщиками.

Мы считаем, что многие из извлеченных в ходе выполнения проекта уроков будут актуальны для архивных служб и ответственных за цифровую трансформацию государственных органов в правительствах по всему миру. Хотя некоторые вопросы актуальны только для Норвегии, мы полагаем, что данный отчёт может быть интересен тем сотрудникам государственных органов и учреждений, которые стремятся найти новые подходы к решению межотраслевых вопросов. Цель публикации «Коварной проблемы управления документами» заключается в том, чтобы поделиться нашим опытом поддерживаемых проектированием инноваций (design-driven innovation) в государственном секторе, и изучить, каким образом идеи могут способствовать новым способам мышления и более ориентированным на пользователя государственным услугам. Мы надеемся, что отчёт окажется и полезным, и вдохновляющим.

Если Вы хотите узнать больше, то полный текст 35-отчета на английском языке доступен на сайте Национальных Архивов Норвегии по адресу: https://www.arkivverket.no/...

Эспен Шёволл (Espen Sjøvoll)

Мой комментарий: Точное название отчёта – «Какие уроки мы можем извлечь из коварной проблемы управления документами?» (What lessons can we learn from the wicked problem of records management?). Содержание этого документа следующее:

1. Введение и цель

2. История проекта Arkivfloken

3. Каким образом государственный орган может проявлять предприимчивость и решать проблему, у которой нет единого ответственного «владельца»?

4. Экосистема мер по решению основных проблем.

5. Как вызвать движение на вошедшем в ступор рынке?

6. Пища для размышлений: Проект Arkivfloken как миссия

Источник: сайт LinkedIn
https://www.linkedin.com/pulse/wicked-problem-records-management-espen-sj%C3%B8voll/

вторник, 30 марта 2021 г.

Внутри арктического хранилища, защищающего человеческую культуру от апокалипсиса

Данная заметка Дуга Дайса (Doug Dais) была опубликована 27 февраля 2001 года на сайте Freethink ( https://www.freethink.com/ ).

Катастрофоустойчивый Арктический всемирный архив (Arctic World Archive) был создан для защиты человеческой культуры, и теперь его фонды включают 21 терабайт наших самых важных исходных кодов.

Мой комментарий: 5-минутный видеоролик об Арктическом всемирном архиве доступен по адресу https://www.youtube.com/watch?v=WD8pRlEvCsM . См. также ещё один пост об этом хранилище на моём блоге здесь: https://rusrim.blogspot.com/2017/04/blog-post_35.html

В глубинах выведенной из эксплуатации угольной шахты, в самом северном поселении мира (скажем так, в одном из самых северных поседений – Н.Х.) располагается Арктический всемирный архив (Arctic World Archive). Этот бункер, построенный на случай апокалипсиса, предназначен для обеспечения сохранности для будущих поколений в случае глобальной катастрофы как физических, так и цифровых артефактов.

Он выполняет функции хранилища данных, защищая важные элементы человеческой культуры - реликвии искусства, литературы и религии - от неизвестного будущего. Отражая нынешний оцифрованный мир, хранилище теперь также содержит 21 терабайт открытого исходного кода.

Для реализации этого проекта Арктический всемирный архив объединился с платформой GitHub, служащей для размещения программного кода и являющейся крупнейшим в мире хранилищем программного обеспечения. GitHub работает с операционными системами смартфонов, с платформами цифровых платежей, с агентствами по разработке программного обеспечения с открытым исходным кодом и со многими другими заинтересованными сторонами, помогая им управлять своими продуктами и обеспечивать их безопасность.

Многие из этих продуктов мы используем и взаимодействуем с ними каждый день. Код, на котором они основаны, - это невидимый компонент современной культуры, который стал неотъемлемой частью нашего образа жизни. GitHub выполняет резервное копирование всего этого кода в центрах обработки данных по всему миру, но и жёсткие диски не являются неуязвимыми в случае глобальных катастроф. По этой причине GitHub и Арктический всемирный архив взаимно стремились найти более долгосрочное решение задачи обеспечения сохранности данных – и выбрали в качестве такого решения фотоплёнку.

Защищая самые ценные активы человечества

Арктический всемирный архив (о нём см. https://arcticworldarchive.org/about/ ) был открыт в марте 2017 года, с целью обеспечивать долговременную сохранность наиболее ценимых мировых активов. Хранилище, построенное норвежской компанией по хранению данных Piql, располагается на острове Шпицберген.

Арктический всемирный архив - не первый проект такого рода. На самом деле он находится недалеко от «Глобальное хранилище семян на острове Свальбард» (Svalbard Global Seed Vault, https://www.freethink.com/articles/seed-vault ), которое открылось в 2008 году в результате международного соглашения, направленного на сохранение генетического материала растений. Удаленное расположение хранилища семян оказалось идеальным местом и для начала деятельности Арктического всемирного архива.

Сейчас архив находится на глубине 300 метров внутри недействующей угольной шахты в арктических горах. Здесь хранятся рукописи из библиотеки Ватикана, артефакты истории бразильского футбола, шедевры Рембрандта и Мунка и другие культурные ценности, такие, как популярная музыка, научные открытия и политическая история.

В хранилище находятся переданные на депозитарное хранение материалы, поступившие от организаций из 17 разных стран, причём первые депозиты были сделаны национальными архивами Мексики и Бразилии. В 2019 году GitHub в качестве первого этапа работ добавил в хранилище материалы тысяч проектов, включая исходный код операционной системы Android и криптовалюты Биткойн.

 
Образец записи на плёнке Piql

В этом году GitHub разместил в архиве 21 терабайт открытого исходного кода, уместив всё это на 186 рулонах плёнки Piql - «светочувствительной пленки высокого разрешения, специально разработанной для обеспечения долговечности и высокой плотности записи цифровых материалов».

21 терабайт открытого исходного кода записан на плёнке

Чтобы обеспечить безопасность исходного кода, необходимо было найти автономный носитель, способный противостоять всем мыслимым угрозам. Как оказалось, химически устойчивая, не позволяющая вносить изменения плёнка является лучшим инструментом для этой цели.

Процесс сохранения данных на плёнке был разработан компанией Piql. Он заключается в преобразовании файлов в QR-коды и последующей записи QR-кодов на отдельные кадры катушечной плёнки. Затем катушка плёнки обрабатывается проявителем, после чего проходит тщательную проверку качества.

«Мы превратили плёнку в современный цифровой носитель информации», - объясняет основатель компании Piql Руне Бьеркестранд (Rune Bjerkestrand). «Вы не можете увидеть это невооруженным глазом, но если Вы поместите плёнку под микроскоп, то увидите отдельные пиксели, заполняющие QR-код сверхвысокого разрешения».

Первые несколько кадров каждой из катушек плёнки содержат инструкции на пяти различных языках о том, как преобразовать QR-коды в пригодные для использования файлы. Все, что понадобится человеку будущего для восстановления данных, - это компьютер, фотокамера и источник света. Катушки с плёнкой хранятся глубоко под землей в контейнерах со стальными стенками.

Передача платформой GitHub своих материалов на депозитарное хранение в Арктический всемирный архив гарантирует, что в случае глобальной катастрофы людям не придётся начинать всё с самого начала, и они смогут воспользоваться сведениями, извлечёнными из этого огромного хранилища материалов внутренней деятельности современного общества.

Считается, что в высокозащищённом хранилище, способном противостоять всему, с чем человечество может столкнуться в ближайшие годы, включая последствия изменения климата - плёнка может сохраняться в течение срока до 500 лет. При этом хранилище также находится в одном из самых геополитически стабильных районов планеты.

Материалы, хранимые арктическим архивом, являются отражением нашего общества – ошибок и подвигов, которые мы совершили. Это символ прогресса и возможностей человечества. И недавнее добавление в архив 21 терабайта кода столь же важно для представления человеческой культуры, как и физические артефакты, которые её сопровождают.

Дуг Дайс (Doug Dais)

Мой комментарий: Подобные хранилища крайне важны для человечества в целом. Не нужно, однако, слепо верить оптимистичным обещаниям и делать ставку только на них – так, арктические хранилища уже сообщали о серьёзных неприятностях, связанных с «неожиданным» потеплением климата в районе их расположения (а надеяться, что таких явлений не будет на интервалах времени в многие сотни лет, по меньшей мере, наивно – и, скажем, шведские коллеги, занимающиеся захоронением радиоактивных отходов в том же регионе, учитывают в своих планах возможность новых ледниковых периодов, землетрясений и т.п. катастроф).

Фотоплёнка в идеальных условиях действительно потенциально может благополучно пережить сотни лет, но практический опыт ограничен пока что всего одним столетием (и то с не самыми лучшими результатами); и уже были случаи, когда в очень хорошо оборудованных хранилищах по каким-то причинам хранимая в стальных контейнерах плёнка начала разрушаться, что выяснилось лишь тогда, когда после сильных наводнений в Германии потребовались резервные копии документов и контейнеры были вскрыты.

В этом смысле мне ближе идеология ряда британских цифровых архивистов: наша первостепенная задача - сохранить цифровые материалы в течение 30-40 лет и передать их в приличном, пригодном для использования состоянии следующему поколению, которое примет у нас эстафету.

Источник: сайт Freethink
https://www.freethink.com/videos/arctic-world-archive

вторник, 5 ноября 2019 г.

Ежегодная конференция Международного совета архивов в Аделаиде, Австралия: Опыт и идеи Норвегии


Очередная ежегодная конференция Международного совета архивов (МСА) открылась в Аделаиде, Австралия, 21 октября 2019 года. Наблюдая 22 октября за потоком сообщений в Твиттере, я бы выделила сессию 1.2 «Ориентированная на пользователя идеология проектирования как движущая сила инноваций» (User-centred design thinking as a driver for innovation), и в первую очередь на доклад представителя Национальных Архивов Норвегии Эспена Шёволла (Espen Sjøvoll), который ничего изобретать не стал и назвал свой доклад «Ориентированная на пользователя идеология проектирования как движущая сила инноваций в Национальных Архивах Норвегии».

На сайте конференции краткое резюме его доклада сформулировано следующим образом:
«Переход на электронные технологии очень сильно влияет на государственный сектор в плане того, как документы создаются и обрабатываются. В ногу с прогрессом идти не просто, а возникающие проблемы сложны и тесно взаимосвязаны друг с другом. Для того, чтобы решить текущие проблемы и разработать решения на будущее, Национальные Архивы Норвегии работает с инновациями, опираясь на идеологию проектирования и междисциплинарный подход, предусматривающие вовлечение широкого круга заинтересованных сторон с тем, чтобы выяснить потребности пользователей, решить проблемы и разработать новые решения.»
Норвежский коллега рассказал, что его страна имеет высокоразвитую цифровую экономику, однако архивы находятся на переходной стадии и используют в своей работе итеративный подход.


Управлять документами приходится в условиях сложной среды – здесь и правовые вопросы, в том числе законодательство о защите персональных данных, о госзакупках и доступе к государственной информации; и рынок ИКТ-решений, и вопросы финансирования, и идеология проектирования.


Он отметил, что у государственных ведомств имеются существенные пробелы в управлении документами. В частности, при аудите выяснилось, что сохранилось очень мало документов, отражающих принятие решений по наиболее чувствительным вопросам последних лет (закрытие дорогостоящего проекта в норвежской полиции, взаимоотношения с Китаем после провокационного решения присудить Нобелевскую премию китайскому оппозиционеру, отказ от встречи с далай-ламой в 2014 году, правовые основы участия Норвегии в антитеррористической операции в Сирии).


Получается так, что в архивных фондах самая интересная информация отсутствует; а вот скучные материалы все на месте (комментарий в Твиттере по этому поводу: «Нам нужно создать Международный архив интересных материалов!»).

В Норвегии планируют оцифровать 90% архивных документов, и впоследствии уничтожить бумажные оригиналы (видимо, финские идеи оказались заразительными :) – Н.Х.)

На коллег также произвела впечатления идея норвежцев, в рамках их видения на 2030 год, сделать так, чтобы информационные системы автоматически создавали архивные документы.

Дополнительная информация: Презентация к другому докладу Эспена Шёволла, с которым он выступал в апреле 2019 года, содержащая часть тех же слайдов, доступна по адресу https://arkivmote.files.wordpress.com/2019/04/espen-sjc3b8voll.pdf

Источник: Твиттер (пользователи @TimMifsud, @GustavoCastaner, @GionniDG и др.) / сайт конференции
http://conference.archivists.org.au/events/designing-the-archive/agenda-af722a30647a418885bed5dd598e6f1b.aspx

пятница, 23 августа 2019 г.

Деятельность Норвежского общества специалистов по управлению документами и архивистов


Заметка председателя Норвежского общества специалистов по управлению документами и архивистов (Norsk arkivråd, http://www.arkivrad.no ) Ани Йергель Вествольд (Anja Jergel Vestvold – на фото) была опубликована 14 августа 2019 года на блоге Международного совета архивов ( https://blog-ica.org/ ).

Я являюсь председателем Норвежского общества специалистов по управлению документами и архивистов (Norsk arkivråd, NA), а сама работаю консультантом по управлению информацией. NA - это профессиональная ассоциация, которая открыта для всех, кто интересуется нашей областью деятельности. Она была основана в 1961 году и сейчас в её составе около 1200 членов, что делает нас крупнейшей ассоциацией архивистов и специалистов по управлению документами в Норвегии. На особенно интересуют ранние стадии жизненного цикла документа: создание и захват.

Мой комментарий: Меня впечатлило количество членов ассоциации – и это в небольшой Норвегии! В России, к сожалению, до сих пор нет приличной ассоциации такого рода с массовым членством :)

Моя миссия в области управления информацией заключается в том, чтобы помочь моим коллегам и моей организации контролировать и иметь доступ к надежной информации, которая им необходима для ведения деловой деятельности, эффективно и в соответствии с законодательно-нормативными требованиями. С годами выполнение этой миссия всё больше и больше становилось вопросом того, чтобы быть в курсе перемен и внедрения новых технологий, новых способов организации нашей деловой деятельности и оказания услуг, а также требований законодательства, касающихся использования информации, и способов её использования. Она также включает долговременные усилия по сокращению разрыва между пользователями, ожидающими для себя фантастических удобств, и обязательным применением системных рабочих процессов, которые не были соответствующим образом модернизированы.

Стоящие перед нами вызовы очень похожи на те, с которыми сталкиваются в других странах и на других континентах. В 2017 году правительство Норвегии создало комитет для пересмотра национального Закона об архивах 1999 года (Lov om arkiv, https://lovdata.no/dokument/NL/lov/1992-12-04-126 ). Подготовленный комитетом доклад «Новое законодательство о документации и архивах - от пергамента до озера данных» (Fra kalveskinn til datasjø — Ny lov om samfunnsdokumentasjon og arkiver, https://www.regjeringen.no/contentassets/d4091c3f6abc4eacae1ae527a4cef30b/nn-no/pdfs/nou201920190009000dddpdfs.pdf ) 2 апреля 2019 года был представлен министру культуры и социальной справедливости. Название отражает широкий охват отчёта, рассматривающего вопросы управления документами и обеспечении долговременной сохранности архивных документов в различных форматах, от пергамента до больших данных.

В отчёте рассмотрен целый ряд проблем, с которыми сталкиваются архивисты и специалисты по управлению документами в электронную эпоху. Одним из примеров служит журнальная система регистрации. Это традиционный метод хорошего делопроизводства восходит к 1740 году, когда король Дании и Норвегии Кристиан VI приказал всем государственным учреждениям Норвегии регистрировать всю переписку с указанием следующей информации: отправитель / получатель, дата документа и его заголовок. Данный способ регистрации информации по-прежнему остаётся основой управления документами, однако перестал удовлетворять существующие потребности, поскольку информация создается, передается и используется по-разному. В отчете предлагается оказаться от обязательных журналов регистрации и заменить их обязанностью захватывать и сохранять документацию четырех направлений деятельности:
  • переписка органа,

  • информационные системы, базы данных, реестры и т.д.,

  • использование автоматизированного принятия решений на основе правил,

  • принятые органом решения и т.д.
Доклад опубликован всего месяц тому назад, и по мере того, как мы его читаем, возникают новые вопросы и соображения. Самое главное в связи с этим отчетом -  это то, что его необходимо обсудить в плане того, какие последствия он может иметь для практики. Ассоциация считает, что данный отчёт называет целый ряд стоящих перед нами важных проблем, и требует от нас повышения нашей профессиональной квалификации.

Аня Йергель Вествольд (Anja Jergel Vestvold)

Источник: блог МСА
https://blog-ica.org/2019/08/14/the-norwegian-society-of-records-managers-and-archivists-na/

пятница, 9 ноября 2018 г.

«Петабайтный план» Норвегии: Сохранить всё, что было опубликовано, в архиве, рассчитанном на тысячу лет


Заметка Стига Ойванна (Stig Øyvann – на фото) была опубликована 4 октября 2018 года на сайте ZDNet в разделе, рассказывающем о скандинавском опыте. 

Все эти материалы, от древних манускриптов до кинофильмов, Национальная библиотека Норвегии хочет выложить в Интернете в публичном доступе.

На дальнем севере Норвегии, недалеко от Полярного круга, специалисты защищённого хранилища Национальной библиотеки Норвегии (Nasjonalbiblioteket) занимаются реализацией на практике удивительного плана.

Они поставили себе целью оцифровать всё, что когда-либо было опубликовано в Норвегии: книги, газеты, манускрипты, плакаты, фотографии, фильмы, трансляции и карты, а также захватить все сайты в национальном норвежском домене Интернета .no .

Эта работа ведётся уже в течение 12 лет, и, по текущим оценкам, на её завершение потребуется ещё 30 лет.

На данный момент в созданном Библиотекой архиве имеется более 540 тысяч книг и более 2 миллионов газет. Перед закладкой на хранение, они прошли процессы поточного сканирования и распознавания текста, поэтому по всему этому контенту можно вести полнотекстовой поиск.

Как сообщил изданию ZDNet директор отдела развития цифровой библиотеки Национальной библиотеки Свейн Арне Солбакк (Svein Arne Solbakk), по состоянию на начало сентября 2018 года объём этой коллекции составляла 8,1 петабайт данных, при ежедневном приросте в 5-10 терабайт.

Уставная задача Национальной библиотеки - это не просто обеспечение защищённого долгосрочного хранения. Она должна делать свои архивы доступными для общественности, поэтому ей требуется онлайн-хранилище для публикации материалов коллекции.

 «Чтобы иметь возможность обрабатывать большие объемы данных, мы должны иметь их онлайн. Когда я получаю от газеты файл в формате PDF, я знаю, что этот формат не проживёт тысячу лет. Его придётся преобразовать в более современные форматы - вероятно, несколько раз за эти тысячи лет», - говорит Солбакк.

В качестве пояснения он рассказывает, что Библиотеке уже пришлось провести своё первое крупномасштабное преобразование форматов, затронувшее 50 миллионов файлов графических изображений. Этим процессом были круглосуточно загружены 10 серверов в течение трех месяцев, даже несмотря на то, что файлы хранились на жёстких дисках.


Рекламный видеоролик о проекте Национальной Библиотеки Норвегии

Кроме того, учитывая относительно короткий срок службы жестких дисков, используемый Национальной библиотекой подход предусматривает программу «скользящей» замены дисков, в рамках которой заменяются целые стойки с дисками, когда те отработают свой расчётный 5-летний срок службы.

Помимо этого, все материалы Библиотека хранит в трёх экземплярах. Одна копия находится на жестком диске, а еще две - на ленте. Хранилище магнитных лент представляет собой архивную систему на основе решения Oracle SAM-FS, так что это не традиционная ленточная система резервного копирования.

«Когда мы говорим о петабайтах, мы не можем говорить о резервном копировании. На восстановление петабайта информации с ленты уйдут недели», - говорит Солбакк. Таким образом, система Библиотеки более похожа метод виртуализации хранилища, и в настоящее время она обрабатывает более 24 петабайт данных.

К настоящему времени оцифрованы около 83% всех книг и 40% процентов всех газетных страниц. Кроме того, Библиотека участвует в ряде других проектов, в рамках которых идёт работа по оцифровке 100 тысяч лент с записями радиопередач, прежде чем необходимые для работы с ними ленточные плееры исчезнут навсегда. Амбиции Национальной библиотеки Норвегии впечатляют!

«Мы амбициозны, но крайне важно задокументировать настоящее для будущего», - подчёркивает Солбакк.

По состоянию на сентябрь 2018 года электронная коллекция Национальной библиотеки Норвегии включает:
  • 2 миллиона газет - около 40 миллионов страниц;

  • 540 тысяч книг - около 80 миллионов страниц;

  • 700 тысяч страниц тестовых и музыкальных манускриптов;

  • 1,3 миллиона фотографий;

  • 1,4 миллиона часов радиовещания;

  • 950 тысяч часов телевещания;

  • 55 тысяч музыкальных произведений;

  • 16 тысяч кинофильмов и видеозаписей;

  • 24,8 миллиарда веб-страниц.
Система ленточного хранения представляет собой архивную систему на основе решения Oracle SAM-FS, так что это не традиционная ленточная система резервного копирования (Фото: Nasjonalbiblioteket/Jan Inge Larsen)

Источник: сайт ZDNet
https://www.zdnet.com/article/norways-petabyte-plan-store-everything-ever-published-in-a-1000-year-archive/

воскресенье, 9 апреля 2017 г.

У Норвегии теперь два хранилища на случай Апокалипсиса – для семенного материала и для архивных документов


Заметка Тары Джон (Tara John – на фото) была опубликована 3 апреля 2017 года на сайте журнала Тайм ( http://time.com ).

В бывшей норвежской угольной шахте 27 марта 2017 года было открыто второе высокозащищённое хранилище (Doomsday Vault) – на этот раз для сохранения данных в случае апокалипсиса.

Новое хранилище, получившее официальное название «Арктический Всемирный архив» (Arctic World Archive), наполняется книгами, документами и данными в других формах, зафиксированных на светочувствительной плёнке.

Мой комментарий: Для сохранения электронных данных также используется аналоговый носитель - плёнка. Управляющая компания говорит, что «фактически, мы сохраняем электронные данные в виде зафиксированных на плёнке больших QR-кодов».

Архив находится на острове Свальбард (Svalbard), в той же самой горе, что и «Глобальное хранилище семян» (Global Seed Vault, открыто в 2008 году), сохраняющее 1,5 миллиона образцов семян наиболее важных посевных культур мира.

Вход в международный банк генетического материала в Свальбарде («Глобальное хранилище семян»  - Global Seed Vault, SGSV), расположенной недалеко от Лонгиербюена (Longyearbyen) на Шпицбергене, Норвегия (29 февраля 2016 года, Junge Heiko-AFP / Getty Images)

По мнению управляющей хранилищем компании по оказанию архивных услуг Piql, пленки способны сохранить информацию в течение срока до 1000 лет, благодаря  уникальному местоположения – в угольной шахте поддерживается температура ниже нуля градусов по Цельсию. Шахта также достаточно глубока, чтобы защитить от воздействия ядерного оружия.

В распространяемой Piql брошюре отмечается, что услуги хранения доступны для всех стран, компаний и частных лиц, которые заинтересованы в сохранении информацию «для гарантированного доступа в будущем». К настоящему времени свои материалы передали на хранение Мексика, Бразилия и Норвегия. Согласно изданию «Живая наука» (Live Science, см. http://www.livescience.com/58497-second-doomsday-vault-opens-for-data.html ), Бразилия представила важные исторические документы, такие как её Конституция, а Мексика отправила в хранилище документы, относящиеся к периоду инков.

Тара Джон (Tara John)

Источник: сайт журнала Тайм
http://time.com/4722651/norway-doomsday-vault-svalbard/

среда, 16 ноября 2016 г.

Очередная встреча членов DLM-форума пройдёт 15-16 ноября 2016 года в Осло, Норвегия


Хотя регулярно проводимые весной и осенью встречи членов DLM-форума в настоящее время привлекают куда меньше внимания, чем 5 лет назад, на них по-прежнему делается немало любопытных докладов.


Очередная такая встреча пройдёт в столице Норвегии Осло 15-16 ноября 2016 года при поддержке Национальных Архивов Норвегии. Это определенное (и многозначительное) нарушение традиции – обычно встречу принимала страна, которая в этот момент председательствовала в Евросоюзе, но, как с печалью отмечается на сайте, в DLM-форуме ныне председательствующая страна – Словакия – не представлена...

Программа встречи выложена здесь: http://www.dlmforum.eu/files/uploads/DLM_MM_Oslo_Preliminary%20Program_161103.pdf

Работа первого дня начнётся с приветствий председателя DLM-форума Золтана Шатуксека (Zoltán Szatucsek) и генерального директора Национальных Архивов Норвегии Инги Больстад (Inga Bolstad).

На секции 1 «Управление информацией как активами» (How to treat information as an asset) выступят:
  • Хербьёрн Андресен (Herbjørn Andresen, Университетский колледж прикладных наук Осло и Акершюс) с докладом «Что является целью планирования процессов создания и захвата документов – эффективность деловой деятельности или избежание рисков?» (Is planning for creating and capturing records about achieving benefits or about avoiding risks?);

  • Пиа Вирмалайнен Йосендаль (Pia Virmalainen Jøsendal, норвежское агентство электронного правительства) с докладом «Может ли государственный сектор не рассматривать информацию как стратегический актив?» (Can public sector afford not to use information as a strategic asset?);

  • Энн Кин (Ann Keen) и Дэвид Портман (David Portman), компания Preservica Ltd, с докладом «Как повлиять на бизнес-менеджеров: Подчёркивание полезности хорошего управления электронной информацией, подлежащей длительному хранению» (Influencing Business Managers: Highlighting the Value of Good Governance Over Long-Term Digital Information).
На секции 2 «Исследования и разработки, связанные с информацией» (Information research and development) выступят:
  • Александра Мрдавшич (Aleksandra Mrdavšič) и Йоже Шкофлянец (Jože Škofljanec), Архивы Республики Словения, с докладом «Новый подход к экспертизе ценности  электронных данных: Эффективный метод интервьюирования создателей документов» (New Approach on Digital Data Appraisal: Efficient Way of Interviewing Records Creators);

  • Анси Яскелайнен (Anssi Jääskeläinen) из университета Миккели, Финляндия, с докладом «Обзор и новости проекта «Preserving citizens»» (“Preserving citizens” review and update)

  • Эрик-Гуннар Ааберг (Erik Gunnar Aaberg, Национальные Архивы Норвегии), с докладом «Arkade – базовое приложение для проверки различных архивных наборов данных на точность и полноту» ("Arkade" – A generic application for testing a variety of archival data sets for completeness and accuracy).
Во второй день 16 ноября на сессии 3 «Сделать более эффективным процесс передчи знаний» (To make the knowledge transfer much more effective) выступит Кари Фродесен (Kari Frodesen), координатор проекта, Национальные Архивы Норвегии, с докладом «SAMDOK – программа сотрудничества в рамках всего архивного ландшафта Норвегии» (SAMDOK – a joint collaboration program for the overall archival landscape in Norway ) (более подробную информацию о проекте можно найти на сайте Национальных Архивов Норвегии по адресу https://arkivverket.no/arkivverket/Arkivutvikling/SAMDOK - Н.Х.).

На секции 4 «Проект E-ARK «Обеспечение долговременной сохранности архивных документов и знаний Европы»» (E-ARK – European Archives and Knowledge Preservation) выступят:
  • Джанет Делв (Janet Delve) и Кульдар Аас (Kuldar Aas), координаторы проекта E-ARK, с докладом «На подходе к порту. Обзор положения дел за два месяца до завершения проекта» (Approaching the harbour. E-ARK project overview two month before the completion.);

  • Риккардо Виейра (Ricardo Vieira, университет Лиссабона, Португалия) с докладом «Обновленная модель зрелости для полномасштабного управления информацией» (Revised Maturity Model for Information Governance);

  • Иштван Альфёльди (István Alföldi), компания Poliphon Ltd., Венгрия, с докладом «Окончательная редакция и графическое представление Общей модели и пилотных проектов E-ARK» (Final version and visualization of the General Model and E-ARK pilots).
На завершающей день секции 5 «Стандарты и литература по вопросам управления информацией» (Information management standards and references) выступят:
  • Карин Бреденберг (Karin Bredenberg), Национальные Архивы Швеции, с докладом «Два года применения в Швеции Типовых спецификаций – каковы итоги? Результаты, мысли и стандарты» (Two years of working with Common Specifications in Sweden, what has happened? Results, thoughts and standards.);

  • Ханс-Фредрик Берг (Hans Fredrik Berg), Национальные Архивы Норвегии, с докладом «Модель анализа управления документами и архивного хранения от захвата до обеспечения долговременной сохранности» (An analysis model for RM and archives from capture to long term preservation).
Кроме того, ещё один дополнительный день - 17 ноября – будет полностью посвящен «внутренним делам» проекта E-ARK.

В общем, видно, что данная встреча будет очень сильно «скандинавской», с минимальным представительством других стран Европы, и что у DLM-форума есть проблемы с выбором дальнейших направлений своей деятельности, особенно после завершения проекта E-ARK

Источник: сайт DLM-форума
http://www.dlmforum.eu/index.php/home/all-events/73-dlm-member-meeting-oslo-norway-15th-16th-november-2016
http://www.dlmforum.eu/files/uploads/DLM_MM_Oslo_Preliminary%20Program_161103.pdf