Новый ГОСТ общих требований к инфраструктуре пространственных данных - или о том, почему без привлечения архивистов информационные стандарты получаются «недоделанными»

На сайте Федерального агентства по техническому регулированию и метрологии ( http://www.gost.ru/ ) в октябрьском 2019 года разделе ( http://protect.gost.ru/default.aspx?control=6&month=10&year=2019 ) выложен стандарт ГОСТ Р 58570-2019 «Инфраструктура пространственных данных. Общие требования» объёмом 32 страницы, вступающий в силу с 01.06.2020, см. http://protect.gost.ru/v.aspx?control=8&baseC=6&id=226127

Стандарт разработан «Федеральным научно-техническим центром геодезии, картографии и инфраструктуры пространственных данных» (ФГБУ «Центр геодезии, картографии и ИПД») совместно с АО «Всероссийский научно-исследовательский институт сертификации» (АО «ВНИИС»). Стандарт внесён Техническим комитетом по стандартизации ТК 394 «Географическая информация / геоматика»

В аннотации на документ отмечается:

Настоящий стандарт устанавливает общие требования к созданию инфраструктур пространственных данных и распространяется на наборы пространственных данных (НПД), которые.

• должны быть представлены в цифровой форме;


• представляют собой оригинальные версии наборов данных;


• находятся в ведении государственных или местных органов власти, которые создали эти НПД или получили их в свое распоряжение, поддерживают и обновляют их для реализации своих функций.

Требования настоящего стандарта могут применяться к наборам пространственных данных, находящимся в ведении юридических лиц. которые создали эти НПД или получили их в свое распоряжение. поддерживают и обновляют их для предоставления в качестве составной части инфраструктуры пространственных данных.

Настоящий стандарт предназначен для обеспечения эффективного доступа, обмена, распространения и использования пространственных данных и оказания услуг, связанных с их обращением

С целью увеличения доступности и возможности совместного использования пространственных данных настоящим стандартом устанавливаются минимально необходимые требования для обеспечения стандартизованных сервисов поиска, визуализации и использования данных на основе обеспечения их совместимости.

Хотя настоящий стандарт применим к федеральным, региональным и муниципальным ресурсам, его положения могут быть распространены на создание специализированных инфраструктур пространственных данных различного назначения.

Настоящий стандарт предназначен для использования органами государственной власти различного уровня, специалистами в области создания и использования пространственных данных.»

Содержание документа следующее:

1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Обозначения и сокращения
5. Требования к инфраструктуре пространственных данных

• 5.1. Общие положения
• 5.2. Требования к наборам пространственных данных
• 5.3. Требования к геолорталам
• 5.4. Требования к метаданным
• 5.5. Требования к сервисам
• 5.6. Интероперабельность систем, наборов пространственных данных и геосервисов
• 5.7. Требования к документам по стандартизации, используемым в ИПД
• 5.8. Обмен данными и распространение данных

Приложения
Библиография

Мой комментарий: В цифровой экономике геопространственные данные относятся к числу наиболее ценных и востребованных активов. В создание и актуализацию этих активов вкладываются огромные средства, и при надлежащем управлении ими они не просто дают большую отдачу, но и часто вообще оказываются незаменимыми.

Чтение данного документа, к сожалению, очередной раз показывает, что специалисты соответствующей отрасли очень много думают об оперативном использовании геопространственных данных, однако мысль о том, что, помимо прочего, необходимо подумать и об обеспечении долговременной / постоянной сохранности и доступности этих данных, об их своевременной плановой конверсии и миграции, об обеспечении доверия к данным – даже не пришла в голову авторам стандарта!

Результат будет вполне ожидаемым – рано или поздно вопросы долговременной сохранности решать всё равно придётся, однако, если с самого начала не будет продумана «дружественная» для решения этой задачи архитектура систем и данных, риски будут больше, а расходы – намного выше.

Источник: сайт Росстандарта
http://www.gost.ru/

Разработка и реализация программы обеспечения долговременной сохранности в Британской геологической службе, часть 2

(Окончание, начало см. http://rusrim.blogspot.com/2018/12/1.html )

Прогресс к настоящему времени (продолжение)

Политика обеспечения сохранности - хорошее начало, но она не в полной мере оправдывает необходимость тратить наши ограниченные ресурсы на электронную сохранность. Это функция другого документа – делового обоснования (бизнес-кейса), который наглядно объясняет высшему руководству необходимость и преимущества электронной сохранности, перечисляя цели, проблемы и отдачу от этой работы. В нашем деловом обосновании была описана модульная программа обеспечения сохранности, с тем, чтобы отразить потребность в ресурсах, а также ущерб в случае бездействия и риск утраты ценных информационных активов. Мы не планируем приобретать коммерческое программное решение; вместо этого мы расширим наши уже существующие возможности и инфраструктуру управления данными, а также будем использовать и развивать навыки и компетенции нашего персонала.

В 2017 году мы также выполнили проект получения статуса доверенного электронного хранилища. Мы хотели получить соответствующую аккредитацию для того, чтобы укрепить доверие заинтересованных сторон к нашему центру обработки данных и сопоставить наши процессы с признанными стандартами. Для этого мы выбрали сертификацию CoreTrustSeal (я упоминала её здесь: https://rusrim.blogspot.com/2018/06/aida-2018.html - Н.Х.), представляющую собой самооценку, реферируемую коллегами по отрасли. Это процесс занял у нас около 18 месяцев, хотя, возможно, мы справились бы быстрее, если бы не множество иных обязательств и проектов. Нам удалось продемонстрировать соответствие многим требованиям, при этом мы должны были позаботиться, чтобы всё было официально задокументировано и соответствующие материалы были выложены в открытом доступе. Мы получили аккредитацию в феврале 2018 года, первым из электронных хранилищ Великобритании.

Ещё одно направление работы, которая уже ведётся, включает планы по разработке элемента метаданных PREMIS для включения в нашу существующую схему метаданных, используемую системой поиска BGS Discovery, который хранится и управляется как реляционная база данных. Мы опробовали создание и захват значений контрольных сумм для некоторых наших наборов данных, и изучаем возможность включения проверок на целостность в рабочие процессы приёма на хранение и экспертизы ценности. Это усилит целостность и аутентичность данных, поддерживая требования к аккредитации нашего центра обработки данных. В рамках кампании по повышению осведомленности, BGS приняла участие в 2017 году в Международном дне электронной сохранности, используя это событие для официального представления общественности нашей политики электронной сохранности.

Мы приняли философию «Экономного обеспечения долговременной сохранности» (Parsimonious Preservation), описанную Тимом Голлинсом (Tim Gollins) в его статье «Внедрение экономного обеспечения долговременной сохранности на практике» (Putting Parsimonious Preservation into Practice, см. http://www.nationalarchives.gov.uk/documents/information-management/parsimonious-preservation-in-practice.pdf ), где ключевой идеей было «Не паниковать!». Мы намерены скрупулёзно следовать этим рекомендациям. В частности, я согласна со словами Тима «Более непосредственная угроза – плохой захват и неспособность обеспечить безопасное и защищённое хранение оригинальных материалов».

Планы на будущее

Третьим строительным блоком нашей программы электронной сохранности станет стратегический план действий, основанный на политике и деловом обосновании. Этот документ в настоящее время готовится, и он будет модифицироваться по мере того, как мы поймём, что реально и что в наших условиях работает. Выбранный вариант построения модульной программы позволит нам поэтапно развивать наши возможности и добавлять функциональные возможности для обеспечения электронной сохранности постепенно, по мере наличия ресурсов и выявления рисков.

С целью сбора нужной для разработки стратегии информации BGS проведет оценку имеющихся возможностей и оценку рисков с использованием соответствующих инструментов (например, моделей DPCMM © и SPOT). Первоначальные результаты, полученные при помощи инструмента DPCMM © и «Уровней обеспечения электронной сохранности NDSA» (о них см. также пост на блоге http://rusrim.blogspot.ru/2012/11/blog-post_9881.html . Ключевой элемент - таблица уровней зрелости - доступен на русском языке здесь: http://bit.ly/2va19cy - Н.Х.) позволили выявить те области, в которых нам необходимо предпринять сконцентрированные усилия для улучшения; однако, прежде чем приступить к делу, мы проведем обследование информационных активов и создадим электронный реестр активов. Мы изучили ряд существующих реестров такого рода (Национальных Архивов и Парламентских архивов Великобритании) и начали разрабатывать собственный вариант, оптимизированный под геолого-геофизические и геопространственные данные.

Очень важно четко представлять себе требованиях пользователей к хранилищу и согласовать реалистичные цели для программы электронной сохранности. В эпоху постоянно нарастающих объёмов данных BGS необходимо будет решить, что именно необходимо хранить постоянно и для какой цели. Необходимо четко расставить приоритеты в отношении как ключевых наборов данных, так и ресурсов, выделяемых для управления ими, включая проведение, по мере необходимости, обучения персонала. Сотрудничество с другими организациями будет способствовать обмену извлеченными уроками и располагаемыми ресурсами, а также поможет повысить общую осведомленность заинтересованных сторон.

Резюме

Наша политика обеспечения сохранности определила сферу охвата и цели нашей модульной программы обеспечения электронной сохранности. Мы подкрепили её адресованным высшему руководству деловым обоснованием, в котором описана и обоснована необходимость проведения работ и выделения соответствующих ресурсов.

Третьим шагом станет определение того, как мы будет достигать наши цели на практике, и для этой цели будут использованы стратегический план действий и реестр цифровых активов. Результаты оценки рисков и возможностей будут использованы в качестве обратной связи для совершенствования стратегии, помогая расставить приоритеты, выбрать ключевые виды деятельности и направить ресурсы туда, где наш электронный контент в наибольшей степени подвергается риску.

Всё это будет способствовать достижению наших целей при управлении корпоративными данными, которые заключаются в том, чтобы максимизировать долговременную доступность электронных геофизических данных, способствовать инновациям и экономическому росту посредством использования этих данных, а также повысить осведомленность и развить навыки и компетенции в области электронной сохранности и управления научно-исследовательскими данными.

Джаана Пинник (Jaana Pinnick)

Источник: блог Коалиции по электронной сохранности
https://dpconline.org/blog/idpd/developing-a-digital-preservation-programme-at-bgs

Разработка и реализация программы обеспечения долговременной сохранности в Британской геологической службе, часть 1

Данный пост специалиста по управлению научно-исследовательскими данными Британской геологической службы (British Geological Survey, https://www.bgs.ac.uk/ ) и обеспечению их долговременной сохранности Джааны Пинник (Jaana Pinnick – на фото) был опубликован 21 ноября 2018 года на блоге британской Коалиции по электронной сохранности (Digital Preservation Coalition, DPC) среди материалов, приуроченных к Международному дню электронной сохранности, который отмечался 29 ноября 2018 года (см. https://dpconline.org/blog/idpd ).

Развивать возможности Британской геологической службы (British Geological Survey, BGS) по обеспечению долговременной сохранности электронных материалов мы начали в 2016 году, изучив первоначальные требования и подготовив политику обеспечения сохранности, которая будет направлять дальнейшую работу. В этом посте рассказывается о том, чего нам удалось достичь к настоящему времени.

Предыстория

В соответствии с Законом о государственных документах (Public Records Act), Британская геологическая служба является авторизованным местом депозитарного хранения и обязуется обеспечить постоянное курирование определенных геолого-геофизических данных постоянного срока хранения, ответственным хранителем которых она является.

Принадлежащий службе Национальный центр геофизических научных данных (National Geoscience Data Centre, NGDC) делает большую часть своих данных свободно доступными на условиях «лицензии открытого правительства» (Open Government Licence). BGS также по закону обязана обеспечить управление некоторыми типами данных. Политика в отношении данных Британского органа по научным исследованиям и инновациям (UK Research and Innovation, UKRI, https://www.ukri.org/ - действующая с апреля 2018 года организация, в задачи которой входит координация финансирования научных исследований – Н.Х.) требует, чтобы данные, признанные имеющими долгосрочную ценность, были сохранены и оставались доступными для будущих исследований; при этом NGDC считает, что большая часть его геолого-геофизических данных должна храниться дольше, чем установленный этой политикой 10-летний срок.

Геолого-геофизические данные включают многочисленные типы данных, от геохимических, сейсмических, нефтегазовых и геофизических данных и до данных о породах, минералах, отложениях, почвах, загрязнении земель, природных ресурсах, эрозии и многом другом. Они включают геопространственные данные и данные геоинформационных систем (GIS), представленные в различных географических системах координат, а также векторные и растровые данные, хранящиеся в виде слоев и используемые в картографировании.

Наше целевое сообщество пользователей очень широко - от местных органов власти и органов центрального правительства до сфер промышленности, производства, строительства, транспорта, научных исследований, а также широкой общественности. Геофизические научные данные помогают создавать новые продукты и знания и давать ответы на насущные научные вопросы; они используется в процессе принятия решений и для построения моделей инфраструктуры и рисков, для инноваций и иного использования и обмена.

Чтобы справиться с управлением всем этим разнообразием, требуется использование стандартов и нормализация данных и метаданных. Наличие сервиса BGS поиска по метаданным означает, что данные, хранящиеся в NGDC, могут быть найдены через службу каталогов данных (Data Catalogue Service, https://csw-nerc.ceda.ac.uk/geonetwork/srv/eng/catalog.search;jsessionid=BCDEEFFC104776FB629EAD999B7BBA40#/home ) британского Научного совета по природной среде (Natural Environment Research Council, NERC), через платформу открытых данных правительства Великобритании Data.gov.uk ( https://data.gov.uk/ ) и через портал геофизических данных Еврокомиссии INSPIRE Geoportal ( http://inspire-geoportal.ec.europa.eu/ ).

За последние три года мы повысили долговременную живучесть и пригодность к использованию наших данных, внедрив в организации стиль мышления, учитывающий вопросы долговременной сохранности.

Проблемы обеспечения долговременной сохранности

Помимо обычных проблем долговременной сохранности, существуют и дополнительные, специфические для геофизических данных:

• Сбор данных глубинного бурения, до глубин многих километров, обходится в десятки миллионов фунтов и слишком дорог, чтобы проводить его повторно. Ещё одним примером уникальных данных являются сейсмические данные, собираемые во время землетрясений.


• Геофизические данные имеют долговременную ценность и поддерживают будущие исследования, поэтому экспертиза ценности является ключевым элементом при создании надежных и повторно используемых наборов данных.


• Отсутствие в унаследованных данных условий их сбора или пространственной привязки означает невозможность их повторного использования, а также то, что сделанные на основе этих данных выводы не будут достоверными.


• Восстановление данных с магнитных лент, которые широко использовались в ряде геофизических исследований, требует значительных ресурсов.


• Новые способы сбора данных с использованием сенсорных сетей и сетей мониторинга приведут к потопу данных, значительно обостряя проблемы описания и хранения.

Но электронная сохранность зависит не только от инструментов и технологий, но также и от людей, делающих эту работу. Необходимо стратегическое мышление для того, чтобы обеспечить развитие и поддержание цифровых навыков и компетенций, покрывающих все аспекты жизненного цикла данных. Нам необходимо управлять переходом наших сотрудников с аналогового на цифровое мышление, а создание сервисов с использованием различных источников финансирования на основе объединенных требований заинтересованных сторон является отнюдь не простым прямолинейным процессом.

Всегда есть вариант ничего не делать и просто хранить данные. Это связано с риском того, что всё больше данных станут непригодными для использования, что приведет к потере способности быстро, полно и точно давать ответы на научные вопросы (а BGS полагается на эту способность при ведении своей основной деятельности), а также к потере репутации национальной архивной организации. В этом случае возможность использования уникальных наборов геолого-геофизических данных будет поставлена под угрозу, а потенциал для разработки новых научно-информационных продуктов может пострадать.

Прогресс к настоящему времени

Мы разработали онлайн-портал приёма данных на депозитарное хранение (Data Deposit Portal) с тем, чтобы стандартизировать прием электронных данных и метаданных, и мы рекомендуем передающим данные организациям использовать открытые и подходящие для долговременного хранения файловые форматы. Постоянное совершенствование процессов и автоматизация помогают смягчить последствия роста объемов данных, а применение DOI-идентификаторов для наборов данных обеспечивает стабильные ссылки на данные.

Наша политика электронной сохранности была опубликована и начала внедряться в 2017 году. Разработка политики может показаться пугающе сложным делом, однако в Интернете доступно много такого рода документов, на примере которых можно поучиться. Мы проанализировали политики ряда организаций государственного сектора, включая Британскую библиотеку, Национальные Архивы Великобритании, Парламентские Архивы Великобритании, - а также нескольких британских и европейских университетов и электронные библиотек.

Справочник по вопросам электронной сохранности (DPC Handbook, о нём см. https://rusrim.blogspot.com/2015/11/blog-post_12.html - Н.Х.), опубликованный британской Коалицией по электронной сохранности (Digital Preservation Coalition, DPC), включает прекрасные рекомендации по формированию стратегии и политики организации по обеспечению долговременной сохранности, и Коалиция также проводит тематические семинары для своих членов.

Мы хотели, чтобы наша политика была кратким высокоуровневым документом. Для начала мы определили сферу охвата и цели политики, и перечислили ту отдачу, которую даёт организации налаживание электронной сохранности. Затем мы обрисовали в общих чертах концепцию электронной сохранности, а также наши первоначальные требования и деловые потребности; определили роли и необходимые ресурсы. Чтобы ознакомить с основами руководителей из сфер деятельности, не связанных с ИТ (читай: ученых), мы описали в документе ряд ключевые понятий, связанных с обеспечением сохранности. Нашу политику мы опубликовали на веб-сайте NGDC, чтобы заверить сдающие организации в долговременной защищённости и безопасности их данных, и мы будем пересматривать эту политику каждые три года.

(Окончание следует, см. http://rusrim.blogspot.com/2018/12/2.html )

Джаана Пинник (Jaana Pinnick)

Источник: блог Коалиции по электронной сохранности
https://dpconline.org/blog/idpd/developing-a-digital-preservation-programme-at-bgs

Порядок передачи пространственных данных и материалов в фонды пространственных данных

Приказом Минэкономразвития России от 7 ноября 2017 года № 603 утверждены:

• Порядок передачи пространственных данных и материалов федеральными органами исполнительной власти для включения в федеральный и ведомственный фонды пространственных данных;


• Порядок передачи пространственных данных и материалов органами государственной власти субъектов РФ или подведомственными данным органам государственными учреждениями для включения в фонды пространственных данных субъектов РФ или федеральный фонд пространственных данных.

Пространственные данные и материалы передаются федеральными органами исполнительной власти для включения в фонды на основании акта приема-передачи (п.4).

К акту приема-передачи прилагаются копии государственных контрактов на создание или сбор пространственных данных и материалов.

Акт приема-передачи и прилагаемые к такому акту пространственные данные и материалы, созданные в виде бумажного документа, а также копии государственных контрактов передаются в фонды (п.6):

• На бумажном или цифровом носителе посредством почтового отправления либо нарочным;


• В электронном виде (в виде электронного образа бумажного документа) по телекоммуникационным каналам связи.

Пространственные данные и материалы, созданные в виде электронного документа, могут быть переданы в фонды в электронном виде по телекоммуникационным каналам связи (п.9). В указанном случае акт приема-передачи подписывается усиленными электронными квалифицированными подписями руководителя или заместителя руководителя федерального органа исполнительной власти, передающего пространственные данные и материалы, и руководителя, заместителя руководителя или соответствующего фондодержателя фонда пространственных данных.

Мой комментарий: Фактически речь идёт о создании специализированных смешанных архивов.

Для справки отмечу, что в федеральный фонд пространственных данных включаются пространственные данные и материалы, полученные в результате выполнения геодезических и картографических работ, включая сведения о пунктах государственной геодезической сети (ст. 10 Федерального закона от 30 декабря 2015 г. № 431-ФЗ «О геодезии, картографии и пространственных данных и о внесении изменений в отдельные законодательные акты Российской Федерации»)

Источник: Консультант Плюс
http://www.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=284402