Формат SIARD – хорошая отправная точка, но это не полноценное решение на случай вывода из эксплуатации программного приложения (2)

(Окончание, начало см. https://rusrim.blogspot.com/2026/09/siard-1.html )

Начинать следует с объекта деловой деятельности (бизнес-объекта), а не с таблиц

Более полный подход к выводу приложения из эксплуатации начинается с постановки вопроса о том, какого рода сведения пользователям потребуется извлекать уже после прекращения работы системы.

Для финансового приложения это может быть счёт-фактура с позициями и приложениями. Для системы управления обслуживанием - полное досье на запрос на обслуживание. Для лабораторной системы - результаты теста вместе со сведениями о приборе, специалисте-аналитике, методе, дате; и взаимосвязанные файлы, необходимых для их понимания.

Всё это объекты деловой деятельности (бизнес-объекты). Их структура редко удобным образом отображается на одну таблицу в базе данных.

В решении нашей компании Docbyte Vault, предназначенном для поддержки вывода приложений из эксплуатации, исходные данные анализируются и группируются вокруг этих бизнес-объектов. Затем соответствующие данные, метаданные и файлы могут быть упакованы для контролируемого ввода в архив. Архивная схема определяет структуру объекта, а читаемое представление помогает будущим пользователям интерпретировать его без повторного воссоздания выведенного из эксплуатации приложения.

Сказанное не делает SIARD неактуальным. Экспорт в SIARD или дамп базы данных в её собственном формате по-прежнему могут быть полезным источников или подлежащим сохранению компонентом. Разница заключается в том, что такой экспорт/дамп не рассматривается как окончательный результат для будущего использования.

Наряду с контентом следует сохранять доступность

Архив также должен предоставлять практичный способ доступа к информации.

Решение Vault Explorer предоставляет авторизованным пользователям облегченный интерфейс для поиска, просмотра и отображения заархивированного контента. Настройки поиска могут отображать поля, фильтры и столбцы результатов, важные для определенной группы пользователей. Связанные поисковые запросы могут соединять взаимосвязанные объекты, давая пользователю возможность переходить от досье к входящим в его состав его документам или от родительской записи к взаимосвязанным элементам.

Программа просмотра разделяет метаданные, предварительный просмотр и доступные представления. Пользователи, таким образом, могут видеть контекст записи, инспектировать читаемый контент и получать доступ к сохраненным форматам, не работая напрямую с таблицами базы данных.

В этом заключается операционное различие между сохранением данных и ответственным выводом приложения из эксплуатации.

Пять вопросов, которые следует задать перед отключением исходной системы

Прежде чем признать экспорт базы данных в качестве подходящего решения в случае вывода приложения из эксплуатации, следует задать следующие вопросы:

• Какие бизнес-объекты пользователям потребуется извлекать впоследствии?
  
  
• Сохраняются ли вместе с бизнес-объектами их связи и вложения?
  
  
• Поймут ли пользователи поля, коды и контекст в отсутствие исходного приложения?
  
  
• Существует ли понятный и контролируемый способ поиска, просмотра и отображения документов?
  
  
• Сможет ли организация продемонстрировать полноту, целостность, соблюдение сроков хранения и правил управления доступом после вывода приложения их эксплуатации?

Если ответ на эти вопросы будет зависеть от последующей реконструкции исходного приложения, то схема вывода приложения из эксплуатации является неполной.

Использование формата SIARD - не законченное решение, а его компонент

Формат SIARD решает реальную проблему обеспечения сохранности данных. Он предоставляет открытый путь, позволяющий уйти от проприетарных форматов реляционных баз данных, и помогает сохранить доступность содержимого базы данных и после завершения жизненного цикла исходного программного обеспечения.

Но архив, создаваемый при выводе из эксплуатации деловых приложений, должен делать большее, чем просто сохранять таблицы.

Он должен сохранять смысл, взаимосвязи, читаемые представления и возможность практичного доступа. Он должен давать будущим пользователям возможность находить полные документы и понимать, что именно они видят. Он также должен сохранять элементы контроля / управления и доказательства, необходимые для стратегического управления этими документами с течением времени.

Вопрос поэтому не сводится просто к тому, была ли база данных «заархивирована». Лучше спросить: когда кому-либо понадобится эта информация через пять или десять лет, что именно он сможет извлечь, понять и доказать?

Дополнительная литература:

• «Вывод приложений из эксплуатации и структурированное архивирование данных», сайт компании Docbyte, см. https://www.docbyte.com/application-retirement/
  
  
• «Доступ, поиск / извлечение и контролируемое использование», сайт компании Docbyte, см. https://www.docbyte.com/access-retrieval-controlled-use/
  
  
• Пакет программ SIARD Suite, сайт Федеральных Архивов Швейцарии, см. https://www.bar.admin.ch/bar/en/home/archiving/tools/siard-suite.html 
  
  
• Спецификация формата SIARD 2.2 (SIARD 2.2 Format Specification), сайт Федеральных Архивов Швейцарии, см. https://www.bar.admin.ch/dam/en/sd-web/e13OBixbrV01/en_siard_formatbeschreibung.pdf

Фредерик Россель (Frederik Rosseel)

Мой комментарий: 24 июля 2026 года под кратким постом Фредерика Россель на ту же тему, опубликованном в социальной сети LinkedIn, известный румынский архивист Богдан-Флорин Поповичи (Bogdan-Florin Popovici) оставил следующий комментарий: 

«Действительно. Существуют, однако, даже национальные архивы, которые ограничиваются извлечением и обеспечением сохранности таблиц с данными, перекладывая на плечи пользователей задачу создания запросов к этим таблицам. 

Но мне понравилось, что наконец-то кто-то вслух заявил, что SIARD - это не волшебная палочка...»

Источник: сайт компании Docbyte / сайт LinkedIn
https://www.docbyte.com/siard-good-start-not-application-retirement-solution/ 
https://www.linkedin.com/feed/update/urn:li:activity:7486330623998136320/  

Формат SIARD – хорошая отправная точка, но это не полноценное решение на случай вывода из эксплуатации программного приложения (1)

Данный пост генерального директора бельгийской компании Docbyte Фредерика Росселя (Frederik Rosseel) был опубликован 21 июля 2026 года на сайте компании.

Мой комментарий: Аббревиатура SIARD относится к архивному формату, используемому рядом национальных архивов для архивирования реляционных баз данных, а также к разработанному и поддерживаемому Федеральными Архивами Швейцарии программному обеспечению с открытым исходным кодом SIARD Suite, предназначенному для архивирования реляционных баз данных. Подборку материалов о  SIARD на моём блоге см. здесь: http://rusrim.blogspot.com/search/label/SIARD 

Архивирование базы данных не сохраняет то приложение, которое делало эту базу данных полезной.

SIARD предоставляет собой открытый, независимый от программного обеспечения формат для сохранения структуры и содержимого реляционных баз данных – и это надёжная отправная точка. Он снижает зависимость от проприетарных форматов дампа баз данных и, при наличии соответствующих совместимых с SIARD инструментов, поддерживает перенос, при необходимости, архивированных данных в [другую – Н.Х.] реляционную базу данных.

Всё это ценно, - но таким образом решается это лишь часть проблемы вывода программного приложения из эксплуатации.

Мой комментарий: Точнее эту проблему можно было бы сформулировать так: «обеспечение долговременной сохранности и пригодности к повторному использованию имеющих ценность данных и, где это необходимо, опирающихся на них функциональных возможностей выводимых из эксплуатации деловых программных приложений».

После отключения исходной системы, будущие пользователи редко запрашивают доступ к таблицам данных. Им обычно нужно найти сведения об операции, понять счёт-фактуру, извлечь документы, связанные с результатами лабораторных исследований, или реконструировать доказательства, лежащие в основе принятого решения.

Один только экспорт базы данных не обеспечивает им таких возможностей.

Сохранность чего именно хорошо обеспечивает SIARD

SIARD был разработан как формат для обеспечения долговременной сохранности реляционных баз данных. Он захватывает содержимое базы данных и структурные метаданные в контейнер формата ZIP64, используя XML и XML Schema, а также стандарты SQL для идентификаторов и типов данных.

Это делает SIARD полезным в качестве формата как для долговременной сохранности, так и для вывода данных. Он может помочь организациям сохранить данные, не поддерживая бесконечно исходное программное обеспечение базы данных в рабочем состоянии. 

Федеральные Архивы Швейцарии [со-разработчик формата SIARD и поддерживающего его программного обеспечения – Н.Х.] также отмечают важное ограничение: обычно файлы SIARD не являются в достаточной степени самодокументированными, чтобы гарантировать сохранение возможности интерпретировать заархивированные данные. Наряду с SIARD-файлами может потребоваться сохранение документации на исходную систему и модель данных, включающей описания данных, списки кодов, системные спецификации, руководства пользователя и скриншоты.

Именно здесь и проявляется важность различия: 

• SIARD сохраняет содержимое и структуру реляционной базы данных в рамках определенной сферы, охватываемой форматом; 
  
  
• При выводе приложения из эксплуатации необходимо сохранить информацию, которая по-прежнему необходима пользователям (сотрудникам).

Пробелы выявляются тогда, когда данные оказываются снова нужны кому-то

После архивирования собственно базы данных, для доступа к информации по-прежнему требуется техническое решение. Пользователю потребуется программа просмотра, новый интерфейс и/или база данных, в которую можно загрузить эти данные.

Даже в этом случае пользователь, возможно, увидит лишь названия таблиц и столбцов, а не бизнес-объекты, существовавшие в программном приложении.

Слой отсутствующих элементов может включать:

• Взаимосвязи между транзакцией и соответствующими документами;
  
  
• Заголовок, строки и вложения, которые вместе образуют счет-фактуру;
  
  
• Метки, списки кодов и определения, необходимые для интерпретации вычисленных значений;
  
  
• Документация на соответствующие рабочие процессы и бизнес-правила;
  
  
• Контекст, в котором был получен результат;
  
  
• Пути поиска, на которые полагались пользователи;
  
  
• Правила доступа, контекст аудита и сроки хранения, которые должны быть сохранены и в будущем.

Чем более специализированным является исходное приложение, тем обширнее может стать этот пробел. Очевидными примерами могут служить ERP-системы, системы для поддержки лабораторных исследований и обслуживания приборов, - но то же самое относится и к практически любому решению со сложной моделью данных. Технически Данные могут оставаться «в наличии», но при этом становиться сложными для интерпретации в отсутствие соответствующего контекста, взаимосвязей и понятных представлений.

(Окончание следует, см. http://rusrim.blogspot.com/2026/09/siard-2.html )

Фредерик Россель (Frederik Rosseel)

Источник: сайт компании Docbyte / сайт LinkedIn
https://www.docbyte.com/siard-good-start-not-application-retirement-solution/ 
https://www.linkedin.com/feed/update/urn:li:activity:7486330623998136320/  

Установлен порядок контроля за соблюдением требования о запрете использования зарубежных баз данных и технических средств при эксплуатации информационных систем

В соответствии с Постановлением Правительства РФ от 4 июля 2026 г. №845 «О внесении изменений в некоторые акты Правительства Российской Федерации», вступающим в силу с 1 сентября 2026 года, Постановление Правительства РФ от 6 июля 2015 г. №675 «О порядке осуществления контроля за соблюдением требований, предусмотренных частью 2.1 статьи 13 и частью 6 статьи 14 Федерального закона «Об информации, информационных технологиях и о защите информации»» - дополнено «Правилами осуществления контроля за соблюдением операторами государственных информационных систем, иных информационных систем государственных органов, муниципальных информационных систем, информационных систем юридических лиц, осуществляющих закупки в соответствии с Федеральным законом «О закупках товаров, работ, услуг отдельными видами юридических лиц», требований по недопущению при эксплуатации информационных систем использования размещенных за пределами территории Российской Федерации баз данных и технических средств, не входящих в состав таких информационных систем»».

Контроль за соблюдением соответствующими субъектами требований осуществляется Министерством цифрового развития, связи и массовых коммуникаций РФ (Минцифры России) в рамках процедур ведения учета ИТ-активов (п.3).

В целях осуществления контроля за соблюдением требований (п.4):

• Президиум Правительственной комиссии по цифровому развитию, использованию информационных технологий для улучшения качества жизни и условий ведения предпринимательской деятельности рассматривает и утверждает стандарт учета информационных систем, в котором в том числе определяет состав информации, размещаемой субъектами контроля в федеральной государственной информационной системе координации информатизации;
  
  
• Субъекты контроля ведут учет информационных систем в соответствии с утвержденным стандартом учета и Положением об учете ИТ-активов.

Минцифры России принимает решение о наличии (отсутствии) нарушений субъектами контроля требований, а центр компетенций по учету ИТ-активов ведет мониторинг соблюдения требований в соответствии пунктом 17 Положения об учете ИТ-активов (п.5).

Субъекты контроля при получении уведомления о нарушении требований принимают меры по устранению таких нарушений и размещают сведения об устранении указанных нарушений в срок не более 2 месяцев со дня получения уведомления (п.6).

Информация и документы, размещаемые субъектами контроля в федеральной государственной информационной системе координации информатизации, подписываются усиленной квалифицированной электронной подписью соответствующего должностного лица субъекта контроля, осуществившего размещение такой информации (документов). (п.7).

Также изменения внесены в:

• Положение о федеральной государственной информационной системе координации информатизации, утвержденном постановлением Правительства РФ от 14 ноября 2015 г. №1235
  
  
• Положение о Правительственной комиссии по цифровому развитию, использованию информационных технологий для улучшения качества жизни и условий ведения предпринимательской деятельности, утвержденном постановлением Правительства Российской Федерации от 7 сентября 2018 г. №1065
  
  
• Постановление Правительства РФ от 1 июля 2024 г. №900 «О порядке учета ИТ-активов, используемых для осуществления деятельности по цифровой трансформации системы государственного (муниципального) управления»

Мой комментарий: Понятно, что без чёткого перечня требуемой информации и порядка ее предоставления невозможно организовать системный мониторинг соблюдения требований о локализации данных. 

В данном случае для этих целей планируется использовать стандарт, которому нужно будет придать соответствующий статус (поскольку по умолчанию соблюдение стандартов, согласно законодательству РФ, – дело добровольное).

Источник: Гарант
https://www.garant.ru/hotlaw/federal/2160010/ 

От строк в таблицах баз данных к документам: Эволюция структурированных данных и стратегическое управление ими, часть 2

(Окончание, начало см. http://rusrim.blogspot.com/2025/11/1_0106088173.html )

• Ключевые проблемы сегодня: Сегодня организации сталкиваются с рядом критически важных проблем при управлении структурированными данными в рамках своих программ стратегического управления документами и информацией:
  
  
• Интеграция с неструктурированными данными: Деловая информация существует не только в структурированных базах данных, но и в неструктурированных формах (в виде документов, электронных писем, мультимедийных материалов). Обеспечить согласованное стратегическое управление как структурированной, так и неструктурированной информацией затруднительно, поскольку для каждого вида информации имеются свои форматы и инструменты управления. Многие компании обрабатывают их изолированно - например, применяя правила по срокам хранения документов отдельно к контенту вне баз данных, и отдельно к базам данных. Этот разрыв приводит к пробелам в контроле и надзоре.
  
  
• Безопасность данных и защита персональных данных: Системы структурированных данных часто содержат высококонфиденциальную «чувствительную» информацию и персональные данные (PII), которые должны защищаться в соответствии с требованиями таких законов, как GDPR (закон Евросоюза о защите персональных данных – Н.Х.), HIPAA (американский Закон о переносимости и подотчётности медицинского страхования 1996 года, содержащий, в том числе, положения о защите медицинских данных и неприкосновенности личной жизни т.е. персональных данных – Н.Х.) и др. 
  
  Обеспечение безопасности баз данных (управление и контроль над доступом, шифрование) и исполнение требований законодательства о защите персональных данных (например, предусмотренного законом GDPR «права быть забытым») в контексте структурированных наборов данных является сложной задачей. Значительная часть избыточно длительно хранимых документов содержит персональные данные, что при отсутствии надлежащей защиты данных и их своевременного уничтожения подвергает организации риску неисполнения требований законодательства. Выявление всех случаев присутствия персональных данных в многочисленных базах данных и обеспечение надлежащего их уничтожения по запросу остаётся серьёзной проблемой.
  
  
• Хранение в течение установленных сроков и уничтожение/передача по их истечении: Исполнение указаний по срокам хранения и действиям по их истечении, а также проведение юридически защитимого уничтожения структурированных данных - крайне сложная задача (если база данных спроектирована без учёта необходимости уничтожения определённых данных по истечении сроков их хранения, обычно такое уничтожение оказывается технически невозможным без нарушения целостности всей базы данных – Н.Х.). В отличие от файлов в хранилище контента, записи в базах данных взаимосвязаны и постоянно обновляются, что затрудняет определение того, «что представляет собой документ в базе данных» и когда его можно удалить. 
  
  Многие организации по умолчанию хранят структурированные данные постоянно, что приводит к росту объёмов данных и несоблюдению требований к срокам хранения. Установление сроков хранения для строк или полей базы данных, и выполнение их удаления без нарушения целостности данных требуют тщательного планирования.
  
  
• Целостность данных: Поддержание целостности структурированных данных означает (с точки зрения управления документами – Н.Х.) сохранение их точности, полноты и неизменности с течением времени (существует также структурная целостность базы данных, требующая сохранения взаимосвязей между данными – Н.Х.). Это жизненно важно для документов, являющихся свидетельствами и доказательствами деловых операций. Целостность данных, однако, может быть скомпрометирована вследствие несанкционированных изменений, отсутствия журналов аудита или же из-за плохо проведенных миграций. Важно обеспечить, чтобы системы регистрировали изменения в журналах аудита и предотвращали несанкционированное вмешательство. Целостность также подразумевает сохранение взаимосвязей между данными — например, при архивировании или миграции данных, ссылки должны оставаться работающими, чтобы информация сохраняла свой контекст и смысл.
  
  
• Эволюция законодательно-нормативных требований: Законодательно-нормативные требования к управлению данными имеют тенденцию к ужесточению. В таких отраслях, как финансы и здравоохранение, действуют строгие нормативно-правовые требования к ведению документации и срокам её хранения; а новые законы о защите персональных данных во всем мире предписывают минимизацию объема данных и проведение их своевременного уничтожения. Контролирующие органы начали налагать штрафы за нарушения требований к срокам хранения и защите данных – например, компании штрафовались за несоблюдение требований к сохранению деловых сообщений в базах данных и за необеспечение безопасности персональных данных в процессе их уничтожения. Поддержание соответствия практики работы со структурированными данными требованиям новых законов и нормативных актов (от закона GDPR до отраслевых правил) является постоянной проблемой для специалистов по комплаенсу и по управлению документами.
  
  
• Перспективные передовые практики: Для решения возникающих проблем организации внедряют современные стратегии стратегического управления информацией:
  
  
• Разработка единой концептуальной структуры стратегического управления, охватывающей как структурированные, так и неструктурированные данные, что позволяет устранить изолированность информационных активов в организации. Сюда входит чёткое разделение баз данных и контента; и обеспечение выявления «документов» как в базах данных, так и в хранилищах документов.
  
  Мой комментарий: Упомянутое «чёткое разделение» на самом деле проблематично, поскольку сплошь и рядом вполне традиционные «бумагоподобные» документы хранятся на само деле в СУБД.
  
  
• Инвестирование в инструменты обнаружения, раскрытия и классификации данных с целью проведения инвентаризации данных, хранящихся в базах данных, выявления конфиденциальной информации и применения правильных политик по срокам хранения и защите данных. Понимание своих данных является необходимым предварительный условием для стратегического управления ими.
  
  
• Автоматизация хранения и уничтожения/передачи структурированных данных везде, где это возможно. Новые и нарождающиеся решения, такие как инструменты архивирования структурированных данных, позволяют организациям перемещать устаревшие данные в архивы и удалять их в соответствии с политикой, сохраняя при этом журналы аудита. Автоматизация этих процессов (при наличии соответствующего контроля и надзора) снижает количество ошибок и обеспечивает согласованность.
  
  
• Интеграция «запроектированной защиты персональных данных» и «запроектированной безопасности» в системы структурированных данных. Это означает принудительное применение доступа на основе ролей, шифрования и маскирования данных в базах данных, содержащих персональные данные. Это также означает создание функциональных возможностей для быстрого выполнения запросов на удаление и проверки того, что такие данные действительно были удалены из всех резервных копий и систем.
  
  
• Использование строгих мер контроля целостности данных, таких как ведение журналов аудита для отслеживания изменений в записях; соблюдение связанных с целостностью ограничений в базах данных (для предотвращения появления «осиротевших» и неверных данных); и проведение регулярных аудитов целостности. Для доверия к записям в базах данных критически важно обеспечить их защиту от несанкционированных изменений.
  
  
• Формирование междисциплинарной группы по стратегическому управлению информацией (включающей, в том числе, специалистов по управлению документами, ИТ-специалистов/архитекторов данных, специалистов по комплаенсу и юристов) для разработки политик в отношении структурированных данных и надзора над их исполнением. Осуществляемое совместными усилиями стратегическое управление помогает сбалансировать потребности деловой деятельности с требованиями законодательства.
  
  
• Упреждающий подход в отношении изменений в законодательстве: следует отслеживать появление новых законов и соответствующим образом обновлять свои политики. Если, например, вводятся ограничения по срокам хранения или новые требования к уничтожению данных, то их следует незамедлительно включить в программу стратегического управления. Регулярно проводимые программы обучения и ознакомления позволят информировать сотрудников о подлежащих исполнению законодательно-нормативных требованиях, связанных с данными.

Заключение: Системы структурированных данных эволюционировали от простых первоначальных разработок до сложных распределённых платформ, ставших неотъемлемой частью деловых процессов. Вместе с этой эволюцией на специалистов по управлению документами и информацией ложится ответственность за решение уникальных проблем стратегического управления, связанных со структурированными данными. 

Понимая историю и контекст таких систем, специалисты по управлению документами и информацией смогут эффективнее решать текущие проблемы, связанные с интеграцией, защитой персональных данных, управлением сроками хранения, обеспечением целостностью и исполнением законодательно-нормативных требований. 

В дальнейшем внедрение всеохватывающих методов и практик стратегического управления информацией и использование современных инструментов будут играть ключевую роль в обеспечении того, чтобы структурированные данные оставались активом, а не становились обузой. Организации, которые успешно осуществляют стратегическое управление своими структурированными данными, смогут не только смягчить риски и исполнить законодательно-нормативные требования, но и получат существенно бóльшую деловую отдачу от своих информационных активов.

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/from-rows-to-records 

От строк в таблицах баз данных к документам: Эволюция структурированных данных и стратегическое управление ими, часть 1

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 28 июля 2025 года в социальной сети Substack.

Это перевод бесплатно доступного резюме более обширного поста, доступного платным подписчикам.

Резюме для руководства

Понимая историю и контекст систем структурированных данных, специалисты могут эффективнее решать проблемы, связанные с интеграцией, защитой персональных данных, хранением в течение установленных сроков, обеспечением целостности и исполнения законодательно-нормативных требований.

• Эволюция систем структурированных данных: Управление структурированными данными берет свое начало в ранних этапах управления документами и компьютерных вычислений. Появление и распространение в 1970-х годах реляционных баз данных произвело революцию используемых организациями методах хранения, поиска и извлечения данных, предложив схему на основе таблиц, позволяющую разделить логические модели данных и их физическое хранение. 
  
  Мой комментарий: Структурированные данные и структурированные документы уже существовали в различных формах, как минимум, в средние века – и даже в нашу компьютерную эпоху реляционные базы данных стали довольно поздним изобретением, которому предшествовали десятилетия использования иерархических, сетевых и иных баз данных. У реляционных баз данных инновационным было не то, что они «базы данных», а наличие универсальных гибких методов манипулирования данными и появление готового мощного универсального программного обеспечения. Успех к реляционным базам данных пришёл по мере компьютеризации коммерческой деятельности (и смягчению ограничений на компьютерные ресурсы), где они оказались очень удобными – а до этого, пока компьютерные вычисления обслуживали, главным образом, государственные и научные учреждения, реляционные базы данных довольно долго оставались в тени своих конкурентов.
  
  Реляционные системы управления базами данных (реляционные СУБД - Relational Database Management Systems, RDBMS) стали доминирующими в 1980-х и 1990-х годах, в значительной степени вытеснив более ранние иерархические и сетевые базы данных (так они всё-таки были? :) – Н.Х.). Эта предыстория заложила основу для современных ориентированных на данные организаций и предприятий.

• Влияние реляционных баз данных: Реляционная модель (предложенная Коддом (E. F. Codd) в 1970 году) обеспечила беспрецедентную гибкость и эффективность хранения данных. 
  
  Мой комментарий: Сказанное не вполне точно :) Реляционные базы данных долгое время были непопулярны именно из-за того, что во многих приложениях переход на реляционную модель требовал существенно бóльших объёмов компьютерной оперативной и постоянной памяти, которая тогда была дефицитной. На само деле мощь реляционной модели – в её универсальности (любую базу данных можно преобразовать в реляционную форму) и в замечательных стандартных инструментах манипулирования данными в составе готового ПО. Благодаря этому создание эффективных баз данных стало доступно всем организациям.
  
  Сохраняя каждый факт лишь один раз и используя язык структурированных запросов (Structured Query Language, SQL) для извлечения и объединения данных, организации могли обеспечить согласованность и эффективно отвечать на сложные запросы. Коммерческие реляционные базы данных (такие как Oracle, DB2, SQL Server) получили широкое распространение с конца 1970-х годов (более точно, с конца 1980-х годов, когда компьютеры стали доступны крупным коммерческим организациям; однако настоящая революция началась позднее, с широким распространением персональных компьютеров в 1990-е годы – Н.Х.), трансформировав деловые процессы, на протяжении десятилетий обеспечивая обработку транзакций и став фундаментом корпоративных информационных систем. Технология реляционных СУБД стала основой для стратегического управления документами и информацией по мере того, как коммерческие организации стали полагаться на эти системы для управления структурированными документами (например, финансовыми данными, информацией о клиентах).
  
  
• Появление новых парадигм данных: К 2000-м годам взрывной рост объёма веб-данных и данных от датчиков («больших данных») привёл к появлению новых проблем. Традиционные базы данных SQL, разработанные для односерверных сред, с трудом масштабировались до объёмов, характерных для эпохи интернета. Это привело в конце 2000-х годов к появлению баз данных NoSQL, разработчики которых пожертвовали некоторыми реляционными функциями ради распределённой масштабируемости (например, Google BigTable, Hadoop/HDFS, Cassandra). Позднее распределённые базы данных SQL, сочетающие масштабируемость NoSQL с преимуществами реляционных систем. Эти разработки диверсифицируют ландшафт структурированных данных, создавая более сложную среду для стратегического управления информацией.

(Окончание следует)

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/from-rows-to-records 

США: Начато публичное обсуждение документа «Принципов Конференции Седона в отношении баз данных», часть 2

(Окончание, начало см. http://rusrim.blogspot.com/2025/07/1_01625968117.html )

Принципы Конференции Седона в отношении баз данных

Рабочая группа WG1Конференции Седона по обеспечению сохранности и представлению электронных документов (Working Group on Electronic Document Retention and Production) изучила проблемные вопросы, связанные с раскрытием информации из баз данных в гражданских судебных разбирательствах, и разработала следующие Принципы, связанные с обеспечением сохранности и представления баз данных и содержащейся в них информации – «Принципы Конференции Седона в отношении баз данных» (The Sedona Conference Database Principles).

1. Область охвата раскрытия информации

В отсутствие конкретных доказательств необходимости представления иной информации, запрашивающая сторона имеет право только на доступ к полям базы данных, которые содержат имеющую отношение к делу информацию или же описывают контекст этой информации, - а не ко всей базе данных, в которой хранится эта информация и/или к приложению для работы с базами данных, лежащего в основе базы данных и/или механизму СУБД.

2. Доступность и соразмерность

Ввиду различий в способах хранения и размещения информации в базе данных, не вся информация в базе данных может быть в одинаковой степени доступна, - поэтому сторонам следует применять принцип соразмерности к каждому компоненту базы данных для определения границ ценности информации для судебного разбирательства и предельных затрат на её сбор и предоставление.

3. Использование тестовых запросов и пилотных проектов

Стороны должны использовать объективную информацию - например, полученную в результате выполнения тестовых запросов, пилотных проектов и в ходе собеседований с лицами, обладающими соответствующими знаниями - для определения затрат и полезной отдачи от сбора и представления хранящейся в базах данных информации, а также для достижения консенсуса относительно объема раскрытия информации.

4. Валидация

Представляющая информацию сторона должна использовать разумные меры для подтверждения того, что собранные ею данные из базы данных являются в разумной степени полными, а также что не имела места непреднамеренная модификация сохраняемой электронным образом информации (ESI).

5. Аутентичность данных и их допустимость в качестве доказательств

Надлежащая валидация данных, отобранных из базы данных, сама по себе не означает автоматически подлинности, допустимости или достоверности существенной информации, хранящейся в базе данных. Это отдельные вопросы, которые должны быть проанализированы соответствующими принимающими решения лицами.

6. Форма представления информации

То, каким именно образом запрашивающая сторона намеревается использовать информацию из базы данных, является важным фактором при определении подходящего формата представления информации.

Источник: сайт Конференции Седона
https://thesedonaconference.org/publication/Commentary_on_Addressing_Databases_in_Civil_Discovery
https://thesedonaconference.org/civicrm/mailing/url?u=87817&qid=19731347 

США: Начато публичное обсуждение документа «Принципов Конференции Седона в отношении баз данных», часть 1

11 июля 2025 года сайт и новостная рассылка «Конференции Седона» (Sedona Conference ® –это очень авторитетный американский некоммерческий правовой идейный центр, в основном занимается вопросами раскрытия в ходе судебных разбирательств и расследований сохраняемой в электронном виде информации (э-раскрытия) – Н.Х.), - сообщили о начале публичного обсуждения нового документа «Принципы Конференции Седона в отношении баз данных: Вопросы обеспечения сохранности и представления баз данных и содержащейся в них информации в ходе гражданских судебных разбирательств» (The Sedona Conference -  Database Principles - Addressing the Preservation and Production of Databases and Database Information in Civil Litigation) объёмом 69 страниц. Публичное обсуждение продлится до 25 августа 2025 года.

Документ можно скачать по адресу https://thesedonaconference.org/publication/Commentary_on_Addressing_Databases_in_Civil_Discovery 

В извещении о проведении публичного обсуждения отмечается следующее:

«Как упростить раскрытие информации в ситуациях, связанных с базами данных?

Важно установить разумные ожидания в отношении представления информации, содержащейся в базах данных. Соответственно, основная тема Комментария конференции Седона по поводу решения проблем, связанных с базами данных, при раскрытии содержащейся в них информации в ходе гражданских судебных разбирательств (далее – «Комментарий») заключается в том, что взаимный обмен информацией — между специалистами по управлению базами данных и юристами, которые просят их найти и экспортировать относящуюся к судебному разбирательству информацию, а также между юристами запрашивающей и представляющей информацию сторон — имеет ключевое значение при работе с базами данных. Многие распространённые споры по таким вопросам, как формат предоставления данных, могут быть смягчены или даже устранены благодаря более эффективному диалогу между сторонами.

В данном Комментарии, который теперь доступен для публичного обсуждения, утверждается, что более эффективный обмен информацией естественным образом сократит количество необоснованных запросов к базам данных, которые обычно охватывают нерелевантную или ненадлежащую информацию, а также предотвратит порождение терабайт бесполезных, недифференцированных данных.

В данном Комментарии содержатся практические рекомендации, которые, по мнению редакционной группы, разъясняют обязанности как запрашивающей, так и представляющей информацию сторон и упрощают процесс раскрытия информации по вопросам, связанным с базами данных и содержащейся в них информацией. Конкретные обстоятельства судебного разбирательства в сочетании с особенностями реализации соответствующих баз данных могут вызвать дополнительные проблемы обеспечения сохранности и представления, не затронутые в настоящем документе. Тем не менее, редакционная группа полагает, что заложенная в настоящем Комментарии основа послужит ценным руководством для сторон, столкнувшихся с новыми для них проблемами обеспечения сохранности и представления баз данных.

Данный Комментарий - проект Рабочей группы 1 (WG1) Конференции Седона по обеспечению сохранности и представлению электронных документов (Electronic Document Retention and Production). Период публичного обсуждения данного документа заканчивается 23 августа 2025 года. Вопросы и комментарии можно направлять по электронной почте на адрес comments@sedonaconference.org . Авторская группа внимательно рассмотрит все полученные комментарии, и определит, какие изменения следует внести в финальную версию документа.

Скачать версию Комментария для публичного обсуждения можно по адресу 
https://thesedonaconference.org/civicrm/mailing/url?u=87817&qid=19731347 .» 

 Содержание «Принципов» следующее:

Предисловие
Резюме для руководства
Принципы Конференции Седона в отношении баз данных
I. Введение
II. Применение существующих принципов Конференции Седона к базам данных и содержащейся в них информации 
III. Принципы Конференции Седона по обеспечения сохранности и представления баз данных и содержащейся в них информации («Принципы Конференции Седона в отношении баз данных»)
IV. Приложение: Наиболее распространённые платформы баз данных

(Окончание следует, см. https://rusrim.blogspot.com/2025/08/2.html )

Источник: сайт Конференции Седона
https://thesedonaconference.org/publication/Commentary_on_Addressing_Databases_in_Civil_Discovery
https://thesedonaconference.org/civicrm/mailing/url?u=87817&qid=19731347  

Эстонский опыт архивирования баз данных: Почему, что и как?

Как я уже рассказывала на блоге, в Евросоюзе существует проект Еврокомиссии «Европейская инициатива в области электронной архивации» (EU eArchiving Initiative, https://digital-strategy.ec.europa.eu/en/activities/earchiving ), которым управляет консорциум E-ARK. Членами этого консорциума являются ряд национальных и региональных архивов, университеты и научно-исследовательские институты, фонды и ассоциации, поставщики программного обеспечения и консалтинговые компании из более чем десятка европейских стран ( https://www.e-ark-foundation.eu/consortium-members/ ).

Об успешности деятельности консорциума в целом можно спорить, однако его канал на сайте YouTube ( https://www.youtube.com/@e-ark/videos ) несомненно является ценным ресурсом для архивистов и специалистов по управлению документами, поскольку на нём выложена интересная подборка видеоматериалов по различным вопросам электронной архивации. Доклады готовятся на английском языке.

20 июня 2025 года канал выложил 56-минутную видеозапись доклада (на английском языке) известного эстонского специалиста Койта Сааревета (Koit Saarevet, Национальные архивы Эстонии) на тему «Опыт архивирования баз данных: Почему, что и как?», см. https://www.youtube.com/watch?v=R57VOSCskLA 

Эстонские архивисты, в отличие от своих российских коллег, уже в течение довольно-таки длительного времени экспериментируют с архивацией государственных баз данных, при этом действуя в рамках законодательства, которое не так уж сильно отличается от российского. Соответственно, их опыт, с моей точки зрения, заслуживает внимания :)

В аннотации к докладу отмечается:

«В рамках данного вебинара, организованного Европейской инициативой в области электронной архивации (EU eArchiving Initiative) и представленного Койтом Саареветом из Национальных архивов Эстонии, рассматриваются практические аспекты архивирования баз данных, при этом особое внимание уделяется вопросам методологии и инструментам, используемым в средах промышленной эксплуатации.

С обеспечением долговременной сохранности баз данных связаны уникальные проблемы, возникающие вследствие их сложной структуры и динамической природы. На данном вебинаре представлен подход, используемый Национальными архивами Эстонии, который охватывает весь поток рабочих процессов от экспертизы ценности до архивного хранения. Вебинар охватывает следующие темы: 

• Нормативно-правовая база и критерии экспертизы ценности баз данных,
  
  
• Обзор моделей баз данных (реляционные базы данных, NoSQL) и их последствия для архивирования,
  
  
• 9-шаговый процесс архивирования: инициирование, стартовое совещание, клонирование базы данных, тестовые извлечения, экспертиза ценности, окончательное извлечение, документирование и завершение.
  
  
• Введение в формат SIARD и «взгляд внутрь»,
  
  
• «Набор инструментов для обеспечения долговременной сохранности баз данных» (Database Preservation Toolkit, DBPTK): введение, различные способы его использования,
  
  
• Необходимые метаданные и техническая документация.

По ходу вебинара демонстрируются возможности инструментального набора DBPTK по созданию SIARD-пакетов, с использованием как графического пользовательского интерфейса, так и интерфейса командной строки. Вы также узнаете, как просматривать архивные снимки баз данных, и почувствуете разницу в сложности поиска между SQL-запросами к активной базе данных и поиском по полностью проиндексированным полям с рабочего стола DBPTK.

Данный контент предназначен для архивистов и ИТ-специалистов, отвечающих за обеспечение долговременной сохранности содержимого баз данных в своих организациях.»

Источник: Канал E-ARK Consortium на сайте YouTube
https://www.youtube.com/watch?v=R57VOSCskLA 

Перечень случаев формирования составов персональных данных, полученных в результате обезличивания и сгруппированных по определенному признаку

Правительство Российской Федерации постановлением от 24 апреля 2025 года №538 утвердило «Перечень случаев формирования составов персональных данных, полученных в результате обезличивания персональных данных, сгруппированных по определенному признаку, при условии, что последующая обработка таких данных не позволит определить принадлежность таких данных конкретному субъекту персональных данных». Постановление вступит в силу с 1 сентября 2025 года.
 
Составы персональных данных (ПДн), полученных в результате обезличивания, сгруппированные по определенному признаку, при условии, что последующая обработка таких данных не позволит определить их принадлежность конкретному субъекту ПДн, формируются Министерством цифрового развития, связи и массовых коммуникаций РФ (Минцифры) в следующих случаях:

• При угрозе возникновения или возникновении чрезвычайных ситуаций природного и техногенного характера на определенной местности в целях организации защиты населения, охраны общественного порядка при ликвидации последствий чрезвычайной ситуации;
  
  
• При выработке и реализации государственной политики в области противодействия терроризму;
  
  
• При введении чрезвычайного положения на всей территории РФ или в ее отдельных местностях в соответствии с Федеральным конституционным законом «О чрезвычайном положении» в целях защиты населения, охраны общественного порядка;
  
  
• При введении ограничительных мероприятий (карантина) на территориях субъектов РФ (одного или нескольких) для предупреждения распространения инфекционных заболеваний и массовых неинфекционных заболеваний (отравлений) в соответствии с Федеральным законом «О санитарно-эпидемиологическом благополучии населения»;
  
  
• При проведении статистических или иных исследований в целях выработки и реализации государственной политики в сфере туризма, получения информации о следовании туристов (экскурсантов) по туристским маршрутам и необходимости определения количества туристов (экскурсантов);
  
  
• При проведении исследований в экономической и социальной сферах в целях реализации государственной миграционной политики Российской Федерации, учета естественного движения и миграции населения;
  
  
• При проведении статистических, научных или иных исследований в области обеспечения санитарно-эпидемиологического благополучия населения в целях прогнозирования санитарно-эпидемиологической обстановки, направлений ее изменения в соответствии с Федеральным законом «О санитарно-эпидемиологическом благополучии населения» и необходимости получения информации о перемещении граждан Российской Федерации, иностранных граждан и лиц без гражданства.

Такая работа проводится при наличии поручений:

• Президента Российской Федерации;
  
  
• Председателя Правительства РФ;
  
  
• Заместителей Председателя Правительства РФ.

А также по решению:

• Директора ФСБ (председателя Национального антитеррористического комитета), заместителя директора ФСБ - руководителя аппарата Национального антитеррористического комитета;
  
  
• Правительственной комиссии по предупреждению и ликвидации чрезвычайных ситуаций и обеспечению пожарной безопасности.

Источник: Консультант Плюс
https://www.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=504095

Видео технического подкомитета ИСО TC46/SC11 о техническом отчёте ISO/TR 8344:2024 об управлении документами в средах структурированных данных

9 октября 2024 года канал технического подкомитета Международной организации по стандартизации (ИСО) TC46/SC11 «Управление документами» на сайте YouTube, см. https://www.youtube.com/@TC46SC11Archivesandrecords-d9r , выложил новый 3-минутный видеоролик (на английском языке) под названием «Технический отчёт ISO/TR 8344:2024 объясняет вопросы управления документами в средах структурированных данных» (ISO TR 8344 2024 Explainer Structured Data Environments), см. https://www.youtube.com/watch?v=eU-9SWaAIJs .

В нём речь идёт недавно опубликованном техническом отчёте ИСО, о котором я уже писала – см. http://rusrim.blogspot.com/2024/04/isotr-8344.html

В аннотации отмечается:

«В условиях сегодняшнего быстро меняющегося цифрового ландшафта эффективное управление документами становится более важным, чем когда-либо прежде. Технический отчет Международной организации по стандартизации (ИСО) ISO/TR 8344:2024 «Информация и документация – Вопросы и соображения относительно управления документами в средах структурированных данных» (Information and documentation - Issues and considerations for managing records in structured data environments, https://www.iso.org/standard/83138.html ) содержит ключевые рекомендации по работе с документами в средах структурированных данных, обеспечивая соответствие этих документов деловым потребностям и законодательно-нормативным требованиям.

Данное видео представляет недавно выпущенный продукт технического подкомитета ISO/TC46/SC11 «Управление документами» и высвечивает основные проблемы, с которыми сталкиваются организации при управлении структурированными данными в качестве документов. Вы сможете узнать, как стандарты ИСО помогают кодифицировать передовые практики в форме применимых в международном масштабе систем менеджмента, обеспечивающих аутентичность документов, их надёжность и пригодность к использованию.

Вы также узнаете, каким образом стандарты и другие продукты ИСО помогают организациям разрабатывать и совершенствовать системы, которые создают документы и управляют ими, способствуя постоянному совершенствованию и соблюдению законодательно-нормативных требований. Независимо от того, являетесь ли вы руководителем делового подразделения, специалистом по управлению документами или ИТ-специалистом, ISO/TR 8344:2024 предоставляет Вам инструменты, необходимые для преодоления сложностей современного мира, движимого данными.

Смотрите это видео сейчас, чтобы познакомиться с тем, как технический подкомитет ISO/TC46/SC11 формирует будущее управления документами!»

Источник: YouTube
https://www.youtube.com/watch?v=eU-9SWaAIJs

Судебная практика: Сотрудник уволен с должности за незаконное использование персональных данных из закрытой базы данных МВД

Накопление персональных данных граждан в различных информационных системах неизбежно приводят к тому, что этой информацией начинают интересоваться различные лица, которые не всегда имеют право на доступ к ней.

Ленинский районный суд города Кирова в январе 2023 года вынес решение по гражданскому делу №2-340/2023 (УИД 43RS0001-01-2022-009259-02), в котором сотрудник МВД оспаривал свое увольнение из органов за то, что получил от оперуполномоченного управления уголовного розыска УМВД сведения о передвижении гражданки на железнодорожном и авиатранспорте по ПТК «Розыск-Магистраль»2, - а впоследствии предоставил эти данные в суд г. Санкт-Петербурга, являясь представителем своего отца по гражданскому делу.

Суть спора

Согласно приказу УМВД России по Кировской области, за грубое нарушение служебной дисциплины, выразившееся в несоблюдении ограничений и запретов, направленных на недопущение разглашения сведений конфиденциального характера, которое повлекло обработку персональных данных гражданки без её согласия и их предоставление в распоряжение суда, сотрудник был уволен из органов внутренних дел.

Основанием для издания вышеуказанного приказа послужило заключение по материалам служебной проверки. Служебная проверка была назначена начальником УМВД по обстоятельствам, изложенным в рапорте по факту получения и распространения сотрудником органа внутренних дел иным лицам информации с персональным данными, полученной в связи с выполнением служебных обязанностей, в личных целях.

Гражданин не согласился с увольнением и обратился в суд

Позиция Ленинского районного суда г. Кирова

Проведенной проверкой было установлено, что от гражданки поступила жалоба о распространении ее персональных данных без ее согласия. Было установлено, что начальник тыла УМВД по г. Кирову, полковник внутренней службы получил от оперуполномоченного УУР УМВД сведения о передвижении гражданки на железнодорожном и авиатранспорте по ПТК «Розыск-Магистраль»2, и впоследствии предоставил эти данные в суд г. Санкт-Петербурга, являясь представителем своего отца по гражданскому делу. Таким образом, им были получены и распространены чужие персональные данные в личных целях.

Суд отметил, что совершение истцом действий по распространению персональных данных лица без его согласия, и по передаче информации, касающейся частной жизни иным лицам, не являющимся сотрудниками органов внутренних дел, когда это не входит в его должностные обязанности, является неприемлемым для сотрудника, и такие действия, безусловно, подрывают деловую репутацию и авторитет полиции.

Сотрудником, которому в силу характера осуществляемой службы должно было быть известно о недопустимости действий, совершенных им при несении службы с соблюдением требований к служебному поведению, допустил проступок, вызывающий сомнение в его объективности, беспристрастности, нанося ущерб органам внутренних дел.

Увольнение со службы сотрудника полиции, более не отвечающего предъявляемым к сотруднику органов внутренних дел требованиям, предопределено необходимостью комплектования правоохранительных органов лицами, имеющими высокие морально-нравственные качества и способными надлежащим образом выполнять принятые ими на себя обязательства по защите прав и свобод человека и гражданина, соблюдению Конституции Российской Федерации, обеспечению безопасности, законности и правопорядка.

Суд отказал гражданину в иске к УМВД России по Кировской области, Министерству внутренних дел РФ, УМВД России по г. Кирову.

Судебная коллегия по гражданским делам Кировского областного суда в апреле 2023 года по делу №№33-1537/2023 оставила без изменения решение Ленинского районного суда г. Кирова, а апелляционную жалобу – без удовлетворения.

Судебная коллегия по гражданским делам Шестого кассационного суда в июне 2023 года (дело №88-14410/2023) оставила без изменения решение Ленинского районного суда г. Кирова и апелляционное определение судебной коллегии по гражданским делам Кировского областного суда, а кассационную жалобу гражданина - без удовлетворения.

Источник: Судебные решения РФ
https://www.судебныерешения.рф/76134276/extended
https://www.судебныерешения.рф/74365607/extended
https://www.судебныерешения.рф/76375970/extended  

Первые впечатления от технического отчёта ISO/TR 8344:2024 «Вопросы и соображения относительно управления документами в средах структурированных данных»

Данный пост австралийского специалиста в области управления документами и информацией Карла Мелроуза (Karl Melrose – на фото) был опубликован 4 мая 2024 года на его блоге Meta-IRM (Мета-управление информацией и документами).

Мой комментарий: Мой пост о новом техническом отчёте ISO/TR 8344:2024 «Информация и документация – Вопросы и соображения относительно управления документами в средах структурированных данных» (Information and documentation - Issues and considerations for managing records in structured data environments) см. здесь: http://rusrim.blogspot.com/2024/04/isotr-8344.html

Обычно я очень рад видеть продвижение Международной организации по стандартизации (ИСО) в вопросах, с которыми все мы боремся, однако моей первой реакцией на технический отчёт ISO/TR 8344 было замешательство.

Я наткнулся на проблемный момент, ещё даже не закончив смотреть содержание. В связи с этим передо мной встаёт серьёзная проблема относительно того, в какой степени мне следует доверять остальной части документа.

Раздел 5.9 озаглавлен «Уничтожение/передача отдельных документов невозможны» - данное утверждение, по моему мнению, совершенно неверно (пожалуйста, поправьте меня, если Вы со мной не согласны).

Мой комментарий: Вот что значит читать документ «по диагонали» … Вне контекста данное утверждение, действительно, было бы в общем случае неверным; однако подраздел 5.9 входит в состав раздела 5 «Проблемы управления документами в средах структурированных данных», в котором перечислены возможные проблемы (это становится ясно, если читать раздел последовательно). Хотя авторов текста можно упрекнуть за то, что они не сформулировали положения более чётко и однозначно, - однако документ говорит о проблеме, с которой можно столкнуться, и не утверждает, что такая проблема имеет место везде и всегда :) Интересно, что если документ будет переводиться на русский язык, то этой проблемы легко будет избежать, если продуманно подбирать слова.

Хотя в самом подразделе описывается ряд реально существующих проблем, характерных для структурированных данных, я не могу уйти от того факта, что в заголовке содержится явно ошибочное утверждение.

Если бы в заголовке было написано «трудно», «сложно», «концептуально иначе» - или что-то ещё, вместо слова «невозможно», - я бы на 100% согласился с ним. Однако утверждение со словом «невозможно» является неверным, и у нас есть достаточно тому доказательств.

Начнём с того, что электронные системы управления контентом и документами (EDRMS) - это системы структурированных данных. И они были спроектированы таким образом, чтобы можно было уничтожать документы.

Мой комментарий: С данным утверждением Карла я готова поспорить (ну хотя бы потому, что из общения с авторами текста знаю, что под средами структурированных данных они имеют в виду базы данных, в первую очередь реляционные, а не хранение – пусть даже в базах данных – неструктурированных документов). С другой стороны, авторы документа несомненно виноваты в том, что так и не смогли предложить осмысленное определение понятий «структурированный», «неструктурированный», «полуструктурированный», вследствие чего появился простор для интерпретаций.

Вся соль нового технического отчёта в том, что он рассматривает структурированные документы, образующиеся набором полей данных (записями данных) в обычных базах данных, используемых в деловых информационных системах, которые ориентированы на работу с данными, а не документами, и часто никак не поддерживают уничтожение образовавшихся в этих системах документов.

У EDRMS-систем имеются точно такие же концептуальные проблемы с определением того, что представляет собой документ, как и у любой другой системы структурированных данных – коллективно используемые объекты, значения ключей, ссылочная целостность, данные, взаимосвязанные с данными в других таблицах и местах (включая объекты – также представляющие собой данные).

Мой комментарий: Данное утверждение не вполне корректное, поскольку многие EDRMS-системы (в отличие от прочих информационных систем) проектируются с расчётом на то, что они будут поддерживать надлежащее управление «документами», и. соответственно, они «знают», что такое «документ» в их контексте.

И в EDRMS-системах уничтожение возможно, - потому что приложение спроектировано таким образом, чтобы это поддерживать. И EDRMS - не единственный пример.

По моему опыту, почти каждое приложение имеет процедуру уничтожения, которая спроектирована так, чтобы защищать целостность базы данных (ссылочная целостность и т.д.), и при этом дать Вам возможность уничтожать определенные данные. Хотя мы часто мешаем этому, используя репликация, плохая архитектура не делает что-либо принципиально невыполнимым - она усложняет задачу; но если бы это была простая проблема, то люди не стали бы платить нам за её решение.

Ниже приведено видео (см. https://www.youtube.com/watch?v=V2xUAp5lcPI ), показывающее процедуру уничтожения в системе Hubspot. Оно доказывает, что уничтожение (как одна из форм решения окончательной судьбы документов и данных) не только осуществимо, но и тривиально просто, поскольку оно заложено в приложении.

Поэтому я должен спросить, неужели я трагически плохо информирован и ошибаюсь в этом вопросе? Я упустил какой-то нюанс?

Мой комментарий: Карл прав – увлёкшись критикой, он действительно упустил важный «нюанс». Он не понял, что технический отчёт не считает уничтожение документов в средах структурированных данных принципиально невозможным – и как раз говорит о том, что для того, чтобы уничтожение было возможным, в системе должна быть предусмотрена соответствующая функциональная возможность. Одного этого, однако, может быть мало – например, в случае реляционных баз данных сама архитектура базы данных должна быть продумана таким образом, чтобы допускать удаление информации, относящейся к определенным сущностям. Это не какая-то теория, а выводы, сделанные на основе многолетнего практического опыта специалистами, работавшими именно с базами данных, а не с документными (EDRMS) системами …

Или же всё-таки требуется срочно изменить название данного подраздела, прежде чем коллеги из профессионального сообщества прочитают его и начнут действовать так, как будто содержащееся в нём утверждение верно?

Карл Мелроуз (Karl Melrose)

Источник: блог Meta-IRM
https://metairm.substack.com/p/first-thought-on-isotr-83442024-issues

Как заставить процессы уничтожения агрегаций документов работать в системах структурированных данных

Данный пост австралийского специалиста в области управления документами и информацией Карла Мелроуза (Karl Melrose – на фото) был опубликован 2 апреля 2024 года на его блоге Meta-IRM (Мета-управление информацией и документами).

Как заставить процессы уничтожения агрегаций документов (aggregate record) работать в системах структурированных данных? Ответ на данный вопрос, судя по всему, является загадкой даже для очень дальновидных специалистов-практиков.

По моему опыту, типичная причина концептуальных проблем в данном случае заключается в том, что люди, пытаясь справиться с поставленной задачей, инстинктивно думают о базе данных.

Это упрощенное представление: У нас есть хранилище данных (контейнер для документов), и мы смотрим на него и думаем, что оно организовано в виде таблиц, в таблицах отражены транзакции, а сведения о транзакциях называются документами - поэтому мы хотим на них посмотреть! (На самом деле, не хотим!)

Использовать подобную логику – всё равно что подойти к куче блоков конструктора Лего и попытаться понять, что же ранее было построено из этих элементов. Это может быть возможно в очень простых случаях, когда база данных вообще не была нормализована, - однако в большинстве случаев уровень уверенности будет очень низким, а вероятность возникновения непредвиденных последствий, наоборот, будет очень высокой.

Более точная аналогия заключается в том, что это похоже на попытку провести экспертизу ценности текстового документа в формате Word, просматривая хранящиеся на жёстком диске биты - единицы и нули. Все становится проще, если Вы используете для этой цели приложение Word.

Чтобы понять, что такое уровень транзакций, нам следует пойти и взглянуть на само деловое приложение и разобраться с тем, как это деловое приложение порождает транзакции. Обычно это достаточно тривиальное дело, когда речь идёт об ориентированных на пользователя приложениях.

Фактически, есть два способа решить эту задачу: или посидеть в течение пяти минут с кем-то, кто использует приложение, и попросить этого коллегу пошагово показать, что он там делает, - или пойти и взглянуть на интерфейс приложения, и поискать там, что именно оно позволяет Вам создавать.

Вам следует сосредоточить своё внимание на существительных.

Приложения разрабатываются для фиксации и обновления состояния вещей — «состояние» (state) просто означает определенные характеристики вещи в определенный момент времени.

«Вещи» почти всегда являются именами существительными – это может быть физическое лицо, клиент, актив, продукт, дело, заказ, контракт и т.д.

Что делает управление документами в системах структурированных данных непонятным и запутанным для специалистов по управлению документами, так это то, что обычно мы предпочли бы иметь одну единственную, содержащую всё «запись», которой мы могли бы управлять вплоть до уничтожения - а если мы не уничтожим всё и вся, то у нас останется чувство, словно мы не сделали того, что от нас ожидалось.

Создающие базы данных специалисты считают такой подход расточительным и неэффективным, поэтому обычно вы видите в базах данных набор связей типа «один ко многим» между существительными, которые представляют человека, место или вещь, и существительными, которые представляют связанные с ними действия (транзакции).

Мой комментарий: Карл Мелроуз пытается здесь объяснить, что в базах данных одни и те же компоненты могут использоваться для «сборки» не одного документа, а многих – и, соответственно, такие компоненты нельзя удалять, пока продолжает храниться хотя бы один документ, для сборки которого они нужны. По аналогии с Лего, при уничтожении документа можно спокойно уничтожить только те блоки и связи, что являются для этого документа уникальными.

Здесь интересно отметить, что если об этом рассуждать с точки зрения классификационных схем, то можно было бы сказать, что речь идёт о структуре «Субъект : Действие : Транзакция» - при этом сведения о действии обычно фиксируются в виде типа транзакции.

Простым примером служат системы менеджмента активов. Скорее всего, у нас будет актив (один), а также набор связанных с активом случаев их использования (много) разных типов (соответствующих разным видам деятельности). Актив (один) связан со многими случаями использования – транзакциями.

Ещё одним примером являются системы «обслуживания клиентов». Клиент (один) связан со многими продажами – транзакциями.

То существительное, которого «много», скорее всего будет нашими «транзакциями».

В какой-то момент всякое существительное, которое «одно», также было создано - и это тоже транзакция, которую в какой-то момент нужно будет удалить.

Именно в этих отношениях «один ко многим» большинство коллег [специалистов по управлению документами – Н.Х.] застревает, когда задумывается об уничтожении информации и документов в базах данных.

Нам нужно осознать, что для уничтожения транзакции нам необходимо избегать уничтожения любых многократно используемых данных и уничтожать только те данные, которые уникальны для данной транзакции. Если мы удалим уникальные данные, связанные с транзакцией, то уничтожим возможность представления транзакции с помощью тех данных, которые остались, - поэтому тем самым мы уничтожили эту транзакцию. Звучит это сложно, но, как правило, на деле это не так - до тех пор, пока вы избегаете собственно базы данных, как чумы, и взаимодействуете с приложением.

Разработчики приложений обычно не осознают потребность в проведении авторизованного уничтожения, и приложения, соответственно, этого должным образом не поддерживают, - однако функция «удаления» в приложениях обычно имеется, даже если она недоступна обычным пользователям. Если приложение спроектировано хорошо, то функция удаления будет включать в себя логику, защищающую целостность базы данных, на которую опирается приложение, а также ограничивающую круг удаляемых элементов только уникальными для соответствующей транзакции данными (а не всеми элементами, от которых зависит запись о транзакции).

Действительно, при этом остаётся решить проблему уничтожения с такими сущностями, как «физическое лицо» и «адрес» — и с некоторыми другими существительными / сущностями, от которых зависят транзакции, но это небольшая концептуальная проблема, решение которой требует лишь небольшой гибкости мышления. Если мы уничтожили наши транзакции и при этом остались сведения о людях и адресах без привязанных к ним транзакций, и эти сведения используются только для поддержки данных транзакций (т.е. в их отношении нет собственных требований к срокам хранения), то об этом легко собрать отчётность и уничтожить эти сведения в качестве вторичного действия после проведения процесса уничтожения на уровне транзакций.

Ситуация усложняется, когда имеются приложения, использующие эти данные на последующих этапах обработки информации.

Вот для чего нужны сведения о происхождения и перечни видов документов, информации с указанием сроков хранения и действий по их истечении.

Предполагается, что в перечнях указаны сроки, в течение которого нам нужны соответствующие данные, - в том числе для любого последующего использования на дальнейших этапах обработки. Хорошие перечни должны принимать во внимание все виды использования в деловой деятельности, включая последующее и повторное использование. Может быть несколько затруднительно отслеживать всё это, если информация и данные копируются, но это можно сделать.

Сведения о происхождении (lineage) также полезны: они говорят нам, откуда взялись наши данные — это происхождение (provenance) на уровне данных. Если у нас есть сведения о происхождении, то мы знаем, откуда взялись данные и куда они идут. Отсутствие таких сведений может довольно быстро, лет через пять-десять, обернуться масштабными проблемами, особенно если речь идёт о хранилище данных (data warehouse) или, тем более, об озере данных.

Если же говорить серьёзно, то любая мысль о невозможности выполнения процесса уничтожения данных в базах данных просто неверна. Нам лишь нужно убедиться, что мы рассматриваем вопрос на адекватном уровне абстракции. Представление о базах данных [на уровне отдельных полей данных и записей в базе данных – Н.Х.] сродни попытке проведения экспертизы текстового документа в формате Word посредством просмотра потока составляющих его битов на жёстком диске: мы можем добиться куда большего, используя соответствующее программное приложение (Word).

Карл Мелроуз (Karl Melrose)

Источник: блог Meta-IRM
https://metairm.substack.com/p/how-to-make-aggregate-record-destruction

ИСО: Опубликован технический отчёт ISO/TR 8344:2024 «Вопросы и соображения относительно управления документами в средах структурированных данных»

15 апреля 2024 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации нового технического отчёта ISO/TR 8344:2024 «Информация и документация – Вопросы и соображения относительно управления документами в средах структурированных данных» (Information and documentation - Issues and considerations for managing records in structured data environments) объёмом 69 страниц, см. https://www.iso.org/standard/83138.html и https://www.iso.org/obp/ui/en/#!iso:std:83138:en . Документ подготовлен техническим подкомитетом TC46/SC11 «Управление документами».

О работе над техническим отчётом я уже рассказывала на блоге, см. http://rusrim.blogspot.com/2023/12/isodtr-8344.html .

Во вводной части документа отмечается:

«Возрастает деловая потребность в руководствах и рекомендациях по разработке и внедрению адекватных политик и процедур, помогающих обеспечить обладание документами в средах структурированных данных свойствами аутентичности, надежности, целостности и пригодности к использованию.

Хотя описанная в стандарте ISO 30301 система менеджмента документов может использоваться для обеспечения надлежащего руководства, планирования, поддержки, совершенствования и оценки применительно к документам в средах структурированных данных, существуют также специфические для этих сред вопросы, касающиеся мер и средств контроля и управления над документами и документных процессов и систем, которые необходимо принять во внимание.

Данный документ содержит обзор ландшафта управления документами в средах структурированных данных. В нём указаны соответствующие проблемы и соображения в отношении управлению документами в этих средах.

Основной целевой аудиторией данного документа являются разработчики политик в области данных, проектировщики систем, владельцы деловых систем, специалисты по управлению данными, по базам данных и по управлению документами, совместно работающие над тем, чтобы обеспечить применение в средах структурированных данных надлежащих подходов, процессов, мер и средств управления документами, а также систем управления документами.

… В настоящем документе описаны проблемы и соображения по вопросам управления документами в средах структурированных данных.»

Содержание технического отчёта следующее:

Предисловие
Введение
1. Область применения
2. Нормативная ссылка
3. Термины и определения
4. Основные понятия и концепции
5. Вопросы управления документами в средах структурированных данных
6. Сложности управления документами в средах структурированных данных
Приложение A: Понятия и характеристики структурированных данных
Приложение B: Пример реляционной базы данных
Приложение C: Понятие документа с точки зрения управления и с точки зрения технологий
Приложение D: Примеры из практики управления документами в средах структурированных данных и шаблон их описания
Приложения E-H: Примеры из практики 1-4
Приложение I: «Запроектированный» подход (by design)
Библиография

Источник: сайт  ИСО
https://www.iso.org/standard/83138.html
https://www.iso.org/obp/ui/en/#!iso:std:83138:en

Эволюция реляционных баз данных в эпоху больших данных

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 14 февраля 2024 года на блоге компании Formtek.

На протяжении десятилетий реляционные базы данных были доминирующей технологией управления данными, однако в эпоху больших данных они столкнулись с новыми проблемами. Большие данные характеризуются большим объемом, скоростью и многообразием данных, что требует новых способов хранения, обработки и анализа данных. Реляционные базы данных, основанные на фиксированных схемах, жёстких структурах и централизованной архитектуре, не слишком хорошо подходят для обработки больших данных. Как реляционные базы данных адаптируются к этим технологическим изменениям? Актуальны ли они по-прежнему, или же их заменяют другие решения?

Одним из способов адаптации реляционных баз данных к технологическим изменениям является реализация новых функций и возможностей, повышающих их производительность и функциональность. Например, в некоторые реляционные базы данных была добавлена поддержка документов JSON, что обеспечивает большую гибкость и масштабируемость при хранении и выполнении запросов по полуструктурированным данным. Некоторые реляционные базы данных также были интегрированы с облачными сервисами, что обеспечивает большую гибкость, доступность и безопасность при управления данными.

Еще один способ адаптации реляционных баз данных к технологическим изменениям - это сосуществование и сотрудничество с другими технологиями управления данными, такими как базы данных NoSQL (трактуется как «не совсем SQL» или «не (только) SQL» - Н.Х.) и хранилища данных (data warehouses). Базы данных NoSQL - это нереляционные базы данных, которые обеспечивают большую гибкость, масштабируемость и производительность при обработке неструктурированных и распределённых данных. Хранилища данных - это специализированные базы данных, в которых хранятся и анализируются большие объемы исторических и агрегированных данных. Реляционные базы данных могут работать совместно с этими технологиями, создавая гибридную гетерогенную среду данных, в рамках которой каждая технология может обслуживать различные варианты использования и потребности.

Реляционные базы данных не устарели, однако они эволюционируют, чтобы соответствовать потребностям, связанным с большими данными. Реляционные базы данных по-прежнему имеют множество преимуществ, таких как целостность, согласованность и надежность данных, а также широкая совместимость и привычность для пользователей и разработчиков. В то же время реляционные базы данных также имеют свои ограничения, такие как сложность, неэффективность и негибкость, снижающие их способность эффективно обрабатывать большие данные. Поэтому реляционные базы данных необходимо адаптировать и внедрять в них инновации, чтобы они оставались актуальными и конкурентоспособными в сфере управления данными. Реляционные базы данных — не единственно возможное решение, но они являются составной частью спектра возможных решений.

Дик Вейсингер (Dick Weisinger)

Источник: блог компании Formtek
https://formtek.com/blog/the-evolution-of-relational-databases-in-the-age-of-big-data/

Презентация Кайла Наумана «Обеспечение сохранности баз данных для будущего»

19 декабря 2023 года на сайте Zenodo была выложена презентация на английском языке руководителя отдела архивного права архива земли Баден-Вюртемберг (Landesarchiv Baden Württemberg, Германия) д-ра Кайла Наумана (Kail Naumann – на фото) к докладу, сделанному им 15 ноября 2023 года по теме «Обеспечение сохранности баз данных для будущего» (Preserving databases for the future).

Презентацию (27 слайдов) можно как просматривать онлайн ( https://zenodo.org/records/10405758 ), так и скачать в виде PDF-файла ( https://zenodo.org/records/10405758/files/Naumann_DB%20Archiving_04_slideshare.pdf?download=1 ).

В аннотации автор отмечает: «Эти слайды были подготовлены для международной аудитории, перед которой я выступал в ноябре 2023 года. Они отражают текущее состояние темы архивирования баз данных, над которой я работаю с 2020 года.»

«Изюминки», на которые я обратила внимание, просматривая презентацию:

• Объём хранения баз данных в архиве земли Баден-Вюртемберг в настоящее время составляет около 300 миллионов строк (слайд 2).
  
  
• Архив ставит перед собой задачу обеспечить сохранность и пригодность к использованию в 2080 (!) году 125 баз данных различного происхождения (слайд 3). При этом в течение последующих 60 лет публичная доступность баз данных не предусматривается, и архив не хочет нести каких-либо иных расходов, помимо расходов на хранение.
  
  
• В качестве примера приведена история данных переписи населения Баден-Вюртемберга 1961. Данные на перфокартах обрабатывались на компьютерах IBM. В 1968 году из-за затопления 6 млн. перфокарт с первичными данными были утрачены, уцелели лишь 1,6 млн. перфокарт с агрегированными данными. Несколько раз проводилась миграция: в 1960-х годах – на магнитные ленты, с преобразованием кодировки; в 1990-х годах – на CD-ROM диски. В 2006 году материалы были переданы на архивное хранение (слайд 5). Автор спрашивает: «Сможем ли мы в предстоящие 60 лет лучше обеспечивать сохранность данных?».
  
  
• На слайде 6 можно найти ряд гиперссылок на интересные материалы по вопросу обеспечения долговременной сохранности баз данных - в частности, на материалы проведенного в октябре 2021 года семинара «Сохранение баз данных до 2080 года – Обеспечение сохранности контента баз данных в долговременной перспективе» (Databases for 2080 – Preserving database content for the long term), см. https://www.landesarchiv-bw.de/de/aktuelles/termine/72973 (есть видеозапись: https://www.youtube.com/watch?v=Ta1XXS1UZ48 ).
  
  
• Формат SIARD для реляционных баз данных был разработан в начале века, он является кандидатом в европейские стандарты. К настоящему времени 3 решения позволяют создавать SIARD-файлы: это DBPTK, SIARD Suite, Spectral Core Full Convert (слайд 17). Также отмечается довольно большая популярность компактной встраиваемой СУБД SQLite.
  
  
• Общеотраслевой формат хранения баз данных пока так и не появился. С учётом появления носителей информации с более длительным сроком службы и развитие технологий эмуляции, предполагается, что снизится острота потребности в миграции старых форматов (слайд 18).

Источник: сайт Zenodo
https://zenodo.org/records/10405758
https://zenodo.org/records/10405758/files/Naumann_DB%20Archiving_04_slideshare.pdf?download=1