Читая новый австралийский стандарт AS 5393:2025 «Управление документами и информацией - Миграция авторитетных данных, информации и документов между системами» (3)

(Продолжение, предыдущую часть см. https://rusrim.blogspot.com/2025/11/as-53932025-2.html )

В п.2.2 описаны типы миграции:

«Типы миграции включают следующие (не ограничиваясь ими):

• Переход с одной версии программной системы на новую версию той же программной системы;
  
  
• Переход с одной программной системы на новую программную систему;
  
  
• Переход с существующего формата данных на новый формат данных; [Это конверсия – Н.Х.]
  
  
• Вывод системы из эксплуатации и миграция документов в новую систему;
  
  
• Интеграция систем и миграция контента между системами;
  
  
• Переход с сетевых дисков на новую программную систему; 
  
  
• Управление проприетарными форматами. [Это вопрос конверсии – Н.Х.]
  
  
• Миграция на системы поставщиков услуг и обратно.»

О пользе миграции в п.2.3 сказано:

«При миграции документов появляются различные возможности для улучшения посредством совершенствования используемых процессов, внедрения новых технологий с целью повышения производительности, а также посредством уничтожения документов с истекшими сроками хранения. Ниже приведены соответствующие примеры:

• Новые технологии, такие как машинное обучение и искусственный интеллект (ИИ), позволяют документировать контекст (условия ведения деловой деятельности – Н.Х.) и «родословную» документов, что позволяет установить происхождение и отследить источник и/или историю конкретного документа.
  
  
• Непрерывность деловой деятельности службы управления документами может быть лучше обеспечена посредством успешного внедрения и использования политики управления документами.
  
  
• Модель информационной безопасности может быть согласована с текущими и будущими деловыми требованиями, обеспечивая улучшение и поддержание возможностей доступа и использования.
  
  
• Увеличение выручки за счёт экономии на затратах на хранение, трудозатратах и ресурсах, требуемых для поддержания увеличенной емкости и расширенных зон хранения.
  
  
• Улучшение проектов и бюджетов в плане стоимости, трудозатрат и ресурсов, а также совершенствование систем и технологий с целью обеспечить поддержку и обслуживание новейших технологий.
  
  
• Улучшение способности принимать решения в средах, способных управлять документами; а также исполнение законодательно-нормативных требований.»

В п.4.2.1 рассматриваются риски, с которыми сталкиваются проекты миграции:

«Проекты миграции могут быть связаны с высокими рисками по следующим причинам (список не является исчерпывающим):

• Недостаточное понимание как прежней системы, так и новой платформы, на которую происходит миграция;
  
  
• Отсутствие планирования, бизнес-анализа и экспертизы ценности мигрируемых документов;
  
  
• Отсутствие соответствующих компетенций и опыта, необходимых для понимания документов и необходимости сохранения их характеристик;
  
  
• Недостаточность финансирования или выделяемых ресурсов;
  
  
• Отсутствие или недостаточность сотрудничества с ключевыми заинтересованными сторонами; и/или
  
  
• Недостаточное понимание документов, охваченных процессом миграции.

Мой комментарий: Я бы отдельно выделила такие риски, как:

• Отсутствие стабильной поддержки программ миграции на достаточно высоком уровне руководства организации;
  
  
• Отсутствия надлежащей внутренней (локальной) нормативно-методической базы по вопросам проведения миграции; 
  
  
• Отсутствие характерного для систем менеджмента тщательного документирования всех процессов миграции, в том числе возникающих ошибок и сбоев; отсутствие регулярного анализа эффективности процессов миграции, их пересмотра и совершенствования;
  
  
• Отсутствие четкого распределения ответственности и обязанностей за проведение миграции, особенно в таких стрессовых ситуациях, как ликвидация организации, слияние или поглощение организаций.

Анализ сложности рисков и оценка того, как они будут соотноситься с системами, в которые мигрируются документы, позволит определить уровень и характер соответствующих рисков, а также оптимальные стратегии их смягчения

Чем сложнее структура документов, тем сложнее миграция, - что, в свою очередь, потребует привлечения большего числа заинтересованных сторон для обеспечения успеха проекта. Для проектов миграции необходимо выявить соответствующие внутренние заинтересованные стороны, в число которых могут войти сотрудники ключевых деловых подразделений, включая экспертов в предметных областях (МСП), специалистов по стратегическому управлению, ИКТ-специалистов, специалистов по управлению информацией и по управлению рисками. Заинтересованными сторонами могут быть внешние деловые партнеры, другие государственные учреждения и ведомства и контролирующие органы. Для того, чтобы миграция успешно отвечала требованиям всех заинтересованных сторон, эти заинтересованные стороны должны участвовать в проекте миграции начиная от этапа планирования и до завершения проекта.»

(Окончание следует, см. http://rusrim.blogspot.com/2025/11/as-53932025-4.html )

Источник: сайт «Стандартов Австралии»
https://store.standards.org.au/product/as-5393-2025

От строк в таблицах баз данных к документам: Эволюция структурированных данных и стратегическое управление ими, часть 2

(Окончание, начало см. http://rusrim.blogspot.com/2025/11/1_0106088173.html )

• Ключевые проблемы сегодня: Сегодня организации сталкиваются с рядом критически важных проблем при управлении структурированными данными в рамках своих программ стратегического управления документами и информацией:
  
  
• Интеграция с неструктурированными данными: Деловая информация существует не только в структурированных базах данных, но и в неструктурированных формах (в виде документов, электронных писем, мультимедийных материалов). Обеспечить согласованное стратегическое управление как структурированной, так и неструктурированной информацией затруднительно, поскольку для каждого вида информации имеются свои форматы и инструменты управления. Многие компании обрабатывают их изолированно - например, применяя правила по срокам хранения документов отдельно к контенту вне баз данных, и отдельно к базам данных. Этот разрыв приводит к пробелам в контроле и надзоре.
  
  
• Безопасность данных и защита персональных данных: Системы структурированных данных часто содержат высококонфиденциальную «чувствительную» информацию и персональные данные (PII), которые должны защищаться в соответствии с требованиями таких законов, как GDPR (закон Евросоюза о защите персональных данных – Н.Х.), HIPAA (американский Закон о переносимости и подотчётности медицинского страхования 1996 года, содержащий, в том числе, положения о защите медицинских данных и неприкосновенности личной жизни т.е. персональных данных – Н.Х.) и др. 
  
  Обеспечение безопасности баз данных (управление и контроль над доступом, шифрование) и исполнение требований законодательства о защите персональных данных (например, предусмотренного законом GDPR «права быть забытым») в контексте структурированных наборов данных является сложной задачей. Значительная часть избыточно длительно хранимых документов содержит персональные данные, что при отсутствии надлежащей защиты данных и их своевременного уничтожения подвергает организации риску неисполнения требований законодательства. Выявление всех случаев присутствия персональных данных в многочисленных базах данных и обеспечение надлежащего их уничтожения по запросу остаётся серьёзной проблемой.
  
  
• Хранение в течение установленных сроков и уничтожение/передача по их истечении: Исполнение указаний по срокам хранения и действиям по их истечении, а также проведение юридически защитимого уничтожения структурированных данных - крайне сложная задача (если база данных спроектирована без учёта необходимости уничтожения определённых данных по истечении сроков их хранения, обычно такое уничтожение оказывается технически невозможным без нарушения целостности всей базы данных – Н.Х.). В отличие от файлов в хранилище контента, записи в базах данных взаимосвязаны и постоянно обновляются, что затрудняет определение того, «что представляет собой документ в базе данных» и когда его можно удалить. 
  
  Многие организации по умолчанию хранят структурированные данные постоянно, что приводит к росту объёмов данных и несоблюдению требований к срокам хранения. Установление сроков хранения для строк или полей базы данных, и выполнение их удаления без нарушения целостности данных требуют тщательного планирования.
  
  
• Целостность данных: Поддержание целостности структурированных данных означает (с точки зрения управления документами – Н.Х.) сохранение их точности, полноты и неизменности с течением времени (существует также структурная целостность базы данных, требующая сохранения взаимосвязей между данными – Н.Х.). Это жизненно важно для документов, являющихся свидетельствами и доказательствами деловых операций. Целостность данных, однако, может быть скомпрометирована вследствие несанкционированных изменений, отсутствия журналов аудита или же из-за плохо проведенных миграций. Важно обеспечить, чтобы системы регистрировали изменения в журналах аудита и предотвращали несанкционированное вмешательство. Целостность также подразумевает сохранение взаимосвязей между данными — например, при архивировании или миграции данных, ссылки должны оставаться работающими, чтобы информация сохраняла свой контекст и смысл.
  
  
• Эволюция законодательно-нормативных требований: Законодательно-нормативные требования к управлению данными имеют тенденцию к ужесточению. В таких отраслях, как финансы и здравоохранение, действуют строгие нормативно-правовые требования к ведению документации и срокам её хранения; а новые законы о защите персональных данных во всем мире предписывают минимизацию объема данных и проведение их своевременного уничтожения. Контролирующие органы начали налагать штрафы за нарушения требований к срокам хранения и защите данных – например, компании штрафовались за несоблюдение требований к сохранению деловых сообщений в базах данных и за необеспечение безопасности персональных данных в процессе их уничтожения. Поддержание соответствия практики работы со структурированными данными требованиям новых законов и нормативных актов (от закона GDPR до отраслевых правил) является постоянной проблемой для специалистов по комплаенсу и по управлению документами.
  
  
• Перспективные передовые практики: Для решения возникающих проблем организации внедряют современные стратегии стратегического управления информацией:
  
  
• Разработка единой концептуальной структуры стратегического управления, охватывающей как структурированные, так и неструктурированные данные, что позволяет устранить изолированность информационных активов в организации. Сюда входит чёткое разделение баз данных и контента; и обеспечение выявления «документов» как в базах данных, так и в хранилищах документов.
  
  Мой комментарий: Упомянутое «чёткое разделение» на самом деле проблематично, поскольку сплошь и рядом вполне традиционные «бумагоподобные» документы хранятся на само деле в СУБД.
  
  
• Инвестирование в инструменты обнаружения, раскрытия и классификации данных с целью проведения инвентаризации данных, хранящихся в базах данных, выявления конфиденциальной информации и применения правильных политик по срокам хранения и защите данных. Понимание своих данных является необходимым предварительный условием для стратегического управления ими.
  
  
• Автоматизация хранения и уничтожения/передачи структурированных данных везде, где это возможно. Новые и нарождающиеся решения, такие как инструменты архивирования структурированных данных, позволяют организациям перемещать устаревшие данные в архивы и удалять их в соответствии с политикой, сохраняя при этом журналы аудита. Автоматизация этих процессов (при наличии соответствующего контроля и надзора) снижает количество ошибок и обеспечивает согласованность.
  
  
• Интеграция «запроектированной защиты персональных данных» и «запроектированной безопасности» в системы структурированных данных. Это означает принудительное применение доступа на основе ролей, шифрования и маскирования данных в базах данных, содержащих персональные данные. Это также означает создание функциональных возможностей для быстрого выполнения запросов на удаление и проверки того, что такие данные действительно были удалены из всех резервных копий и систем.
  
  
• Использование строгих мер контроля целостности данных, таких как ведение журналов аудита для отслеживания изменений в записях; соблюдение связанных с целостностью ограничений в базах данных (для предотвращения появления «осиротевших» и неверных данных); и проведение регулярных аудитов целостности. Для доверия к записям в базах данных критически важно обеспечить их защиту от несанкционированных изменений.
  
  
• Формирование междисциплинарной группы по стратегическому управлению информацией (включающей, в том числе, специалистов по управлению документами, ИТ-специалистов/архитекторов данных, специалистов по комплаенсу и юристов) для разработки политик в отношении структурированных данных и надзора над их исполнением. Осуществляемое совместными усилиями стратегическое управление помогает сбалансировать потребности деловой деятельности с требованиями законодательства.
  
  
• Упреждающий подход в отношении изменений в законодательстве: следует отслеживать появление новых законов и соответствующим образом обновлять свои политики. Если, например, вводятся ограничения по срокам хранения или новые требования к уничтожению данных, то их следует незамедлительно включить в программу стратегического управления. Регулярно проводимые программы обучения и ознакомления позволят информировать сотрудников о подлежащих исполнению законодательно-нормативных требованиях, связанных с данными.

Заключение: Системы структурированных данных эволюционировали от простых первоначальных разработок до сложных распределённых платформ, ставших неотъемлемой частью деловых процессов. Вместе с этой эволюцией на специалистов по управлению документами и информацией ложится ответственность за решение уникальных проблем стратегического управления, связанных со структурированными данными. 

Понимая историю и контекст таких систем, специалисты по управлению документами и информацией смогут эффективнее решать текущие проблемы, связанные с интеграцией, защитой персональных данных, управлением сроками хранения, обеспечением целостностью и исполнением законодательно-нормативных требований. 

В дальнейшем внедрение всеохватывающих методов и практик стратегического управления информацией и использование современных инструментов будут играть ключевую роль в обеспечении того, чтобы структурированные данные оставались активом, а не становились обузой. Организации, которые успешно осуществляют стратегическое управление своими структурированными данными, смогут не только смягчить риски и исполнить законодательно-нормативные требования, но и получат существенно бóльшую деловую отдачу от своих информационных активов.

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/from-rows-to-records 

Читая новый австралийский стандарт AS 5393:2025 «Управление документами и информацией - Миграция авторитетных данных, информации и документов между системами» (2)

(Продолжение, начало см. https://rusrim.blogspot.com/2025/11/as-53932025-1.html )

Побудительные причины для проведения миграции документов описаны в разделе 2.1 следующим образом:

«В числе возможных причин проведения миграции документов можно назвать следующие:

• Обстоятельства, при которых сроки хранения документов являются более длительными, чем сроки эксплуатации текущей системы, в результате чего требуется миграция документов в новую систему;
  
  
• Необходимость сохранения документов в читаемом и пригодном для использования формате в течение всего срока их хранения, что требует преобразования документов из прежнего формата в новый;
  
  Мой комментарий: Здесь, очевидно, речь идёт уже не о миграции, а о конверсии документов :)
  
  
• Перемены административного характера или изменения в механизме государственного аппарата, требующие передачи соответствующих документов вместе с функциями в другую организацию;
  
  
• Развёртывание новых систем и/или технологий для замены устаревших технологий или выводимых из эксплуатации систем (включая миграцию документов в новые системы);
  
  
• Необходимость индивидуальной настройки или интеграции систем в случае, когда документы совместно используются этими системами;
  
  
• Изменения в классификационных схемах, в схемах метаданных, или изменения в местоположении данных;
  
  
• Слияния и поглощения (организаций – Н.Х.);
  
  
• Внутренние изменения в организации;
  
  
• Обеспечение долговременной сохранности свидетельств / доказательств и истории организации;
  
  Мой комментарий: В данном случае речь скорее идёт о конверсии, чем о миграции.
  
  
• Обновление с одной версии на более новую версию того же программного обеспечения;
  
  
• Переход с системы одного типа на систему другого типа, или с одного существующего формата данных на новый формат данных;
  
  Мой комментарий: Переход на новые форматы – бесспорная конверсия, а не миграция.
  
  
• Переход с локальных приложений на платформы, поддерживаемые третьими сторонами;
  
  Мой комментарий: Данный пункт охватывает переход на облачные вычисление и использование иных видов аутсорсинга.
  
  
• Возврат (репатриация) документов после прекращения действия аутсорсинговых соглашений; и
  
  
• Экспоненциальный рост объёмов документов.»

Мой комментарий: Думаю, можно предложить ещё ряд причин, побуждающих проводить миграцию (понимаемую в более широком смысле):

• Оптимизация расходов и производительности посредством перемещения документов и информации в более дешёвые или более медленные системы хранения (в том числе миграция в рамках иерархических систем хранения) – либо перемещение с целью разгрузить «боевые» системы и повысить их производительность;
  
  
• Резервное копирование (включая создание и хранение локальных резервных копий, хранение резервных копий в удаленных местах, хранение резервный копий у третьих сторон);
  
  
• Дублирование документов в иерархических системах хранения, в которых документы нижележащего уровня «поднимаются» и агрегируются на следующем уровне – в своё время по такой схеме у нас хранились документы налоговых органов;
  
  
• Передача документов на ведомственное архивное хранение и на постоянное архивное хранение;
  
  
• Выемка электронных документов для представления их в контролирующие органы, судам и следствию;
  
  
• Выполнение контрактных обязательств, связанных с передачей документов от одной стороны другой.

Далее в п.2.1 говорится:

«Последствиями ненадлежащего планирования и выполнения миграции могут быть:

• Снижение выручки;
  
  
• Перерасход ресурсов проекта и/или перерасход бюджета;
  
  
• Неработоспособность решений из-за неполноты информации;
  
  
• Утрата или порча информации;
  
  
• Ошибки при принятии решений;
  
  
• Нарушение законодательно-нормативных требований; и
  
  
• Проблемам с брендом.

Мой комментарий: Чтобы легче было убеждать высшее руководство, я бы дополнительно упомянула следующие высокоуровневые аспекты:

• Снижение либо полная утрата документами юридической и доказательной силы после миграции;
  
  
• Утечка конфиденциальной информации и/или персональных данных в процессе миграции,
  
  
• Штрафы и санкции, вызванные неисполнением законодательно-нормативных требований, контрактных обязательств и т.п.;
  
  
• Потери (собственности, прав интеллектуальной собственности и т.п.; потери ввиду перебоев в деловой деятельности) ввиду утраты или компрометации документов и информации в ходе миграции) самой организации;
  
  
• Негативные последствия для внешних заинтересованных сторон и вызванный этим репутационный ущерб;
  
  
• Нечитаемость информации и её непригодность для использования в деловой деятельности после технически корректно выполненной миграции.

Аспекты поддержания ключевых по важности характеристик авторитетной (говоря по-русски, заслуживающей доверия – Н.Х.) информации включают в себя:

• Архивирование документов (с учётом происхождения, изменений контекста, обеспечения долговременной сохранности электронных материалов);
  
  
• Уничтожение не имеющих ценности документов;
  
  
• Вопрос метаданных и принятие во внимание требований аудита;
  
  
• Модели безопасности; и
  
  
• Эволюция архитектур и платформ (см. ISO TR 21965).»
  
  Мой комментарий: Здесь упомянут технический отчёт ISO/TR 21965:2019 «Информация и документация - Управление документами в рамках корпоративной архитектуры» (Information and documentation - Records management in enterprise architecture), см. https://www.iso.org/standard/72312.html и https://www.iso.org/obp/ui/#!iso:std:72312:en , а также мой пост http://rusrim.blogspot.com/2019/03/isotr-219652019.html  .

(Продолжение следует, см. http://rusrim.blogspot.com/2025/11/as-53932025-3.html )

Источник: сайт «Стандартов Австралии»
https://store.standards.org.au/product/as-5393-2025

От строк в таблицах баз данных к документам: Эволюция структурированных данных и стратегическое управление ими, часть 1

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 28 июля 2025 года в социальной сети Substack.

Это перевод бесплатно доступного резюме более обширного поста, доступного платным подписчикам.

Резюме для руководства

Понимая историю и контекст систем структурированных данных, специалисты могут эффективнее решать проблемы, связанные с интеграцией, защитой персональных данных, хранением в течение установленных сроков, обеспечением целостности и исполнения законодательно-нормативных требований.

• Эволюция систем структурированных данных: Управление структурированными данными берет свое начало в ранних этапах управления документами и компьютерных вычислений. Появление и распространение в 1970-х годах реляционных баз данных произвело революцию используемых организациями методах хранения, поиска и извлечения данных, предложив схему на основе таблиц, позволяющую разделить логические модели данных и их физическое хранение. 
  
  Мой комментарий: Структурированные данные и структурированные документы уже существовали в различных формах, как минимум, в средние века – и даже в нашу компьютерную эпоху реляционные базы данных стали довольно поздним изобретением, которому предшествовали десятилетия использования иерархических, сетевых и иных баз данных. У реляционных баз данных инновационным было не то, что они «базы данных», а наличие универсальных гибких методов манипулирования данными и появление готового мощного универсального программного обеспечения. Успех к реляционным базам данных пришёл по мере компьютеризации коммерческой деятельности (и смягчению ограничений на компьютерные ресурсы), где они оказались очень удобными – а до этого, пока компьютерные вычисления обслуживали, главным образом, государственные и научные учреждения, реляционные базы данных довольно долго оставались в тени своих конкурентов.
  
  Реляционные системы управления базами данных (реляционные СУБД - Relational Database Management Systems, RDBMS) стали доминирующими в 1980-х и 1990-х годах, в значительной степени вытеснив более ранние иерархические и сетевые базы данных (так они всё-таки были? :) – Н.Х.). Эта предыстория заложила основу для современных ориентированных на данные организаций и предприятий.

• Влияние реляционных баз данных: Реляционная модель (предложенная Коддом (E. F. Codd) в 1970 году) обеспечила беспрецедентную гибкость и эффективность хранения данных. 
  
  Мой комментарий: Сказанное не вполне точно :) Реляционные базы данных долгое время были непопулярны именно из-за того, что во многих приложениях переход на реляционную модель требовал существенно бóльших объёмов компьютерной оперативной и постоянной памяти, которая тогда была дефицитной. На само деле мощь реляционной модели – в её универсальности (любую базу данных можно преобразовать в реляционную форму) и в замечательных стандартных инструментах манипулирования данными в составе готового ПО. Благодаря этому создание эффективных баз данных стало доступно всем организациям.
  
  Сохраняя каждый факт лишь один раз и используя язык структурированных запросов (Structured Query Language, SQL) для извлечения и объединения данных, организации могли обеспечить согласованность и эффективно отвечать на сложные запросы. Коммерческие реляционные базы данных (такие как Oracle, DB2, SQL Server) получили широкое распространение с конца 1970-х годов (более точно, с конца 1980-х годов, когда компьютеры стали доступны крупным коммерческим организациям; однако настоящая революция началась позднее, с широким распространением персональных компьютеров в 1990-е годы – Н.Х.), трансформировав деловые процессы, на протяжении десятилетий обеспечивая обработку транзакций и став фундаментом корпоративных информационных систем. Технология реляционных СУБД стала основой для стратегического управления документами и информацией по мере того, как коммерческие организации стали полагаться на эти системы для управления структурированными документами (например, финансовыми данными, информацией о клиентах).
  
  
• Появление новых парадигм данных: К 2000-м годам взрывной рост объёма веб-данных и данных от датчиков («больших данных») привёл к появлению новых проблем. Традиционные базы данных SQL, разработанные для односерверных сред, с трудом масштабировались до объёмов, характерных для эпохи интернета. Это привело в конце 2000-х годов к появлению баз данных NoSQL, разработчики которых пожертвовали некоторыми реляционными функциями ради распределённой масштабируемости (например, Google BigTable, Hadoop/HDFS, Cassandra). Позднее распределённые базы данных SQL, сочетающие масштабируемость NoSQL с преимуществами реляционных систем. Эти разработки диверсифицируют ландшафт структурированных данных, создавая более сложную среду для стратегического управления информацией.

(Окончание следует)

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/from-rows-to-records