Переосмысление различия «структурированная – неструктурированная информация»: Почему нам, специалистам по управлению документами, следует прекратить считать данные «не нашей проблемой» (3)

(Окончание, предыдущую часть см. http://rusrim.blogspot.com/2026/01/2_01349305473.html )

Заключительное замечание - и приглашение

Идеи Карла Мелроуза очень важны, равно как и время их появления. Переход к структурированным системам не замедляется. Искусственный интеллект меняет то, каким образом мы структурируем контент. Государственные органы переписывают правила, касающиеся данных. Сообществам архивистов и специалистов по управлению документами всё чаще приходится сталкиваться с реляционной, процессной и алгоритмической природой современных свидетельств / доказательств.

Если Вы ещё не читали оригинальный пост Карла, обязательно сделайте это,  а затем подпишитесь на его раздел Meta-IRM в социальной сети Substack. Публикации Карла – одни из немногих в нашей профессиональной области, в которых концептуальная ясность сочетается с пониманием практических сложностей повседневной работы.

Мой комментарий: Многие посты Карла Мелроуза переведены на русский язык, см. подборку http://rusrim.blogspot.com/search?q="Карл+Мелроуз"&max-results=20&by-date=true 

Непрерывное пространство, континуум между более структурированной и менее структурированной информацией - вот наш реальный ландшафт, а не унаследованные нами однозначные категории, и не те изгороди, которые мы возвели, чтобы защитить то, что казалось нам привычным.

• Непрерывное пространство - это место, где «живут» доказательства,
  
  
• Непрерывное пространство - это место, где кроется риск,
  
  
• Непрерывное пространство - это место, где организации ожидают от нас лидерства,
  
  
• И именно в этом непрерывном пространстве определится будущее управления документами.

Ресурсы и дополнительная литература

Идеи, отражённые в данной статье, основаны на большом количестве исследований, стандартов и профессиональных комментариев, авторами которых являются представители мирового сообщества специалистов по управлению документами и информацией. 

Перечисленные ниже ресурсы позволяют глубже понять непрерывное пространство, соединяющее структурированную и неструктурированную информацию, конвергенцию управления документами и управления данными, а также эволюционирующие ожидания в отношении подотчётности и стратегического управления.

Ассоциация специалистов по управлению документами ARMA International

• Ник Инглис (Inglis, Nick) «Пара основополагающих концепций» (A Pair of Foundational Concepts), ARMA Magazine, 2019, https://magazine.arma.org/2019/06/a-pair-of-foundational-concepts/ 
  
  В статье дано чёткое объяснение взаимосвязи между контентом, данными и документами, а также того, почему форма не определяет доказательную ценность.

Ассоциация специалистов по управлению контентом AIIM

• Различные отчёты из серии «Обзоры состояния отрасли» (AIIM Industry Watch Reports).
  
  Изучение вопросов, связанных с неструктурированной информацией, с метаданными, с проблемами унаследованных файловых хранилищ и накопления избыточных, устаревших и тривиальных данных (redundant, outdated and trivial, сокращённо ROT т.е. «гниль» - Н.Х.)

Стандарты и технические отчёты Международной организации по стандартизации (ИСО) 

• Стандарт ISO 15489-1:2016 «Информация и документация - Управление документами - Часть 1: Понятия и принципы» (Information and documentation - Records management - Part 1: Concepts and principles, см. https://www.iso.org/standard/62542.html и https://www.iso.org/obp/ui/en/#!iso:std:62542:en - стандарт адаптирован в России как ГОСТ Р ИСО 15489-1-2019 (ISO 15489-1:2016) «Система стандартов по информации, библиотечному и издательскому делу. Информация и документация. Управление документами. Часть 1. Понятия и принципы», см.  https://protect.gost.ru/document1.aspx?control=31&baseC=6&id=232615  – Н.Х.),
  
  Включает основополагающее определение понятия «документ» как информации, сохраняемой в качестве доказательства, вне зависимости от формата.
  
  
• Технический отчёт ISO/TR 8344:2024 «Информация и документация – Вопросы и соображения относительно управления документами в средах структурированных данных» (Information and documentation - Issues and considerations for managing records in structured data environments), см. https://www.iso.org/standard/83138.html и https://www.iso.org/obp/ui/en/#!iso:std:83138:en .
  
  Ключевой по важности документ для понимания того, как базы данных, приложения и структурированные системы создают документы и управляют ими, - и как специалисты по управлению документами и данными должны взаимодействовать в интересах стратегического управления структурированными данными.

Теория континуума документов (Records Continuum Theory)

• Работы Фрэнка Апворда (Frank Upward), Сью Маккеммиш (Sue McKemmish), Ливии Яковино (Livia Iacovino) и других авторов.
  
  Совокупность работ, переосмысливающих концепцию управления документами как встроенного в деловые процессы и системы. Эта теория поддерживает нейтральное по отношению к формату, системно-интегрированное управление документами.

Научная литература

• Джон Макдональд (John McDonald) «Управление документами и управление данными: Устранение разрыва» (Records management and data management: Closing the gap), Records Management Journal (1989) 1 (1): 4–11, см. https://www.emerald.com/rmj/article-abstract/1/1/4/369345/Records-Management-and-Data-ManagementClosing-the?redirectedFrom=fulltext 
  
  В статье утверждается, что различие между управлением документами и управлением данными во многом историческое, и что организации должны всесторонне управлять всеми информационными активами.
  
  
• Ким Юсын (Kim Youseung) «Исследование правовых вопросов управления государственными данными как документами: Анализ закона о предоставлении и использовании государственных данных» (A Study on Legal Issues of Public Data Management as Records: Focused on Analysis of the Act on Provision and Use of Public Data),  Journal of Korean Society of Archives and Records Management), 2014, 14(1), pp.53-73, см. https://journal.kci.go.kr/jksarm/archive/articleView?artiId=ART001853408 
  
  В статье в глобальном контексте рассматриваются структурированные наборы данных как государственные документы.
  
  
• Кейт Гамильтон (Kate Hamilton) «Структурированные элементы данных: Являются ли они документами?» (Structured data elements: Are they records?), ARMA, Information Management Journal (Vol. 45, Issue 2), March-April 2011, см. https://go.gale.com/ps/i.do?p=AONE&u=anon~9a379224&id=GALE%7CA260137193&v=2.1&it=r&sid=googleScholar&asid=a031e89c 
  
  Практическое исследование того, когда отдельные элементы данных соответствуют критериям «документа», и что это означает для проведения экспертизы ценности и установления им сроков хранения.

Стратегическое управление информацией и управление данными

• Дараг О’Брайен (Daragh O’Brien) «Данные - рискованное дело: структурированные, неструктурированные - кого это волнует?» (Data Is Risky Business: Structured, Unstructured, Who Cares?), The Data Administration Newsletter, December 4, 2024, https://tdan.com/data-is-risky-business-structured-unstructured-who-cares/32252 
  
  Ориентированная на специалиста-практика аргументация в пользу того, что различие между структурированными и неструктурированными всё больше устаревает в эпоху искусственного интеллекта.
  
  
• Джон Филлипс (John Phillips) «Сопоставление структурированных и неструктурированных документов. Серьёзно?» (Structured vs Unstructured Records. Really?), блог сообщества AIIM, 08 июня 2011 г., https://community.aiim.org/blogs/john-phillips/2011/06/08/structured-vs-unstructured-records%E2%80%93-really 
  
  В данном посте объясняется скрытая структура внутри так называемого неструктурированного контента, и встроенный в данные повествовательный контекст.

Руководства государственных органов и регуляторов

• Директивы органов федерального правительства США по вопросам управления документами, в том числе:

• Директива М-12-18 от 24 августа 2012 года по управлению государственными документами (Managing Government Records Directive, https://www.archives.gov/files/records-mgmt/m-12-18.pdf , см. также мой пост http://rusrim.blogspot.ru/2012/08/i_27.html - Н.Х.)
  
  
• Меморандум OMB/NARA M-19-21 Административно-бюджетного управления президентской администрации (Office of Management and Budget, OMB) и Национальных Архивов США (NARA) «Переход к электронным документам» (Transition To Electronic Records, https://www.whitehouse.gov/wp-content/uploads/2019/08/M-19-21-new-2.pdf , см. также мой пост http://rusrim.blogspot.com/2019/07/blog-post_8.html - Н.Х.)
  
  Меморандум подтверждает предпочтительность ведение документации в электронном виде и включение данных в состав федеральных документов.
  
  
• «Общие правил защиты персональных данных» (General Data Protection Regulation, GDPR, https://eur-lex.europa.eu/legal-content/EN/TXT/?qid=1532348683434&uri=CELEX:02016R0679-20160504 – европейский закон о защите персональных данных – Н.Х.).
  
  Закон укрепляет унифицированное стратегическое управление персональными данными во всех форматах, как структурированных, так и неструктурированных.

Обеспечение долговременной сохранности и доступности электронных материалов

• «Что такое документ – и почему нам необходимо обеспечивать долговременную сохранность документов?» (What is a record? (and why do we need to preserve them)?), Коалиции по электронной сохранности (Digital Preservation Coalition, DPC. Великобритания), см. https://www.dpconline.org/digipres/implement-digipres/edrms-preservation-toolkit/edrms-toolkit-what-is-a-record 
  
  Подробно описывает обеспечение сохранности контента, контекста и структуры, в том числе для документов, созданных в структурированных системах.

Кодексы профессиональной практики и аналитические отчёты

• «Управление информацией касается не только неструктурированных данных» (Information management is not just for unstructured data), Wortzmans, August 19 2015, см. https://www.lexology.com/library/detail.aspx?g=f13ec35a-e505-4a1d-abe5-af16258a0463 
  
  В статье показано, что среды структурированных данных часто накапливают избыточные, устаревшие и тривиальные данные (ROT), и требуют строгих мер, обеспечивающих надлежащее уничтожение/передачу данных.
  
  
• «Все документы - это информация, но не всякая информация - документ» (All records are information, but not all information is a record), компания Access Corp. 
  
  Описывает унификацию стратегического управления данными и документами с точки зрения жизненного цикла информации.

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/rethinking-the-structuredunstructured 

Переосмысление различия «структурированная – неструктурированная информация»: Почему нам, специалистам по управлению документами, следует прекратить считать данные «не нашей проблемой» (2)

(Продолжение, начало см. http://rusrim.blogspot.com/2026/01/1_02087587809.html )

Ясное видение непрерывного пространства: Не две крайности, а плавный переход

Стоит перестать мыслить крайними категориями «структурированный» и «неструктурированный», как ландшафт оживает:

• Документы содержат встроенные метаданные, историю версий, структуру визуального представления, и часто - скрытые XML-слои.
  
  
• В базах данных имеются поля для комментариев, вложения, аннотации и ненормализованный текст.

Практически ничто не существует в чистом виде, везде присутствуют смешанные и переходные состояния. Завораживает даже то, как информация перемещается в рамках этого непрерывного пространства.

Запутанный документ в формате Word становится более структурированным, когда:

• Из него извлекаются сущности,
  
  
• Он размечается посредством добавления метаданных,
  
  
• К нему применяется workflow-процесс,
  
  
• Он связывается со взаимосвязанным контентом.

Структурированная таблица становится более описательной, когда:

• На её основе генерируется отчёт,
  
  
• Создается контрольная панель (dashboard) для мониторинга,
  
  
• Объясняются относящиеся к ней бизнес-правила,
  
  
• Проводится миграция таблицы её в информационный пакет для обеспечения её долговременной сохранности.

Непрерывное пространство / континуум является «живым». Документы перемещаются в его рамках, и вместе с этим меняются интерпретация и технологии. И нам [специалистам по управлению документами – Н.Х.] тоже следует меняться.

Как мы унаследовали выдуманные границы и почему они сейчас рушатся

Разрыв [между структурированным и неструктурированным – Н.Х.] возник не из теории. Он является следствием предыстории.

Десятилетиями дисциплина управления документами развивалась «под сенью» бумаг, шкафов для документов, классификационных схем и архивов. Мы знали, как работать с документами. У нас были накоплены десятилетия институциональной памяти в этой области, и был для этого выработан свой язык.

Управление данными возникло из вычислений, из структурированных систем, из реляционных моделей, языка SQL, схем и архитектур хранения данных. Здесь иная терминология, иная система ценностей, другая профессиональная среда.

И эти два мира эволюционировали по отдельности.

Долгие годы такое разделение сохранялось. В течение первых десятилетий цифровой эпохи оно даже имело смысл, - когда количество деловых информационных систем было ограничено, и доминировали специализированные систем для хранения документов.

Но к настоящему времени этот мир ушёл в историю. Сегодня основные свидетельства / доказательства практически любой деловой операции хранятся не в файле документа, а в системе. Примеры:

• Возврат средств одобряется в POS-приложении в точке продажи,
  
  
• Разрешение выдаётся в рамках инструмента рабочего процесса,
  
  
• Инцидент, относящийся к соблюдению законодательно-нормативных требований, протоколируется на платформе управления заявками на обслуживание (case-management platform),
  
  
• Контракт формируется, поддерживается, корректируется и закрывается в системе управления закупками, а не в аккуратной структуре папок с документами.

Если ограничиться одной только документарной частью непрерывной области, то мы будем видеть лишь «тени», отбрасываемые деловой деятельностью, а не саму эту деятельность. Это будет не управление документами, а делопроизводственный «туризм».

Вход в непрерывное пространство: Как это выглядит на практике

Принятие нами представления о непрерывном пространстве [соединяющем структурированное и неструктурированное – Н.Х.]  означает изменение нашего поведения.

Во-первых, мы начинаем рассматривать [деловые – Н.Х.] системы как среды управления документами

CRM-система управления взаимоотношениями с клиентами — это не просто база данных клиентов. Это среда управления документами для жалоб, согласований, эскалаций и решений.

HR-система управления кадрами - это не просто платформа для сведений о персонале. Она содержит свидетельства кадровых решений, которые могут повлиять на карьеру, судебные разбирательства и права сотрудников.

ERP-система планирования корпоративных ресурсов - это не просто поддерживающая финансовая система. В ней хранится цепочка обязательств, платежей и ответственности, с возможностью проведения её аудита.

Если в какой-то системе присутствуют свидетельства / доказательства, значит, в ней есть документы. При видении на основе идеи «непрерывного пространства», это является исходным предположением, а не исключением.

Во-вторых, мы устанавливаем для структурированных данных сроки хранения и действия по уничтожению/передаче по истечении этих сроков

Это один из самых трудных изменений. Установление сроков хранения для баз данных требует:

• Выявления относящихся к деловой деятельности сущностей и полей,
  
  
• Сопоставления сущностей и полей с категориями документов,
  
  
• Проектирования функциональных возможностей для удаления и/или архивации данных,
  
  
• Документирования изменений в схеме базы данных,
  
  
• Экспорта документов вместе с метаданными, а не только экспорта данных.

В техническом отчёте ISO/TR 8344 совершенно чётко говорится о том, что эти задачи относятся к экосистеме стратегического управления (governance ecosystem).

В-третьих, мы проектируем системы с учётом потребностей управления документами

Это означает:

• Учёт требований к управлению документами в ходе проведения закупок,
  
  
• Сотрудничество с архитекторами и инженерами, начиная с ранних этапов создания систем,
  
  
• Требования о ведении журналов аудита, выполнении проверок целостности и наличии метаданных о происхождении,
  
  
• Обеспечение интерпретируемости структур данных во времени.

Всё это – практическая реализация принципа «запроектированного управления документами».

В-четвёртых, мы используем наличие непрерывного пространства, а не боремся с ним

Документы становятся более управляемыми при добавлении структуры. Данные становятся более осмысленными при добавлении описаний / повествования (narrative). Стратегическое управление улучшается при движении в обоих направлениях.

«Момент подотчётности»: Почему всё это важно сейчас

В конце своего поста Карл Мелроуз делает кое-что важное - он переосмысливает вопрос о подотчётности.

Нам часто говорят, что основная задача управления документами заключается в обеспечении подотчётности. Карл высказывает мысль о том, что та [весьма неблагоприятная – Н.Х.] ситуация, в которой мы [специалисты по управлению документами – Н.Х.] оказались сейчас, может рассматриваться как своего рода привлечение нас к ответственности нашими организациями за то, что мы выполняем свои обязанности не во всём информационном ландшафте. Это неприятная идея, но она звучит правдоподобно …

Если мы отказываемся работать со структурированными средами, то мы частично ответственны за:

• неисполнение законодательно-нормативных требований,
  
  
• утечки персональных данных,  
  
  
• ненадлежащее обеспечение долговременной сохранности электронных материалов,
  
  
• неполноту журналов аудита,
  
  
• неэффективные решения в ходе экспертизы ценности,
  
  
• неуправляемые унаследованные системы,
  
  
• данные, которые не уничтоженные по истечении законных оснований для их обработки,
  
  
• документы, которые утрачивают смысл вследствие исчезновения их контекста.

Доверие сначала постепенно деградирует, а затем внезапно теряется.

Хорошая новость заключается в том, что доверие можно восстановить, если представители нашей профессии в полной мере и уверенно начнут выполнять свои обязанности на протяжении всего информационного ландшафта.

(Окончание следует, см. http://rusrim.blogspot.com/2026/01/3_01929276072.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/rethinking-the-structuredunstructured 

Переосмысление различия «структурированная – неструктурированная информация»: Почему нам, специалистам по управлению документами, следует прекратить считать данные «не нашей проблемой» (1)

Разговор о том, как специалисты по управлению документами потеряли контроль над половиной информационного ландшафта, - и как его можно было бы вернуть

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 22 ноября 2025 года в социальной сети Substack.

Иногда одна-единственная идея застаёт тебя врасплох и затем не отпускает. О ней читаешь однажды, киваешь, соглашаясь с очевидной истиной, а затем обнаруживаешь, что размышляешь над ней посреди совещания или же во время тихой утренней прогулки, когда тебя посещают мысли, касающиеся более масштабных вопросов.

Именно так на меня подействовал пост Карла Мелроуза (Karl Melrose) «Континуум, о котором нам следует думать в области управления документами и информацией», опубликованный в октябре 2025 года на его блоге Meta-IRM (см. https://metairm.substack.com/p/the-continuum-we-should-be-thinking - перевод есть на моём блоге: https://rusrim.blogspot.com/2025/12/blog-post.html – Н.Х.). Его основная идея не была ни яркой, ни кричащей – это была одна из тех идей, которые, когда их сформулируют, кажутся настолько интуитивно понятными, что удивляешься, почему мы не подумали об этом раньше.

Суть её была следующей: «На деле территория, охватываемая управлением документами и информацией, представляет собой континуум между более структурированной и менее структурированной информацией». Не граница, не два лагеря, не выбор между двумя вариантами – а непрерывное пространство, континуум, целый ландшафт.

И один раз начав видеть мир таким образом, впоследствии будет очень сложно вернуться к старым представлениям.

Данная статья – это моя попытка пройтись по этому ландшафту вместе с Вами. Смотрите на неё как прогулку вместе с гидом по склону структурированность-неструктурированность, с остановками по пути, позволяющими познакомить вас с теорией, стандартами, метафорами и практическими выводами, вытекающими из публикации Карла.

По дороге нас ждут кое-какие некомфортные осознания того, как до сих пор вела себя наша профессия [управление документами и архивное дело – Н.Х.], и мы также увидим ряд явных возможностей для восстановления актуальности профессии и доверия к ней.

Итак, давайте зашнуруем башмаки и выйдем на тропу.

С чего всё начинается: Структура, шум и места, которых мы избегаем

Свой пост Карл начинает с наблюдения, о котором известно каждому, кто когда-либо пытался найти смысл в файловой помойке или в плохо спроектированной базе данных: в отсутствие структуры, информация представляет собой шум.

Мы хорошо это знаем. Каждый раз, сталкиваясь с неупорядоченным системой хранения файлов на общих дисках, или с неприкаянной цепочкой электронных писем без темы, или системой, которая позволяет сотрудникам вводить что угодно в любое поле, - мы ощущаем засасывающую силу беспорядка. Структура – это то, что превращает беспорядок в знания; это те строительные леса, которые позволяют информации «стоять прямо».

Вот почему поразительно то, насколько избирательно наша профессия уважает структуру.

Дайте нам [архивистам и специалистам по управлению документами – Н.Х.] в руки специализированную EDRMS-систему управления документами и контентом (т.е. СЭД, ECM и т.п. – Н.Х.), и мы с радостью будем заниматься созданием и поддержанием структуры день и ночь напролёт. Мы будем разрабатывать схемы метаданных и потоки процессов согласования и утверждения; будем проектировать иерархические структуры классификационных схем, поддерживающие поиск, управление сроками хранения и уничтожение/передачу контента по их истечении; будем настаивать на том, чтобы пользователи следовали соглашениям об именовании. Мы будем объявлять о победе, когда документ будет «захвачен».

Но покажите нам полную жалоб CRM-систему управления взаимоотношениями с клиентами, или полную финансовых транзакций ERP-систему, или полную решений систему управления заявками на обслуживание, - и слишком многие службы управления документами скажут что-то вроде: «Это работа для ИТ-служб».

Ирония заключается в том, что в подобных структурированных средах имеются более мощные встроенные меры и средства управления, валидации, сохранения сведений о контексте и происхождении, чем в любом хранилище документов. Зачастую именно в этих средах на самом деле ведётся деловая деятельность и создаются свидетельства / доказательства.

Так почему же мы делаем вид, что структурированные среды находятся вне нашей зоны ответственности?

Отвечая на этот вопрос, Карл Мелроуз указывает на привычку, историю и культуру. Места, которых мы избегаем, редко бывают местами, где отсутствует структура. Это те места, в отношении которых мы решили, что их структура - не наша забота. И данное решение имеет последствия.

Теория, стандарты и мировая практика говорят об одном и том же

Стоит начать изучать вопрос, и мысль Карла начинает казаться почти что общеизвестной. Куда ни посмотри, были те, кто годами говорил нам об этом.

В стандартах соответствующие предупреждения даются уже в течение двух десятилетий 

Стандарт ISO 15489 «Информация и документация - Управление документами» и в 2001 году (когда была опубликована его первая редакция – Н.Х.) и снова в 2016 году (когда была опубликована ныне действующая вторая редакция – Н.Х.) сказал о том, что документность определяется функцией и доказательной ценностью контента, а не форматом. В стандарте отмечается, что системы, контекст и структура важны вне зависимости от вида носителя информации.

Разработанная в Австралии «Модель континуума документов» (Records Continuum Model) опровергла представление о том, что документы всегда чётко и поэтапно проходят путь от создания до передачи на архивное хранение. Взамен в данной модели было предложено видение, согласно которому управление документами вплетено в системы, процессы и в действия по мере их выполнения. Управление документами изначально встроено в архитектуру систем, а не добавляется к ним уже впоследствии.

Опубликованный в 2024 году технический отчёт ISO/TR 8344 «Информация и документация – Вопросы и соображения относительно управления документами в средах структурированных данных» также прямо заявляет о том, что в структурированных средах данных создаются документы. В современных организациях такие среды входят в число важнейших мест хранения документов и управления ими. Игнорирование этих сред может привести к компрометации целостности, аутентичности и подотчётности в целом.

Иными словами, стандарты годами держали перед нашими глазами зеркало, просто нам не всегда нравилось то, что в нём отражалось.

Профессиональная литература высказывается ещё более прямо

Ассоциации специалистов по управлению документами (ARMA) и контентом (AIIM), американский Национальный институт стандартов и технологий NIST, национальные органы управления архивным делом и учёные из академических учреждений сходятся к одной и той же идее, представленной в различных вариациях:

• Всё есть информация,
  
  
• Вся информация располагается где-то в непрерывном пространстве, простирающемся от более структурированной до менее структурированной информации,
  
  
• Любая информация может стать документом в зависимости от выполняемой ею функции,
  
  
• Стратегическое управление рассыпается, если мы считаем «легитимным» только один участок этого непрерывного пространства.

Специалисты-практики, такие как Дара О’Брайен (Daragh O’Brien), идут ещё дальше, утверждая, что само по себе противопоставление структурированного и неструктурированного в настоящее время является ложным. Искусственный интеллект способен структурировать текст. Люди придают смысл данным. Ничто не находится исключительно в одной крайней точке, и снова возникает непрерывное пространство, соединяющее крайности.

По всему миру государственные органы и учреждения уже признали такое положение дел

Практика органов и учреждений государственного сектора в различных юрисдикциях подтверждает высказанное утверждение. Так, например:

• Южная Корея обеспечивает сохранность структурированных наборов данных в качестве официальных документов;
  
  
• Эстония (ну как же без неё! – Н.Х.) рассматривает транзакции микросервисов как авторитетные документальные следы;
  
  
• Законодательство Евросоюза о защите персональных данных (закон GDPR) требует единообразной обработки персональных данных во всех форматах;
  
  
• В США под требования федерального законодательства к управлению документами явным образом подпадает вся цифровая информация, включая базы данных.

В глобальном масштабе сейчас уже не дискутируется вопрос о том, создают ли структурированные системы документы или нет. Единственный спорный момент заключается в том, признают ли это специалисты по управлению документами ....

(Продолжение следует, см. http://rusrim.blogspot.com/2026/01/2_01349305473.html )

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/rethinking-the-structuredunstructured 

Континуум, о котором нам следует думать в области управления документами и информацией

Данный пост австралийского специалиста в области управления документами и информацией Карла Мелроуза (Karl Melrose – на фото) был опубликован 16 октября 2025 года на его блоге Meta-IRM (Мета-управление информацией и документами).

Континуум (непрерывность), на который нам всем следовало бы обратить внимание, - это континуум между структурированным и неструктурированным. Мы стали относиться к нему враждебно, не осознавая, что это решение большинства наших проблем.

Что это значит?

Документы без структуры - это просто шум: что-то записано, но это что-то не особенно полезно. Добавьте немного структуры, и появится полезность - это разница между случайным набором букв и языком.

Добавьте ещё больше структуры – укажите тему документа, сделайте регистрационную карточка - и управлять документами станет легко. Уберите часть шума (что обычно означает более сильную структуризацию), и полезность возрастёт, потому что увеличится объём содержательного контента.

В чём секрет любой хорошей деловой деятельности? Это структура.

Чем больше я об этом думаю, тем мне сложнее понять, почему мы [специалисты по управлению документами – Н.Х.] не хотим использовать максимально структурированные данные – хотя на самом деле всё равно их используем! Мы признали их превосходство: ведь EDRMS-система управления документами и контентом по сути дела представляет собой файловый сервер с подключённой к нему базой данных, и большинство из нас говорят всем, что использование EDRMS - это единственный хороший способ управления документами.

Возможно, когда-то было время, когда разделение управления данными и управления документами было оправданным. Вероятно, это было до того, как мы начали столь сильно полагаться на базы данных для управления нашей собственной работой.

Пора бы нам признать и принять, что подобно тому, как базы данных создают более качественные документы для управления нашими документами, - базы данных также, как правило, создают более качественные документы для управления работой других сотрудников.

Пора нам осознать нелепость продолжающегося разделения управления данными и управления документами. В конечном счёте, будь то неструктурированные документы или базы данных - это всё документы, и все они становятся лучше, когда люди управляют ими.

Игнорировать определенные документы только потому, что они создаются на более структурированном конце континуума, бессмысленно.

Подобное игнорирование означает, что мы [специалисты по управлению документами – Н.Х.] можем предложить меньше, - и это подрывает доверие к нам, ведь сотрудники должны иметь возможность обратиться к нам помощью в выборе наилучшего способа документирования важной для них информации и управления ею.

И до тех пор, пока мы не признаем, что базы данных входят в нашу профессиональную сферу ответственности, сотрудники такую поддержку получить не смогут.

Мы не одиноки в своих заблуждениях - специалисты по управлению данными ведут себя столь же нелепо. Они так же некомфортно чувствуют себя в запутанном мире документов, как и специалисты по управлению документами – в мире структурированных данных.

Конечный результат этого в том, что каждая из этих профессий становится менее значимой, если не принимает во внимание работу другой. Есть своё место для настоящей структуризации, и есть своё место для неупорядоченного мира документов.

Если мы хотим по-настоящему служить своим организациям и делать их лучше, нам следует думать о континууме между структурированным и неструктурированным. Прямо сейчас мы думаем об этом как о различии между «нашим» и «чужим».

«Документность» не определяется технологиями, и мы использовали все остальные технологии по мере их появления, потому что важны были сами документы - их содержание (контент), а не носитель информации.

Дисциплина управления документами сейчас переживает не лучшие времена – думаю, мы все с этим согласны.

Мне также часто говорят, что главное в управлении документами - это обеспечение подотчётности.

Лично я считаю, что в настоящее время положение дел следующее - наши организации привлекают нас к ответственности за невыполнение нами своих обязательств и за неспособность признать тот континуум, о котором нам следует думать, чтобы помочь организациям вести документацию и управлять ею таким образом, который лучше всего помогает им достигать своих целей.

Карл Мелроуз (Karl Melrose)

Источник: блог Meta-IRM 
https://metairm.substack.com/p/the-continuum-we-should-be-thinking 

От строк в таблицах баз данных к документам: Эволюция структурированных данных и стратегическое управление ими, часть 2

(Окончание, начало см. http://rusrim.blogspot.com/2025/11/1_0106088173.html )

• Ключевые проблемы сегодня: Сегодня организации сталкиваются с рядом критически важных проблем при управлении структурированными данными в рамках своих программ стратегического управления документами и информацией:
  
  
• Интеграция с неструктурированными данными: Деловая информация существует не только в структурированных базах данных, но и в неструктурированных формах (в виде документов, электронных писем, мультимедийных материалов). Обеспечить согласованное стратегическое управление как структурированной, так и неструктурированной информацией затруднительно, поскольку для каждого вида информации имеются свои форматы и инструменты управления. Многие компании обрабатывают их изолированно - например, применяя правила по срокам хранения документов отдельно к контенту вне баз данных, и отдельно к базам данных. Этот разрыв приводит к пробелам в контроле и надзоре.
  
  
• Безопасность данных и защита персональных данных: Системы структурированных данных часто содержат высококонфиденциальную «чувствительную» информацию и персональные данные (PII), которые должны защищаться в соответствии с требованиями таких законов, как GDPR (закон Евросоюза о защите персональных данных – Н.Х.), HIPAA (американский Закон о переносимости и подотчётности медицинского страхования 1996 года, содержащий, в том числе, положения о защите медицинских данных и неприкосновенности личной жизни т.е. персональных данных – Н.Х.) и др. 
  
  Обеспечение безопасности баз данных (управление и контроль над доступом, шифрование) и исполнение требований законодательства о защите персональных данных (например, предусмотренного законом GDPR «права быть забытым») в контексте структурированных наборов данных является сложной задачей. Значительная часть избыточно длительно хранимых документов содержит персональные данные, что при отсутствии надлежащей защиты данных и их своевременного уничтожения подвергает организации риску неисполнения требований законодательства. Выявление всех случаев присутствия персональных данных в многочисленных базах данных и обеспечение надлежащего их уничтожения по запросу остаётся серьёзной проблемой.
  
  
• Хранение в течение установленных сроков и уничтожение/передача по их истечении: Исполнение указаний по срокам хранения и действиям по их истечении, а также проведение юридически защитимого уничтожения структурированных данных - крайне сложная задача (если база данных спроектирована без учёта необходимости уничтожения определённых данных по истечении сроков их хранения, обычно такое уничтожение оказывается технически невозможным без нарушения целостности всей базы данных – Н.Х.). В отличие от файлов в хранилище контента, записи в базах данных взаимосвязаны и постоянно обновляются, что затрудняет определение того, «что представляет собой документ в базе данных» и когда его можно удалить. 
  
  Многие организации по умолчанию хранят структурированные данные постоянно, что приводит к росту объёмов данных и несоблюдению требований к срокам хранения. Установление сроков хранения для строк или полей базы данных, и выполнение их удаления без нарушения целостности данных требуют тщательного планирования.
  
  
• Целостность данных: Поддержание целостности структурированных данных означает (с точки зрения управления документами – Н.Х.) сохранение их точности, полноты и неизменности с течением времени (существует также структурная целостность базы данных, требующая сохранения взаимосвязей между данными – Н.Х.). Это жизненно важно для документов, являющихся свидетельствами и доказательствами деловых операций. Целостность данных, однако, может быть скомпрометирована вследствие несанкционированных изменений, отсутствия журналов аудита или же из-за плохо проведенных миграций. Важно обеспечить, чтобы системы регистрировали изменения в журналах аудита и предотвращали несанкционированное вмешательство. Целостность также подразумевает сохранение взаимосвязей между данными — например, при архивировании или миграции данных, ссылки должны оставаться работающими, чтобы информация сохраняла свой контекст и смысл.
  
  
• Эволюция законодательно-нормативных требований: Законодательно-нормативные требования к управлению данными имеют тенденцию к ужесточению. В таких отраслях, как финансы и здравоохранение, действуют строгие нормативно-правовые требования к ведению документации и срокам её хранения; а новые законы о защите персональных данных во всем мире предписывают минимизацию объема данных и проведение их своевременного уничтожения. Контролирующие органы начали налагать штрафы за нарушения требований к срокам хранения и защите данных – например, компании штрафовались за несоблюдение требований к сохранению деловых сообщений в базах данных и за необеспечение безопасности персональных данных в процессе их уничтожения. Поддержание соответствия практики работы со структурированными данными требованиям новых законов и нормативных актов (от закона GDPR до отраслевых правил) является постоянной проблемой для специалистов по комплаенсу и по управлению документами.
  
  
• Перспективные передовые практики: Для решения возникающих проблем организации внедряют современные стратегии стратегического управления информацией:
  
  
• Разработка единой концептуальной структуры стратегического управления, охватывающей как структурированные, так и неструктурированные данные, что позволяет устранить изолированность информационных активов в организации. Сюда входит чёткое разделение баз данных и контента; и обеспечение выявления «документов» как в базах данных, так и в хранилищах документов.
  
  Мой комментарий: Упомянутое «чёткое разделение» на самом деле проблематично, поскольку сплошь и рядом вполне традиционные «бумагоподобные» документы хранятся на само деле в СУБД.
  
  
• Инвестирование в инструменты обнаружения, раскрытия и классификации данных с целью проведения инвентаризации данных, хранящихся в базах данных, выявления конфиденциальной информации и применения правильных политик по срокам хранения и защите данных. Понимание своих данных является необходимым предварительный условием для стратегического управления ими.
  
  
• Автоматизация хранения и уничтожения/передачи структурированных данных везде, где это возможно. Новые и нарождающиеся решения, такие как инструменты архивирования структурированных данных, позволяют организациям перемещать устаревшие данные в архивы и удалять их в соответствии с политикой, сохраняя при этом журналы аудита. Автоматизация этих процессов (при наличии соответствующего контроля и надзора) снижает количество ошибок и обеспечивает согласованность.
  
  
• Интеграция «запроектированной защиты персональных данных» и «запроектированной безопасности» в системы структурированных данных. Это означает принудительное применение доступа на основе ролей, шифрования и маскирования данных в базах данных, содержащих персональные данные. Это также означает создание функциональных возможностей для быстрого выполнения запросов на удаление и проверки того, что такие данные действительно были удалены из всех резервных копий и систем.
  
  
• Использование строгих мер контроля целостности данных, таких как ведение журналов аудита для отслеживания изменений в записях; соблюдение связанных с целостностью ограничений в базах данных (для предотвращения появления «осиротевших» и неверных данных); и проведение регулярных аудитов целостности. Для доверия к записям в базах данных критически важно обеспечить их защиту от несанкционированных изменений.
  
  
• Формирование междисциплинарной группы по стратегическому управлению информацией (включающей, в том числе, специалистов по управлению документами, ИТ-специалистов/архитекторов данных, специалистов по комплаенсу и юристов) для разработки политик в отношении структурированных данных и надзора над их исполнением. Осуществляемое совместными усилиями стратегическое управление помогает сбалансировать потребности деловой деятельности с требованиями законодательства.
  
  
• Упреждающий подход в отношении изменений в законодательстве: следует отслеживать появление новых законов и соответствующим образом обновлять свои политики. Если, например, вводятся ограничения по срокам хранения или новые требования к уничтожению данных, то их следует незамедлительно включить в программу стратегического управления. Регулярно проводимые программы обучения и ознакомления позволят информировать сотрудников о подлежащих исполнению законодательно-нормативных требованиях, связанных с данными.

Заключение: Системы структурированных данных эволюционировали от простых первоначальных разработок до сложных распределённых платформ, ставших неотъемлемой частью деловых процессов. Вместе с этой эволюцией на специалистов по управлению документами и информацией ложится ответственность за решение уникальных проблем стратегического управления, связанных со структурированными данными. 

Понимая историю и контекст таких систем, специалисты по управлению документами и информацией смогут эффективнее решать текущие проблемы, связанные с интеграцией, защитой персональных данных, управлением сроками хранения, обеспечением целостностью и исполнением законодательно-нормативных требований. 

В дальнейшем внедрение всеохватывающих методов и практик стратегического управления информацией и использование современных инструментов будут играть ключевую роль в обеспечении того, чтобы структурированные данные оставались активом, а не становились обузой. Организации, которые успешно осуществляют стратегическое управление своими структурированными данными, смогут не только смягчить риски и исполнить законодательно-нормативные требования, но и получат существенно бóльшую деловую отдачу от своих информационных активов.

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/from-rows-to-records 

От строк в таблицах баз данных к документам: Эволюция структурированных данных и стратегическое управление ими, часть 1

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 28 июля 2025 года в социальной сети Substack.

Это перевод бесплатно доступного резюме более обширного поста, доступного платным подписчикам.

Резюме для руководства

Понимая историю и контекст систем структурированных данных, специалисты могут эффективнее решать проблемы, связанные с интеграцией, защитой персональных данных, хранением в течение установленных сроков, обеспечением целостности и исполнения законодательно-нормативных требований.

• Эволюция систем структурированных данных: Управление структурированными данными берет свое начало в ранних этапах управления документами и компьютерных вычислений. Появление и распространение в 1970-х годах реляционных баз данных произвело революцию используемых организациями методах хранения, поиска и извлечения данных, предложив схему на основе таблиц, позволяющую разделить логические модели данных и их физическое хранение. 
  
  Мой комментарий: Структурированные данные и структурированные документы уже существовали в различных формах, как минимум, в средние века – и даже в нашу компьютерную эпоху реляционные базы данных стали довольно поздним изобретением, которому предшествовали десятилетия использования иерархических, сетевых и иных баз данных. У реляционных баз данных инновационным было не то, что они «базы данных», а наличие универсальных гибких методов манипулирования данными и появление готового мощного универсального программного обеспечения. Успех к реляционным базам данных пришёл по мере компьютеризации коммерческой деятельности (и смягчению ограничений на компьютерные ресурсы), где они оказались очень удобными – а до этого, пока компьютерные вычисления обслуживали, главным образом, государственные и научные учреждения, реляционные базы данных довольно долго оставались в тени своих конкурентов.
  
  Реляционные системы управления базами данных (реляционные СУБД - Relational Database Management Systems, RDBMS) стали доминирующими в 1980-х и 1990-х годах, в значительной степени вытеснив более ранние иерархические и сетевые базы данных (так они всё-таки были? :) – Н.Х.). Эта предыстория заложила основу для современных ориентированных на данные организаций и предприятий.

• Влияние реляционных баз данных: Реляционная модель (предложенная Коддом (E. F. Codd) в 1970 году) обеспечила беспрецедентную гибкость и эффективность хранения данных. 
  
  Мой комментарий: Сказанное не вполне точно :) Реляционные базы данных долгое время были непопулярны именно из-за того, что во многих приложениях переход на реляционную модель требовал существенно бóльших объёмов компьютерной оперативной и постоянной памяти, которая тогда была дефицитной. На само деле мощь реляционной модели – в её универсальности (любую базу данных можно преобразовать в реляционную форму) и в замечательных стандартных инструментах манипулирования данными в составе готового ПО. Благодаря этому создание эффективных баз данных стало доступно всем организациям.
  
  Сохраняя каждый факт лишь один раз и используя язык структурированных запросов (Structured Query Language, SQL) для извлечения и объединения данных, организации могли обеспечить согласованность и эффективно отвечать на сложные запросы. Коммерческие реляционные базы данных (такие как Oracle, DB2, SQL Server) получили широкое распространение с конца 1970-х годов (более точно, с конца 1980-х годов, когда компьютеры стали доступны крупным коммерческим организациям; однако настоящая революция началась позднее, с широким распространением персональных компьютеров в 1990-е годы – Н.Х.), трансформировав деловые процессы, на протяжении десятилетий обеспечивая обработку транзакций и став фундаментом корпоративных информационных систем. Технология реляционных СУБД стала основой для стратегического управления документами и информацией по мере того, как коммерческие организации стали полагаться на эти системы для управления структурированными документами (например, финансовыми данными, информацией о клиентах).
  
  
• Появление новых парадигм данных: К 2000-м годам взрывной рост объёма веб-данных и данных от датчиков («больших данных») привёл к появлению новых проблем. Традиционные базы данных SQL, разработанные для односерверных сред, с трудом масштабировались до объёмов, характерных для эпохи интернета. Это привело в конце 2000-х годов к появлению баз данных NoSQL, разработчики которых пожертвовали некоторыми реляционными функциями ради распределённой масштабируемости (например, Google BigTable, Hadoop/HDFS, Cassandra). Позднее распределённые базы данных SQL, сочетающие масштабируемость NoSQL с преимуществами реляционных систем. Эти разработки диверсифицируют ландшафт структурированных данных, создавая более сложную среду для стратегического управления информацией.

(Окончание следует)

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/from-rows-to-records 

Видеореклама нового технического отчёта ISO/TR 8344:2024 «Вопросы и соображения относительно управления документами в средах структурированных данных»

20 февраля 2025 года на YouTube-канале профильного технического подкомитета Международной организации по стандартизации (ИСО) TC46/SC11 «Управление документами» («TC 46 SC 11 Archives and records management», см. https://www.youtube.com/@TC46SC11Archivesandrecords-d9r ) был выложен ещё один одноминутный рекламный ролик, посвящённый недавно опубликованному техническому отчёту ISO/TR 8344:2024 «Информация и документация – Вопросы и соображения относительно управления документами в средах структурированных данных» (Information and documentation - Issues and considerations for managing records in structured data environments), о котором я уже писала – см. http://rusrim.blogspot.com/2024/04/isotr-8344.html .

Ранее на том же канале уже выкладывался видеоматериал на ту же тему, см. http://rusrim.blogspot.com/2024/10/tc46sc11-isotr-83442024.html .

При просмотре можно включить субтитры (в т.ч. на русском языке), а также расшифровку текста.

В видеоролике сказано следующее:

«Структурированные данные меняют способ управления документами. Готовы ли Вы к ситуации, когда документы всё чаще хранятся в базах данных и деловых системах?

Возникают новые проблемы. Как обеспечить в таких условиях сохранение документами их аутентичности и доступности и их соответствие законодательно-нормативным требованиям? Вот здесь и приходит на помощь технический отчёт ISO/TR 8344:2024.

В этом новом техническом отчёте Международной организации по стандартизации (ИСО) рассматриваются проблемные вопросы управления документами в средах структурированных данных и предлагаются практически полезные рекомендации, которые помогут организациям сохранять контроль над документами и данными.

В условиях эволюционирующих структур данных, наличия унаследованных систем и трансграничных баз данных, специалисты по управлению документами сталкиваются с растущими рисками. Плохое управление структурированными данными может привести к неисполнению законодательно-нормативных требований, к потере критически важных доказательств и к неэффективности оперативной деятельности.

В техническом отчёте ISO/TR 8344:2024 сформулированы ключевые стратегии обеспечения сохранности целостности данных, исполнения законодательно-нормативных требований и укрепления стратегического управления в средах структурированных данных. Независимо от того, являетесь ли Вы специалистом по управлению документами, администратором баз данных или экспертом по политикам, данный отчёт дает Вам идеи и знания, необходимые для того, чтобы быть на шаг впереди событий.

Начните уже сегодня изучать ISO/TR 8344:2024 и улучшать свою систему управления структурированными данными.»

Источник: YouTube
https://www.youtube.com/watch?v=dKAok93HqMo  

Видео технического подкомитета ИСО TC46/SC11 о техническом отчёте ISO/TR 8344:2024 об управлении документами в средах структурированных данных

9 октября 2024 года канал технического подкомитета Международной организации по стандартизации (ИСО) TC46/SC11 «Управление документами» на сайте YouTube, см. https://www.youtube.com/@TC46SC11Archivesandrecords-d9r , выложил новый 3-минутный видеоролик (на английском языке) под названием «Технический отчёт ISO/TR 8344:2024 объясняет вопросы управления документами в средах структурированных данных» (ISO TR 8344 2024 Explainer Structured Data Environments), см. https://www.youtube.com/watch?v=eU-9SWaAIJs .

В нём речь идёт недавно опубликованном техническом отчёте ИСО, о котором я уже писала – см. http://rusrim.blogspot.com/2024/04/isotr-8344.html

В аннотации отмечается:

«В условиях сегодняшнего быстро меняющегося цифрового ландшафта эффективное управление документами становится более важным, чем когда-либо прежде. Технический отчет Международной организации по стандартизации (ИСО) ISO/TR 8344:2024 «Информация и документация – Вопросы и соображения относительно управления документами в средах структурированных данных» (Information and documentation - Issues and considerations for managing records in structured data environments, https://www.iso.org/standard/83138.html ) содержит ключевые рекомендации по работе с документами в средах структурированных данных, обеспечивая соответствие этих документов деловым потребностям и законодательно-нормативным требованиям.

Данное видео представляет недавно выпущенный продукт технического подкомитета ISO/TC46/SC11 «Управление документами» и высвечивает основные проблемы, с которыми сталкиваются организации при управлении структурированными данными в качестве документов. Вы сможете узнать, как стандарты ИСО помогают кодифицировать передовые практики в форме применимых в международном масштабе систем менеджмента, обеспечивающих аутентичность документов, их надёжность и пригодность к использованию.

Вы также узнаете, каким образом стандарты и другие продукты ИСО помогают организациям разрабатывать и совершенствовать системы, которые создают документы и управляют ими, способствуя постоянному совершенствованию и соблюдению законодательно-нормативных требований. Независимо от того, являетесь ли вы руководителем делового подразделения, специалистом по управлению документами или ИТ-специалистом, ISO/TR 8344:2024 предоставляет Вам инструменты, необходимые для преодоления сложностей современного мира, движимого данными.

Смотрите это видео сейчас, чтобы познакомиться с тем, как технический подкомитет ISO/TC46/SC11 формирует будущее управления документами!»

Источник: YouTube
https://www.youtube.com/watch?v=eU-9SWaAIJs

Основная проблема управления структурированными данными как документами

Данный пост австралийского специалиста в области управления документами и информацией Карла Мелроуза (Karl Melrose – на фото) был опубликован 1 июля 2024 года на его блоге Meta-IRM (Мета-управление информацией и документами).

Однажды я прочитал где-то, что единственное, что происходит, когда мы не говорим о политике, деньгах и религии, - это то, что мы теряем способность толком говорить о политике, деньгах и религии. Причина довольно проста: мы перестаем о них узнавать и забываем все детали и тонкости того, что они собой представляют и как о них говорить. Мы перестаем сталкивать друг с другом наши идеи и представления о них и вводить новую информацию о контексте.

Самая большая проблема с управлением структурированными данными как документами ровно такая же. Мы перестали обсуждать вопрос о том, что такое «документ», поэтому теперь у нас очень плохо получается дискутировать на эту тему.

Мы забыли, как осмысливать тонкие особенности документов, как создавать «хорошие» документы, как соотносить их с требованиями законодательства, как справляться с проблемами объединения и разделения, с конкурирующими законодательными требованиями и с конфликтующими приоритетами.

Это означает, что теперь мы не в состоянии сказать архитекторам решений и другим разрабатывающим деловые приложения специалистам, что именно является документами в их приложениях – а те, как следствие, не могут создать решения, которое бы управляли этими документами так, как мы бы [специалисты по управлению документами – Н.Х.] этого хотели.

Я всё время сталкиваюсь с тем, что когда я в состоянии объяснить умным ИТ-специалистам, что такое «документ», они в силах разобраться с техническими тонкостями управления документами таким образом, как мы этого хотим.

Ну а когда я не могу им этого объяснить, то и они не могут сделать свою часть работы - потому что не понимают документы. Это наша [специалистов по управлению документами – Н.Х.] работа.

Карл Мелроуз (Karl Melrose)

Мой комментарий: С моей точки зрения, ситуация для специалистов по управлению документами складывается ещё печальнее. Как говорится, «свято место пусто не бывает», и когда у государственных органов и коммерческих организаций появляется необходимость управлять теми же структурированными данными как документами (это могут быть сведения в базах данных, популярная сейчас XML-отчётность, цифровые модели и карты и т.п. – а на подходе наборы данных для машинного обучения и ИИ-модели), то рано или поздно находятся способные это сделать специалисты, которые могут прийти из самых разных областей … В результате гордящиеся своим профессионализмом и многовековой историей своей профессии специалисты по управлению документами и архивисты сами отдают очень востребованное современное «хлебное» направление другим, собственными руками делая себя заложниками устаревающих и уходящих технологий и лишая свою профессию перспектив …

Источник: блог Meta-IRM
https://metairm.substack.com/p/the-core-problem-of-managing-structured

Как заставить процессы уничтожения агрегаций документов работать в системах структурированных данных

Данный пост австралийского специалиста в области управления документами и информацией Карла Мелроуза (Karl Melrose – на фото) был опубликован 2 апреля 2024 года на его блоге Meta-IRM (Мета-управление информацией и документами).

Как заставить процессы уничтожения агрегаций документов (aggregate record) работать в системах структурированных данных? Ответ на данный вопрос, судя по всему, является загадкой даже для очень дальновидных специалистов-практиков.

По моему опыту, типичная причина концептуальных проблем в данном случае заключается в том, что люди, пытаясь справиться с поставленной задачей, инстинктивно думают о базе данных.

Это упрощенное представление: У нас есть хранилище данных (контейнер для документов), и мы смотрим на него и думаем, что оно организовано в виде таблиц, в таблицах отражены транзакции, а сведения о транзакциях называются документами - поэтому мы хотим на них посмотреть! (На самом деле, не хотим!)

Использовать подобную логику – всё равно что подойти к куче блоков конструктора Лего и попытаться понять, что же ранее было построено из этих элементов. Это может быть возможно в очень простых случаях, когда база данных вообще не была нормализована, - однако в большинстве случаев уровень уверенности будет очень низким, а вероятность возникновения непредвиденных последствий, наоборот, будет очень высокой.

Более точная аналогия заключается в том, что это похоже на попытку провести экспертизу ценности текстового документа в формате Word, просматривая хранящиеся на жёстком диске биты - единицы и нули. Все становится проще, если Вы используете для этой цели приложение Word.

Чтобы понять, что такое уровень транзакций, нам следует пойти и взглянуть на само деловое приложение и разобраться с тем, как это деловое приложение порождает транзакции. Обычно это достаточно тривиальное дело, когда речь идёт об ориентированных на пользователя приложениях.

Фактически, есть два способа решить эту задачу: или посидеть в течение пяти минут с кем-то, кто использует приложение, и попросить этого коллегу пошагово показать, что он там делает, - или пойти и взглянуть на интерфейс приложения, и поискать там, что именно оно позволяет Вам создавать.

Вам следует сосредоточить своё внимание на существительных.

Приложения разрабатываются для фиксации и обновления состояния вещей — «состояние» (state) просто означает определенные характеристики вещи в определенный момент времени.

«Вещи» почти всегда являются именами существительными – это может быть физическое лицо, клиент, актив, продукт, дело, заказ, контракт и т.д.

Что делает управление документами в системах структурированных данных непонятным и запутанным для специалистов по управлению документами, так это то, что обычно мы предпочли бы иметь одну единственную, содержащую всё «запись», которой мы могли бы управлять вплоть до уничтожения - а если мы не уничтожим всё и вся, то у нас останется чувство, словно мы не сделали того, что от нас ожидалось.

Создающие базы данных специалисты считают такой подход расточительным и неэффективным, поэтому обычно вы видите в базах данных набор связей типа «один ко многим» между существительными, которые представляют человека, место или вещь, и существительными, которые представляют связанные с ними действия (транзакции).

Мой комментарий: Карл Мелроуз пытается здесь объяснить, что в базах данных одни и те же компоненты могут использоваться для «сборки» не одного документа, а многих – и, соответственно, такие компоненты нельзя удалять, пока продолжает храниться хотя бы один документ, для сборки которого они нужны. По аналогии с Лего, при уничтожении документа можно спокойно уничтожить только те блоки и связи, что являются для этого документа уникальными.

Здесь интересно отметить, что если об этом рассуждать с точки зрения классификационных схем, то можно было бы сказать, что речь идёт о структуре «Субъект : Действие : Транзакция» - при этом сведения о действии обычно фиксируются в виде типа транзакции.

Простым примером служат системы менеджмента активов. Скорее всего, у нас будет актив (один), а также набор связанных с активом случаев их использования (много) разных типов (соответствующих разным видам деятельности). Актив (один) связан со многими случаями использования – транзакциями.

Ещё одним примером являются системы «обслуживания клиентов». Клиент (один) связан со многими продажами – транзакциями.

То существительное, которого «много», скорее всего будет нашими «транзакциями».

В какой-то момент всякое существительное, которое «одно», также было создано - и это тоже транзакция, которую в какой-то момент нужно будет удалить.

Именно в этих отношениях «один ко многим» большинство коллег [специалистов по управлению документами – Н.Х.] застревает, когда задумывается об уничтожении информации и документов в базах данных.

Нам нужно осознать, что для уничтожения транзакции нам необходимо избегать уничтожения любых многократно используемых данных и уничтожать только те данные, которые уникальны для данной транзакции. Если мы удалим уникальные данные, связанные с транзакцией, то уничтожим возможность представления транзакции с помощью тех данных, которые остались, - поэтому тем самым мы уничтожили эту транзакцию. Звучит это сложно, но, как правило, на деле это не так - до тех пор, пока вы избегаете собственно базы данных, как чумы, и взаимодействуете с приложением.

Разработчики приложений обычно не осознают потребность в проведении авторизованного уничтожения, и приложения, соответственно, этого должным образом не поддерживают, - однако функция «удаления» в приложениях обычно имеется, даже если она недоступна обычным пользователям. Если приложение спроектировано хорошо, то функция удаления будет включать в себя логику, защищающую целостность базы данных, на которую опирается приложение, а также ограничивающую круг удаляемых элементов только уникальными для соответствующей транзакции данными (а не всеми элементами, от которых зависит запись о транзакции).

Действительно, при этом остаётся решить проблему уничтожения с такими сущностями, как «физическое лицо» и «адрес» — и с некоторыми другими существительными / сущностями, от которых зависят транзакции, но это небольшая концептуальная проблема, решение которой требует лишь небольшой гибкости мышления. Если мы уничтожили наши транзакции и при этом остались сведения о людях и адресах без привязанных к ним транзакций, и эти сведения используются только для поддержки данных транзакций (т.е. в их отношении нет собственных требований к срокам хранения), то об этом легко собрать отчётность и уничтожить эти сведения в качестве вторичного действия после проведения процесса уничтожения на уровне транзакций.

Ситуация усложняется, когда имеются приложения, использующие эти данные на последующих этапах обработки информации.

Вот для чего нужны сведения о происхождения и перечни видов документов, информации с указанием сроков хранения и действий по их истечении.

Предполагается, что в перечнях указаны сроки, в течение которого нам нужны соответствующие данные, - в том числе для любого последующего использования на дальнейших этапах обработки. Хорошие перечни должны принимать во внимание все виды использования в деловой деятельности, включая последующее и повторное использование. Может быть несколько затруднительно отслеживать всё это, если информация и данные копируются, но это можно сделать.

Сведения о происхождении (lineage) также полезны: они говорят нам, откуда взялись наши данные — это происхождение (provenance) на уровне данных. Если у нас есть сведения о происхождении, то мы знаем, откуда взялись данные и куда они идут. Отсутствие таких сведений может довольно быстро, лет через пять-десять, обернуться масштабными проблемами, особенно если речь идёт о хранилище данных (data warehouse) или, тем более, об озере данных.

Если же говорить серьёзно, то любая мысль о невозможности выполнения процесса уничтожения данных в базах данных просто неверна. Нам лишь нужно убедиться, что мы рассматриваем вопрос на адекватном уровне абстракции. Представление о базах данных [на уровне отдельных полей данных и записей в базе данных – Н.Х.] сродни попытке проведения экспертизы текстового документа в формате Word посредством просмотра потока составляющих его битов на жёстком диске: мы можем добиться куда большего, используя соответствующее программное приложение (Word).

Карл Мелроуз (Karl Melrose)

Источник: блог Meta-IRM
https://metairm.substack.com/p/how-to-make-aggregate-record-destruction

ИСО: Опубликован технический отчёт ISO/TR 8344:2024 «Вопросы и соображения относительно управления документами в средах структурированных данных»

15 апреля 2024 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации нового технического отчёта ISO/TR 8344:2024 «Информация и документация – Вопросы и соображения относительно управления документами в средах структурированных данных» (Information and documentation - Issues and considerations for managing records in structured data environments) объёмом 69 страниц, см. https://www.iso.org/standard/83138.html и https://www.iso.org/obp/ui/en/#!iso:std:83138:en . Документ подготовлен техническим подкомитетом TC46/SC11 «Управление документами».

О работе над техническим отчётом я уже рассказывала на блоге, см. http://rusrim.blogspot.com/2023/12/isodtr-8344.html .

Во вводной части документа отмечается:

«Возрастает деловая потребность в руководствах и рекомендациях по разработке и внедрению адекватных политик и процедур, помогающих обеспечить обладание документами в средах структурированных данных свойствами аутентичности, надежности, целостности и пригодности к использованию.

Хотя описанная в стандарте ISO 30301 система менеджмента документов может использоваться для обеспечения надлежащего руководства, планирования, поддержки, совершенствования и оценки применительно к документам в средах структурированных данных, существуют также специфические для этих сред вопросы, касающиеся мер и средств контроля и управления над документами и документных процессов и систем, которые необходимо принять во внимание.

Данный документ содержит обзор ландшафта управления документами в средах структурированных данных. В нём указаны соответствующие проблемы и соображения в отношении управлению документами в этих средах.

Основной целевой аудиторией данного документа являются разработчики политик в области данных, проектировщики систем, владельцы деловых систем, специалисты по управлению данными, по базам данных и по управлению документами, совместно работающие над тем, чтобы обеспечить применение в средах структурированных данных надлежащих подходов, процессов, мер и средств управления документами, а также систем управления документами.

… В настоящем документе описаны проблемы и соображения по вопросам управления документами в средах структурированных данных.»

Содержание технического отчёта следующее:

Предисловие
Введение
1. Область применения
2. Нормативная ссылка
3. Термины и определения
4. Основные понятия и концепции
5. Вопросы управления документами в средах структурированных данных
6. Сложности управления документами в средах структурированных данных
Приложение A: Понятия и характеристики структурированных данных
Приложение B: Пример реляционной базы данных
Приложение C: Понятие документа с точки зрения управления и с точки зрения технологий
Приложение D: Примеры из практики управления документами в средах структурированных данных и шаблон их описания
Приложения E-H: Примеры из практики 1-4
Приложение I: «Запроектированный» подход (by design)
Библиография

Источник: сайт  ИСО
https://www.iso.org/standard/83138.html
https://www.iso.org/obp/ui/en/#!iso:std:83138:en

ИСО и МЭК: Завершается подготовка стандарта ISO/IEC FDIS 15944-17 требований к «запроектированной» защите персональных данных в контексте структурированного обмена электронной информацией (EDI) и коллективной работы

5 января 2024 года сайт Международной организации по стандартизации (ИСО) сообщил о том, что проект стандарта ISO/IEC FDIS 15944-17 «Информационные технологии – Оперативная точка зрения н деловую деятельность - Часть 17: Основные принципы и правила, определяющие требования к запроектированной защите персональных данных в контексте структурированного обмена электронной информацией (EDI) и коллективной работы» (Information technology - Business operational view - Part 17: Fundamental principles and rules governing Privacy-by-Design (PbD) requirements in an EDI and collaboration space context - о котором ранее я уже достаточно подробно рассказывала здесь: http://rusrim.blogspot.com/2023/04/edi.html – Н.Х.), переведен на стадию «финального проекта международного стандарта» (FDIS), см. https://www.iso.org/standard/87331.html

Стандарт готовит подкомитет SC32 «Управление и обмен данными» (Data management and interchange) Объединенного технического комитета ИСО/МЭК JTC1 «Информационные технологии» (Information technology).

Сообщая об этом, веб-сайт технического подкомитета ИСО TC46/SC11 «Управление документами» (Archives/records management) в своей новости пишет:

«Проект международного стандарта в области информационных технологий ISO/IEC FDIS 15944-17, в центре внимания которого находится деловая оперативная точка зрения с особым акцентом на требования к обеспечению «запроектированной» защиты персональных данных (Privacy by design, PbD) в контексте структурированного обмена электронной информацией (EDI) и коллективной работы, был зарегистрирован как «финальной проект международного стандарта» (FDIS) для официального утверждения (этап 50.00).

Данный стандарт устанавливает фундаментальные принципы и правила, регламентирующие вопросы обеспечения неприкосновенности частной жизни (защиты персональных данных) в контексте процессов структурированного обмена электронной информацией (EDI) и коллективной работы.

Разработкой стандарта ISO/IEC FDIS 15944-17 занимаются Международная организация по стандартизации (ИСО) и Международная электротехническая комиссия (МЭК) в рамках технического подкомитета SC32 «Управление и обмен данными» (Data management and interchange) Объединенного технического комитета ИСО/МЭК JTC1 «Информационные технологии».

Этот подкомитет, занимающийся стандартами управления данными и обмена ими, сыграл ключевую роль в формировании содержания и структуры стандарта. Эксперты подкомитета SC32 усердно коллективно поработали над тем, чтобы ISO/IEC FDIS 15944-17 соответствовал передовому международному опыту и помогал решать критически-важные аспекты проблем защиты персональных данных в контексте процессов структурированного обмена электронной информацией (EDI) и коллективной работы.»

Источник: сайт ИСО
https://committee.iso.org/sites/tc46sc11/home/news/content-left-area/news-about-standarization-in-t-1/iso-iec-fdis-15944-17-privacy-by.html
https://www.iso.org/standard/87331.html

ИСО: Вышла на финишную прямую работа над техническим отчётом ISO/DTR 8344 «Вопросы и соображения относительно управления документами в средах структурированных данных»

Данная новость была опубликована 8 декабря 2023 года на веб-сайте технического подкомитета ИСО TC46/SC11 «Управление документами» (Archives/records management).

Мы рады объявить о важной вехе в разработке технического отчёта ISO/DTR 8344 «Информация и документация – Вопросы и соображения относительно управления документами в средах структурированных данных» (Information and documentation - Issues and considerations for managing records in structured data environments, см. https://www.iso.org/standard/83138.html ), в котором рассматриваются вопросы управления документами в средах структурированных данных (читай, в базах данных, главным образом реляционных – Н.Х.). После пленарного заседания технического подкомитета TC46/SC11 «Управление документами» в мае 2023 года проект был переведен на стадию «окончательного проекта текста».

События после майского 2023 года пленарного заседания подкомитета:

Пленарное заседание в мае 2023 года послужило важной платформой для продвижения проекта. В ходе заседания был достигнут существенный прогресс, благодаря тому, что группа разработчиков проекта усердно работала над подготовкой проекта технического отчета. Совместные усилия экспертов и заинтересованных сторон завершились созданием всестороннего документа, в котором рассматриваются сложные вопросы управления документами в структурированных средах.

Целевая аудитория:

Проект технического отчета ISO/DTR 8344 предназначен для разнообразной аудитории, включающей специалистов по управлению документами, ИТ-специалистов, разработчиков приложений, юристов и экспертов по комплайнсу, исследователей, преподавателей и других людей, проявляющих большой интерес к пересечению областей управления документами и сред структурированных данных.

Последующие шаги:

С выходом на стадию DTR технический отчёт ISO/DTR 8344 готов к формальной редакционной проверке, по завершении которой документ будет опубликован.

Благодарности:

Мы выражаем искреннюю признательность всем участникам проекта и заинтересованным сторонам, которые сыграли ключевую роль в продвижении ISO/DTR 8344 до его нынешнего этапа. Ваши опыт и преданность этой работе сыграли неоценимую роль при подготовке этого важного технического отчета.

Мой комментарий: Я участвовала в этом проект с самого начала, ещё с момента создания соответствующей исследовательской группы, изучавшей возможность подготовки публикации ИСО по данной теме. К полученному результату я отношусь с осторожным оптимизмом: документ получился далеко менее революционным, чем мне бы хотелось, круг рассматриваемых сред сузился до реляционных баз данных, и, к сожалению, так и не был дан убедительный ответ на ключевой вопрос – что же такое «структурированные» и «неструктурированные» данные и документы (существующие в настоящее время определения – это какой-то оторванный от жизни детский лепет).

В то же время для технического подкомитета данный проект, безусловно, стал одним из давно ожидавшихся шагов вперёд навстречу современным методам ведения работы и информационным технологиям – ведь до этого подкомитет годами не мог по-настоящему выйти за узкие рамки традиционных представлений об управлении документами (неплохих, но уже не всегда работающих в электронную эпоху) и организационно-распорядительной документации. В проекте впервые рассмотрен ряд важных проблем, поэтому можно надеяться, что технический отчёт принесёт пользу своим читателям несмотря на своё несовершенство.

Источник: сайт ИСО
https://committee.iso.org/sites/tc46sc11/home/news/content-left-area/news-about-standarization-in-t-1/iso-awi-tr-8344-issues-and-consi.html

Ответ на вопрос коллеги: Структурированные XML-документы, их достоинства и недостатки

Вопрос: Как Вы относитесь к структурированным XML-документам? В чем Вы видите их удобство, их слабость?

Ответ: Структурированные документы впервые упоминаются в практике нотариального делопроизводства средневековой Италии – так что сама идея не настолько нова, как многие думают, и накоплен немалый опыт работы с ними (хотя, конечно, он плохо систематизирован). Суть идеи первоначально заключалась в отделении типовой формы документа от его уникального содержания, представленного в виде набора данных. Для корректной интерпретации данных нужно было снова объединить их с формой.  

В чём удобство структурированных XML-документов? Конечно же, в том, что они рассчитаны на обработку их машинами, а не людьми – соответственно, скорость и объёмы обрабатываемых документов резко увеличиваются, да и ошибок (особенно субъективных) становится куда меньше.

В чём слабость структурированных XML-документов? Опять же, в том, что они рассчитаны на обработку их машинами, а не людьми – и когда в дело вступают люди и чисто человеческие аспекты (а это, в частности, означает сложные юридические формулировки контрактов и их оценка судами), то возникают проблемы и становится видна ограниченность XML-документов. Здесь та же проблема, с которой сталкиваются все прочие попытки структуризации документов, такие как машиночитаемые доверенности, смарт-контракты и т.п. – более-менее простые типовые вещи структурировать в виде XML-документа легко, а вот сложное юридическое крючкотворство, задевающее интересы сразу нескольких сторон плохо этому поддается, и принимаются смешные решения о возможности всё записать в свободном виде текстом.

Таким образом, нужно изначально понимать, что 100% деловых документов эффективно в структурированный машиночитаемый вид сейчас перевести не удастся. Однако если перевести в такой вид хотя бы основную массу типовых документов, это уже даст огромную экономическую отдачу. Для успеха – как в случае с многострадальными МЧД – крайне важны разумные, без экстремизма, ожидания.

При представлении XML-документов другой стороне, юристам, регуляторам, судам и т.д., те могут затребовать их «визуализацию» в человеко-читаемом виде. О такой визуализации и о её грамотном юридическом оформлении также стоит позаботиться заранее. Также не хотелось бы тиражировать дурость нынешнего варианта технологии МЧД, в которой для юристов не предусмотрено места в процессе оформления доверенности.

Проблема интерпретации. Структурированные машиночитаемые документы существовали у нас ещё с 1970-е годов, если не раньше – например, в виде перфокарт для учёта трудовых прав; и время и горький опыт судебных споров уже показали, какие проблемы возникают с ними в длительной перспективе. Главная из них – корректная интерпретация данных в структурированном документе, поскольку такие документы не являются самодостаточными в отличие от традиционных документов, и полагаются на хранимые отдельно правила интерпретации.

Если точное официальное описание нужной версии формата на основе XML со временем потеряется, то все эти XML-документы сразу утратят почти всю свою доказательную силу.

Проблемы подписания: Этих проблем несколько, и они те же самые, что и для прочих электронных документов.

• Человек может увидеть подписи только при визуализации XML-документа, что создаёт определенные деловые риски.
  
  
• Кроме того, в отличие от традиционного бумажного документа, в котором намерение подписанта (утверждение, согласование, ознакомление, визирование, защита информации в процессе передачи) вытекает из местоположения подписи, в электронной среде всё не так однозначно, и в ряде случаев есть шанс отказаться от документа, заявив, что он был подписан не с тем намерением, как думает другая сторона, а с иным.
  
  
• Проблема обеспечения долговременной сохранности подписанных усиленными электронными подписями электронных документов, без ущерба для их юридической и доказательной силы, как говорится, «в процессе решения» во всём мире.

Мораль:

• XML-документы очень хороши для оперативной машинной обработки, и не очень удобны при ручной обработке. Также далеко не всякий договор или доверенность могут быть эффективно представлены в структурированном виде – здесь себя обманывать не нужно.
  
  
• При организации архивного хранения XML-документов нужно одновременно обеспечить сохранение официальных описаний версий формата (это не считая того, что, возможно, потребуется сохранить и некоторые программные средства обработки этих документов – там, где особенно важна прозрачность и подотчётность). В связи с этим нежелательно слишком часто модифицировать формат, поскольку при частых модификациях высок риск того, что какие-то из них останутся недокументированными или соответствующая документация не сохранится.
  
  
• Если документ имеет высокую длительную или постоянную ценность, то нужно хорошенько подумать и сопоставить ожидаемые отдачу и риски, прежде чем переводить его в электронный структурированный вид.