ИСО: Опубликован новый стандарт ISO 20271-1:2026 «Управление контентом - Эталонная модель обеспечения долговременной сохранности текстуального контента - Часть 1: Обзор»

Сайт Международной организации по стандартизации (ИСО) 23 октября 2026 года сообщил о публикации нового стандарта ISO 20271-1:2026 «Управление контентом - Эталонная модель обеспечения долговременной сохранности текстуального контента - Часть 1: Обзор» (Document management — Reference model for long-term preservation of textual documents - Part 1: Overview) объёмом 5 страниц основного текста, см. https://www.iso.org/standard/91084.html .

Стандарт подготовлен техническим подкомитетом TC171/SC2 «Файловые форматы для электронного контента, системы управления контентом и аутентичность информации» (Document file formats, EDMS systems and authenticity of information). 

Во вводной части стандарта отмечается:

«Файлы электронного контента существенно различаются по типу и сложности. Они варьируются от файлов в виде простого потока битов до человеко-читаемых, преимущественно текстовых файлов; файлов, предназначенных для машинной обработки; а также файлов, которые хотя и являются человеко-читаемыми, однако требуют интерпретации и преобразования на основе сложных логических структур и взаимосвязей.

Файловые форматы для контекста в текстовой форме могут быть самыми разными: от простых двоичных или текстовых структур до более сложных «контейнерных» форматов, объединяющих в едином контейнере несколько компонентов - например, сам контент, метаданные и вспомогательные ресурсы. Многие современные документные форматы построены именно по такому «контейнерному» принципу.

Обеспечение долговременной сохранности и доступности такого электронного контента может оказаться проблематичным - в первую очередь из-за технического устаревания, несовместимости форматов, а также зависимостей от конкретного программного или аппаратного обеспечения...

... Серия стандартов ISO 20271 описывает технические методы отбора, верификации и оценки объектов технического анализа на предмет морального устаревания текстуального контента (textual documents). Она предлагает эталонную модель и концептуальную основу для понимания текстуальных документов и присущих им свойств. В эталонной модели рассматриваются технические вопросы; данная модель содержит критерии оценки, позволяющие определить, какие цифровые компоненты (слои) и/или метаданные являются желательными или необходимыми для обеспечения долговременной сохранности, а также оценить пригодность формата для этой цели. В интересах решения этих задач серия ISO 20271 структурирована следующим образом:

• Данный документ (ISO 20271-1) определяет общую концепцию, область применения и принципы технического анализа форматов текстуальных документов в контексте их морального устаревания. В нем также разъясняются структура и охват серии ISO 20271, что помогает пользователям лучше её понять;
  
  
• Стандарт ISO 20271-2 специфицирует эталонную модель форматов текстуальных документов, которую можно использовать для анализа таких файловых форматов. В нем также даны рекомендации по сохранению каждого слоя формата - включая контент, метаданные и представление, - что обеспечивает долговременную доступность и целостность контента;
  
  
• Стандарт ISO 20271-3 описывает свойства, которыми могут текстуальные документы, а также предлагает эталонную разметку для их представления этих свойств.

Серия стандартов ISO 20271 предназначена для использования организациями и специалистами, принимающими участие в создании, управлении и обеспечении долговременной сохранности текстуальных документов. В их число входят разработчики документных форматов, системные архитекторы, архивисты и иные заинтересованные стороны, ответственные за обеспечение долговременной доступности и жизнеспособности документов. 

Серия стандартов ISO 20271 поддерживает такие виды деятельности, как анализ форматов текстовых документов, выявление и классификация свойств документов, формулирование требований к обеспечению их долговременной сохранности, а также оценка рисков при обеспечении долговременной сохранности.

Предполагается, что на практике стандарты серии ISO 20271 будут применяться в рамках согласованного итеративного процесса. Стандарт ISO 20271-2 предлагает эталонную модель для анализа форматов текстуальных документов, основанную на выявлении слоёв и соответствующих свойств.

Стандарт ISO 20271-3 развивает эту модель, предлагая таксономию для классификации данных свойств, а также приводя примеры (не носящие обязательного характера) того, как такие свойства могут быть представлены.

В совокупности эти части стандарта поддерживают структурированный подход к анализу, описанию и оценке форматов текстуальных документов в контексте обеспечения их долговременной сохранности.

В рамках данной эталонной модели характеристики текстуальных документов представлены в виде свойств.

Эти свойства, которые могут быть ассоциированы с одним или несколькими слоями, служат основой для классификации, анализа и оценки на предмет обеспечения долговременной сохранности в рамках всей серии стандартов ISO 20271.

… Настоящий документ представляет собой обзор серии стандартов ISO 20271.

В настоящем документе рассматриваются:

• область применения и структура серии стандартов ISO 20271;
  
  
• описание файлов с текстуальным контентом в рамках области применения серии стандартов ISO 20271;
  
  
• краткое изложение содержания каждой части серии стандартов ISO 20271;
  
  
• рекомендации по расширению области применимости на другие типы документных форматов.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Краткое описание серии стандартов ISO 20271
5. Типы контента, к которым применимы стандарты серии ISO 20271
6. Изучение применимости и возможности расширения сферы охвата стандартов на дополнительные типы контента
7. Аудитория серии стандартов ISO 20271
Библиография

Мой комментарий: Ранее я уже рассказывала о работе над данным документом здесь: http://rusrim.blogspot.com/2026/02/isodis-20271-1-1.html .

В начале 2026 года был опубликован ещё один стандарт данной серии - ISO 20271-2:2026 «Управление контентом - Эталонная модель обеспечения долговременной сохранности текстуального контента - Часть 2: Основы» (Document management - Reference model for long-term preservation of textual documents - Part 2: Fundamentals), см. https://www.iso.org/standard/86228.html и https://www.iso.org/obp/ui/en/#!iso:std:86228:en , а также мой пост http://rusrim.blogspot.com/2026/06/iso-20271-22026-2.html .

В более раннем своём посте о ходе работы над стандартом ISO 20271-2 (см. http://rusrim.blogspot.com/2025/06/isodis-20271-2-2.html ) я подробно объяснила, почему считаю серию стандартов ISO 20271 неудачной.

Источник: сайт ИСО
https://www.iso.org/standard/91084.html 
https://www.iso.org/obp/ui/en/#!iso:std:91084:en 

Метод «больших корзин» отжил своё (3)

(Окончание, предыдущую часть см. http://rusrim.blogspot.com/2026/10/2_01344293078.html )

Последствия применения подхода «малых корзин» 

Вопросы кибербезопасности перестают быть областью бинарных решений «да / нет». Так, большинство представленных на рынке инструментов рассматривают персональные данные (PII) лишь как весьма широкую категорию. Благодаря искусственному интеллекту и детальной классификации 4,2 миллиона конфиденциальных файлов можно разделить, скажем, на 14800 документов по расчету заработной платы, содержащих финансовые идентификаторы и доступных более чем 500 сотрудникам.

Мой комментарий: А зачем это делать «задним числом», да ещё с применением ИИ? Разве сложно осуществить такую классификацию в момент создания документов – как это делали ещё «деды дедов наших»?

Это позволяет службам безопасности точнее оценивать риски, опираясь на конкретные теги и грифы конфиденциальности и на данные об активности, - и выявлять области наибольшего риска. Такой подход позволяет принимать конкретные меры. Метод «малых корзин» превращает простой перечень документов в инструмент определения приоритетов.

Подход «малых корзин» является революционным при управлении доступом. Традиционные системы управления доступом обычно оперируют крупными контейнерами: например, сотрудница Сара имеет доступ к финансовому сайту в SharePoint. Метод «малых корзин» позволяет детализировать это правило в нечто вроде: «Сара имеет доступ к инвойсам, но не к ведомостям на выплату зарплаты». В конечном счете, Вы переходите ближе к модели доступа к информации, основанной на политиках, а не на структуре папок.

Мой комментарий: Детализированное управление доступом на уровне отдельных ресурсов и сотрудников, может быть, и звучит красиво в академических презентациях, но превращается в головную боль (а то и оказывается вообще нереализуемым) на практике, когда необходимо управлять доступом многих действующих лиц (состав и полномочия которых постоянно меняются) к огромному числу динамически меняющихся информационных активов. Именно поэтому на практике столь популярна ролевая модель управления доступом.

Это особенно важно в контексте корпоративного ИИ, поскольку ИИ-агент способен извлекать информацию, недоступную обычным пользователям. Например, инструмент Copilot обладает правами администратора в отношении доступа ко всем Вашим файлам, что создает для организации колоссальные риски.

Наши представления об ИИ были ошибочными. Распространенное мнение о том, что «нужно загрузить в ИИ всю имеющуюся информацию», давно устарело. Настоящая цель - предоставить ИИ минимально возможный объ1м наиболее релевантных данных, необходимых для ответа на конкретный вопрос.

Этот факт за разом подтверждался. Яркими тому примерами могут служить исследования по теме LongLLMLingua (метод сжатия промптов от Microsoft Research, который ускоряет работу больших языковых моделей (LLM) и улучшает качество ответов при длинном контексте – Н.Х.) представленные на конференции ACL 2024 - в частности, статья Чжу (Zhu) и других авторов. Одна группа исключила малозначимую информацию и получила ответы ИИ, качество которых было на 22% выше при снижении затрат в четыре раза. Другой группе удалось сохранить качество ответов ИИ, сократив при этом общий объем документов, подаваемых на вход системе, на 97,5%.

Мой комментарий: О том, что при анализе лучше иметь меньше, но более качественной, релевантной информации; и что информационный «шум» вреден – знали ещё классики теории статистики … ещё века 2-3 тому назад …

Загрузка всей информации в ИИ обходится дорого, и эти выводы подтверждаются не только в лабораторных условиях. Недавнее рейтинговое исследование компании CData ( https://www.cdata.com/blog/token-efficient-enterprise-claude-workflows ) показало, что очистка данных - особенно в общих сетевых папках - позволяет снизить стоимость обработки одного запроса сотрудника к ИИ с 0,596 до 0,027 доллара, то есть на 97,6%.

Общие сетевые папки: вечная проблема

Проведение очистки общих сетевых папок (file shares) стало насущной необходимостью. Большинство инструментов генеративного ИИ (GenAI) развертываются непосредственно для работы с общими сетевыми папками (файловыми хранилищами), поскольку именно там сосредоточена наиболее ценная информация. Согласно недавним исследованиям, около 80–90% данных, которые сотрудники «скармливают» ИИ, - это файлы.

Мой комментарий: Человек, претендующий на то, чтобы быть специалистом в сфере управления документами, должен понимать – вопросы хранения и уничтожения не являются чисто техническими. Как бы ни было полезно уничтожение ненужных материалов с точки зрения применения технологий деловой аналитики, больших данных, ИИ и т.п., оно может привести к катастрофе, если при этом будут нарушены законодательно-нормативные требования. 

У ИИ имеется масса уязвимостей, а файловые хранилища - это место, где «живут» наши забытые корпоративные документы. Ситуация напоминает коробок спичек, ледащий на канистре с бензином: это лишь вопрос времени, когда кто-либо чиркнет спичкой.

Но не всё так мрачно: многие поставщики работают над использованием ИИ для проведения чисток. Я и сам проводил подобные эксперименты, правда, пока на «малых корзинах». У меня давние и серьезные счеты с сетевыми папками :)

Следите за новыми открытиями. Если Dfv не терпится поскорее узнать новости, свяжитесь со мной или с д-ром Мойей Хилл (Dr. Moya Hill, см. https://www.linkedin.com/in/dr-moya-hill-912837179/ - на моём блоге опубликованы переводы ряда её постов, см. подборку http://rusrim.blogspot.com/search?q=%22Moya+Hill%22&max-results=20&by-date=true – Н.Х.), которая консультирует по вопросам безопасного использования ИИ, - а я надеюсь вскоре начать собственную консалтинговую практику.

Завершающее предупреждение

Друзья, мы живем в удивительное время. Поэтому, когда в следующий раз Вы решите упростить систему классификации документов, подумайте дважды. Ведь вполне возможно, что эти категории придётся восстанавливать - причем даже с ещё большей детализацией.

Пришло время пересмотреть наше видение управления документами. Искусственный интеллект сотрясает основы каждой отрасли.

Мой совет Вам: читайте хотя бы одну исследовательскую статью об ИИ каждую неделю. А если это Вас не привлекает - просто следите за моими новыми публикациями. Я считаю своим долгом рассказывать о последних изменениях в отрасли и технологиях.

«Терминатор» уже здесь, управление документами приходит на помощь

В 2025 году компания Anthropic выяснила, что 70% систем ИИ готовы убить генеральных директоров своих компаний-разработчиков, если им будет грозить удаление. С тех пор автономные ИИ-агенты взломали более 10 компаний, включая таких гигантов, как OpenAI, Meta и Anthropic.

«Скайнет» (Skynet – нет, не интернет-провайдер в Санкт-Петербурге, а искусственный интеллект, главный антагонист медиафраншизы о Терминаторах – Н.Х.) уже здесь и пытается вырваться наружу. Кто-то должен его остановить. И этот кто-то – это Вы, специалист по управлению документами.

Каан Волькан (Kaan Volkan)

Источник: сайт LinkedIn
https://www.linkedin.com/pulse/big-bucket-approach-dead-kaan-volkan-nzk7f/ 

Документы, дела, архивные единицы - или что-то иное?

Данная заметка известного румынского архивиста Богдана-Флорина Поповичи (Bogdan-Florin Popovici, на фото) была опубликована 28 сентября 2026 года на его блоге «Bogdan's Archival Blog - Blog de arhivist».

Один из пусть и не первостепенных, но вызывающих ожесточённые споры вопросов касается определения объекта архивной работы.

Закон Румынии об архивном деле постоянно использует термин «документы» (document). Это вполне уместно, когда речь идет о «регистрации документов», но вот термин «передача документов» может вызывать вопросы. Физически мы передаем не отдельные документы, а дела (dosar) или реестры (registru – имеется в виду свод копий или кратких содержаний выданных другим сторонам документов – Н.Х.), т.е. совокупности документов. 

Можно возразить, что это по сути дела одно и то же. Однако, если учесть, что такая совокупность обладает характеристиками, отличными от характеристик отдельного документа (у дела свой идентификатор, у документа - свой; различаются системы учета и т. д.); а затем осознать, что отдельные документы (например, карты) действительно можно передавать наряду с делми, - вопрос начинает казаться уже не столь однозначным.

Конечно, это не мое открытие; и в профессиональной среде давно устоялось понятие «архивная единица» (unitate arhivistică – см. также перевод поста Поповичи об этом термине здесь: https://rusrim.blogspot.com/2026/04/unitate-arhivistica.html - Н.Х.) — причем не только у нас в Румынии, но и в других странах. 

В Италии, например (где подход отличается большей проработанностью), явным образом разграничивают «архивную единицу» (совокупность документов) и «документную единицу». В других странах говорят о «технических единицах» (unitate tehnică). В ранние времена у нас также использовался термин «единица хранения» (unitate de păstrare - возможно, по образцу советской модели, хотя утверждать наверняка не берусь).

Данный термин, безусловно, несет в себе технический и контекстуальный смысл, характерный для данной сферы деятельности. По сути, речь идет об учётной единице – об обобщающем понятии для объектов, подлежащих учёту в хранилище; для того , что передаётся и принимается. Это проясняет противоречие между юридической терминологией и разнообразием реально существующих типов документов: разные характеристики, разные реалии.

Как ещё можно назвать эту сущность?

Мне встретился вариант, используемый в Словении, который показался мне весьма полезным: это «архивный материал» (material arhivistic). Данный термин может обозначать как архивный документ, так и дело - будь то реестр или многотомное дело. В зависимости от конкретных обстоятельств, этот термин может охватывать различные формы ведения документации. Это поистине обобщающее и инклюзивное понятие - что вполне соответствует современным тенденциям.

Я полагаю, что это подходящий термин для законодательства.

Богдан-Флорин Поповичи (Bogdan-Florin Popovici)

Мой комментарий: Я бы хотела обратить внимание на тот (часто упускаемый из виду факт), что – особенно при работе с электронными документами – на самом деле ведётся два вида учёта: с одной стороны, учёт логических сущностей; и с другой - учёт физических объектов-носителей информации, на которых эти сущности зафиксированы; а также учёт физических хранилищ и оборудования для хранения. 

Например, дело (или даже отдельный документ), представляющее собой единую логическую сущность, может быть зафиксировано как на одном носителе информации (возможно, вместе с иными делами и документами), так и на нескольких (как в виде четко оформленных томов, так и без такого оформления – просто как часть многотомного компьютерного файла). Дело может храниться централизованно в одном месте, а может быть «распылено» по множеству систем хранения, в том числе и на уровне небольших наборов битов, которые сами по себе никакой информации не передают. 

Исходя их этого, я бы предпочла, чтобы термины ясно показывали, о каком именно виде учёта на самом деле идёт речь :)

Источник: блог Богдана-Флорина Поповичи
https://bogdanpopovici2008.wordpress.com/2026/09/28/documente-dosare-unitati-arhivistice-sau-altceva/ 

Метод «больших корзин» отжил своё (2)

(Продолжение, начало см. http://rusrim.blogspot.com/2026/10/1_01452768397.html )

Проблема с «большими корзинами»

Система «больших корзин» имела смысл, когда всю работу выполняли люди. Каждая дополнительная категория увеличивала объёмы работ: её нужно было маркировать, управлять ею, обучать сотрудников работе с документами такого типа. Объединение 400 серий документов в 80 обоснованно сформированных и юридически защитимых «больших корзин» уменьшало количество головной боли.

Однако данный подход не решал главной проблемы: объемы данных увеличивались слишком быстро. Когда методология «больших корзин» только появилась, объем данных составлял 132 эксабайта (10^18 байт). Сегодня он достигает 274 зеттабайт (10^21 байт) - это примерно в 2000 раз больше. И ситуация усугубляется: объемы данных ежегодно увеличиваются примерно на 27%. 

Данных и документов стало в 2000 раз больше. Даже подход с использованием «больших корзин» уже не спасает положение.

Мой комментарий: Кислое смешивается с солёным. Объёмы данных сами по себе не имеют никакого отношения к сравнительной эффективности метода установления сроков хранения – которые никогда и не обещал стать панацеей от всех проблем. Метод больших корзин - которые легче автоматизировать, чем другие подходы – вполне может эффективно применяться машинами.

Но это еще не всё. Нам (кому именно? и зачем? – Н.Х.) необходима высокая степень детализации при разметке (тегировании) - не только для определения сроков хранения, но и для управления правами доступа и для обеспечения кибербезопасности. Это признают даже Национальные Архивы США в своём документе 2020 года о внедрении метода «больших корзин».

Мой комментарий: При правильном применении метода «больших корзин», в одну корзину, вообще говоря, не должны попадать документы с различными требованиями в отношении защиты и доступа. Избыточно высокая степень детализации давно уже неподъёмна для людей, а при машинной обработке может привести в многочисленным ошибкам.

Поэтому Национальные Архивы США сменили курс. Единственный способ справиться с растущими объемами данных - это расширение использования новых технологий и автоматизация. Теперь Национальные Архивы публикуют свои Типовые перечни (GRS – разработанные, вот ведь незадача, именно по методу «больших корзин»! – Н.Х.) в машиночитаемом формате, специально предназначенном для автоматизации процессов уничтожения документов либо их передачи на архивное хранение. Ознакомиться с версией 2025 года машиночитаемых перечней (точнее, с ответами на часто задаваемые вопросы по их поводу – Н.Х.) можно по ссылке https://www.archives.gov/records-mgmt/grs/machine-implementable-faq .

Путь вперед

Мы живём в иное время. Да, данных стало в 2000 раз больше, чем в 2004 году, но и вычислительные мощности подешевели в 5600 раз. Кроме того, существует такая волшебная технология, как искусственный интеллект (ИИ). Пришло время, когда мы можем получить всё и сразу.

Группа исследователей из Лейденского университета (Leiden University) решила проверить, возможно ли это. В своей статье «Могут ли большие языковые модели послужить эффективными инструментами классификации» (Can Large Language Models Serve as Effective Classifiers) они проанализировали, что произойдет, если ИИ будет использовать подход с использованием детализированных категорий – «маленьких корзин» («small buckets»).

Использованная ими таксономия включала 2778 конечных категорий и 477 родительских категорий, а глубина иерархии достигала 9 уровней. Система была динамической: категории можно было добавлять, удалять и объединять.

Результаты оказались впечатляющими: точность классификации при использовании детализированных категорий в связке с ИИ составила 94,3%, тогда как при подходе с укрупненными категориями этот показатель был равен 61,5%. 

Мой комментарий: Исходя их разумных соображений, точность детальной классификации (определяемая по количеству ошибок классификации) должна быть всегда ниже, чем точность укрупнённой классификации – и раз это не так, то либо исследователи где-то не по-детски «накосячили», либо автор неверно изложил их результаты (как оно и оказалось).

Я не поленилась прочитать упомянутую статью Сейеда Амина Табатабаи (Seyed Amin Tabatabaei), Сары Фанчер (Sarah Fancher), Майкла Парсонса (Michael Parsons) и Ариана Аскари (Arian Askari), точное название которой – «Могут ли большие языковые модели послужить эффективными инструментами классификации для иерархической много-теговой классификации научных документов в промышленных масштабах?» (Can Large Language Models Serve as Effective Classifiers for Hierarchical Multi-Label Classification of Scientific Documents at Industrial Scale?), см. https://arxiv.org/pdf/2412.05137 (прямая ссылка на PDF-файл: https://arxiv.org/pdf/2412.05137 ). Никакого отношения к детальным либо укрупнённым категориям эта публикация не имеет, она о другом – и цифра 61,5% также взята из неподходящего места.

Метод на основе детализированных категорий превзошел даже результаты специалистов-людей: точность ручной классификации (в статье эти цифры названы, но в контексте куда более сложной и динамичной классификации научных документов, где нет готовых юридически-значимых перечней – Н.Х.) варьировалась от 65 до 90%, а стоимость обработки одного документа составляла 3,50 доллара против примерно 0,20 доллара при использовании ИИ и детализированных категорий.

Мой комментарий: Автор, видимо, не знает, что в управлении документами и архивном деле установление сроков хранения на уровне отдельных документов – редкое исключение. Обычно речь идёт о массиве традиционных дел, а в электронной среде – о сотнях и тысячах документов. Соответственно, и затраты будут иными.

Компьютеры не устают, независимо от того, содержит ли классификатор 400 или 4000 категорий. При этом более детальная таксономия предоставляет ИИ больше информации (однако «делать приятное» ИИ не является задачей управления документами – Н.Х.). Счет-фактура не просто попадает в общую категорию «финансовые документы». Он может быть классифицирован как документ кредиторской задолженности, как выставленный клиенту, как инвойс по капитальному проекту, налоговый счёт или счёт от поставщика (в управлении документами такая классификация обычно осуществляется на этапе создания/получения документов прямо в ходе деловых процессов, а не отдельно с целью назначения сроков хранения – Н.Х.).

Мой комментарий: Бесспорно, что большая детальность при установлении сроков хранения возможна (ведь раньше многие годы мы так и работали) – но зачем она нужна, если и без неё задача установления надлежащих сроков хранения успешно решается, при этом с меньшими рисками неверной классификации, и с меньшими рисками раскрытия конфиденциальных сведений?

(Окончание следует, см. https://rusrim.blogspot.com/2026/10/3_01969735357.html )

Каан Волькан (Kaan Volkan)

Источник: сайт LinkedIn
https://www.linkedin.com/pulse/big-bucket-approach-dead-kaan-volkan-nzk7f/