пятница, 28 марта 2025 г.

Почему стандарт FADGI завоевывает популярность во всем мире

Данная заметка Брендона Хеффернана (Brandon Heffernan – на фото) из компании Kodak Alaris была опубликована 28 февраля 2025 года на сайте специализированного австралийского издания IDM (Information and Data Manager - «Специалист по управлению информацией и данными»).

Разработки в рамках «Инициативы по разработке руководств по оцифровке для федеральных органов исполнительной власти США» (Federal Agencies Digitization Guidelines Initiative, FADGI) стали фундаментом для проведения оцифровки физических документов и входящих в состав культурно-исторического наследия материалов в Соединенных Штатах. Инициатива FADGI установила ключевые критерии качества графических образов, обеспечения согласованности и долговременной сохранности, - и сейчас появляются признаки того, что эти рекомендации получают международное признание, в том числе в Национальной Библиотеке Австралии (National Library of Australia, см. https://www.library.gov.au/visit/about-us/corporate-information/library-services-policies-and-plans/standards ).

Страны по всему миру всё больше внимания уделяют обеспечению долговременной сохранности своего культурного наследия с использованием цифровых технологий, и всесторонние рекомендации FADGI предлагают структурированный подход, который может быть адаптирован к различным типам материалов, от рукописей и вплоть до деловых контрактов и даже произведений искусства. Такая гибкость делает их привлекательной моделью для учреждений по всему миру.

По мере того, как цифровые архивы становятся всё более распространенными, растёт потребность в стандартизированных методах и практиках обеспечения интероперабельности и долговечности электронных документов. Рекомендации FADGI являются показательным примером успешной стандартизации, который привлекает внимание многих международных организаций.

Достижения в области технологий обработки изображений наряду с практическими сценариями получения отдачи от обеспечения электронной сохранности привели к высокому спросу на высококачественные цифровые графические образы. Рекомендации FADGI постоянно обновляются с целью охвата новых технологий и учёта потребностей различных нишевых областей, таких как деловые документы, юридические контракты и т. д. Данный процесс помогает поддерживать актуальность рекомендаций FADGI и их ориентацию на перспективу, что способствует их принятию в странах, желающих модернизировать свои цифровые архивы.

Одно из последних обновлений рекомендаций FADGI включает новые критерии качества при обеспечении долговременной сохранности «современных текстовых документов» (modern textual records, MTR). Это изменение отразило реально существующие потребности в различении различных типов физических документов.

Большинство сканируемых сегодня документов попадают в категорию MTR (типичные документы на стандартной белой офисной бумаге). Стала совершенно очевидной потребность в отдельных рекомендациях для таких разных типов документов, как, например, деловые документы и исторические чертежи-«синьки».

Когда встаёт вопрос о качества графических образов, важен контекст

Стандарты FADGI были разработаны с целью обеспечения того, чтобы цифровые репродукции материалов культурного наследия сохраняли качество и целостность своих физических аналогов. Рекомендации охватывают технические параметры оцифровки и передовые практики оценки соответствия цифровых графических образов оригиналам.

Система рейтинга, который варьируется от одной до четырёх звезд в зависимости от разрешения изображения, точности цветопередачи и других факторов, обеспечивает понятную измеримую меру верности цифрового графического образа, особенно для архивных целей.

В случае проведения оцифровки исторических документов с целью обеспечения их долговременной сохранности, не допускается улучшение изображения; в данном случае целью является точное воспроизведение оригинала, включая его возможные дефекты. На протяжении ряда десятилетий усилия в области технологий сканирования документов были сфокусированы на создании цифровых графических образов, которые были бы более четкими и резкими, чем оригиналы, с тем, чтобы данные из них можно было точно извлекать и передавать в деловые системы. Однако в случае важных архивных документов вопрос об извлечении данных обычно не встаёт - всё, что имеет значение, это точное сохранение оригинального документа в цифровом виде.

Мой комментарий: На самом деле, с моей точки зрения, это не совсем так. В ходе оцифровки могут одновременно создаваться графические образы разного назначения – для точного представления оригинала в высоком разрешения и его обеспечения долговременной сохранности с использованием соответствующего «архивного» формата; для удобства пользования – с использованием сжатия и популярных форматов; а также очищенные, восстановленные и улучшенные образы для научных, образовательных, рекламных и иных целей. В итоге первоначальная мастер-копия (копии) «обрастает» рядом версий, полученных в результате специализированной обработки – и часто имеет смысл в архиве сохранять весь комплект таких версий.

Такая реальность заставила поставщиков услуг аутсорсинга (Business Process Outsourcing, BPO) и другие организации – поставщики услуг провести переоценку своего парка документных сканеров с тем, чтобы убедиться, что у них имеется подходящее оборудование для удовлетворения этой растущей потребности соответствовать точным стандартам при обеспечении электронной сохранности.

Федеральные органы исполнительной власти и иные организации, передающие свои документы на архивное хранение в Национальные Архивы США (NARA), ищут способы упростить исполнение требований FADGI и получить максимальную отдачу от своих денег, и этот поиск приводит их в компанию Kodak Alaris (удивительно, правда – учитывая место работы автора? – Н.Х.).

Результаты работы сканеров Kodak Alaris соответствуют обоим стандартам качества изображения, FADGI 3 «звезды» и MTR. Кроме того, поддерживающие требования FADGI сканеры от Kodak Alaris ( https://www.kodakalaris.com/en/solutions/government/fadgi-compliant-scanners ) обладают уникальной способностью переключаться между режимами вывода, что позволяет операторам сканеров легко включать выдачу соответствующих требованиям FADGI изображений, когда это необходимо, а затем переключаться на обычное сканирование документов для более традиционных целей, таких как точное извлечение данных. Эта возможность равносильна наличию двух сканеров в одном, для многих организаций она упрощает исполнение требований FADGI, а также экономит им немало времени и денег.

Глобальное сотрудничество

Еще одна причина растущей популярности стандартов FADGI во всем мире заключается в том, что процесс создания этого стандарта был открыт для международного участия, и было получено множество замечаний и предложений от мировых экспертов в этой области. Этот дух сотрудничества способствовал формированию чувства причастности к этим стандартам у глобального сообщества.

Учреждения за пределами США начали ссылаться на рекомендации FADGI наряду с другими архивными стандартами, в том числе музеи, библиотеки и архивы в Европе и Австралии.

Распространение стандартов FADGI в глобальном масштабе имеет очевидные преимущества, однако остаются и некоторые проблемы. Каждая страна имеет уникальный культурный контекст и правовые рамки, касающиеся цифровых прав и культурно-исторического наследия, и эта реальность может потребовать новых адаптаций стандартов.

Кроме того, страны, которые придерживаются существующих стандартов оцифровки, таких как Metamorfoze и ISO 19264-1, могут рассматривать стандарт FADGI как дополнение, а не как замену этих стандартов.

Как и многое другое в технологическом пространстве, сделанные в США разработки имеют тенденцию распространятся за их пределами. Только время покажет, продолжит ли FADGI захватывать умы во всем мире, но это кажется вероятным. Глобальное принятие стандартов FADGI связано с общей приверженностью обеспечению сохранности культурного наследия с максимально возможной точностью.

По мере того, как всё больше международных учреждений видят преимущества этих технических стандартов, существует большая вероятность того, что FADGI станет глобальным стандартом, продвигающим последовательный подход к обеспечению электронной сохранности для будущего.

Брендон Хеффернан (Brandon Heffernan)

Источник: сайт IDM (Information and Data Manager)
https://idm.net.au/article/0015066-why-fadgi-standard-catching-around-world

Ответ на вопрос коллеги: Новое определения понятия «подлинник» в ГОСТ Р 7.0.8-2025

Вопрос: В новом ГОСТ Р 7.0.8-2025 «Делопроизводство и архивное дело. Термины и определения» присутствует весьма интересное для нас определение подлинника. Интересно оно примечанием-уточнением для электронного документа. Исходя из этого уточнения, любая копия ЭД (при условии его неизменности) имеет статус подлинника, и задача определить/пометить подлинник среди множества бинарно идентичных копий теперь не актуальна?

ГОСТ Р 7.0.8-2025 «Система стандартов по информации, библиотечному и издательскому делу. Делопроизводство и архивное дело. Термины и определения» (утв. Приказом Росстандарта от 28.01.2025 N 30-ст)

23. Подлинник документа: Первый или единственный экземпляр (в установленных случаях - один из нескольких одновременно созданных экземпляров) документа.

Примечание - Подлинником электронного документа является любой экземпляр электронного документа, в который с момента его подписания и регистрации не вносились изменения.

Ответ: В мире существуют научные определения понятия «подлинник (оригинал)» – также см. коллекцию определений здесь: http://www.ciscra.org/mat/mat/term/2732 , http://www.ciscra.org/mat/mat/term/6505 и http://www.ciscra.org/mat/mat/term/2733 . Это тот экземпляр (экземпляры) документа, который впервые был создан в полностью законченной и соответствующей требованиям (если есть) форме, пригодной для использования по прямому назначению,     - и при этом был реально использован в деловой деятельности. Экземпляры, созданные существенно позже (с точки зрения хода деловых процессов – например, после того, как самый первый из созданных экземпляров уже был отослан контрагентам; в каких-то случаях такое запаздывание по времени может исчисляться миллисекундами, и этого будет достаточно) могут быть признаны, в зависимости от конкретных обстоятельств, как дополнительными подлинниками, так и новыми документами, дубликатами документа или заверенными копиями.

Действительно, сегодня широко распространенным подходом является признание побитно-идентичных (включая файлы электронных подписей и, возможно, МЧД) экземпляров электронных документов равноправными – так просто удобнее работать. Однако так бывает не всегда:

  • Существуют технологии, позволяющие выделить именно самый первый экземпляр (или несколько первых экземпляров), особенно если он записан на съёмном носителе (помните системы защиты от пиратства CD-дисков? Это вот эти самые технологии);

  • В ряде случаев подлинниками по закону могут быть признаны только документы, хранимые в конкретной информационной системе;

  • Наконец, документ – это не только контент, но и метаданные (включая данные регистрации). Если контент побитно идентичен, но существенные метаданные изменились либо отсутствуют, это, возможно, уже не совсем «тот» документ!

  • В процессах оперативной обработки документов (например, обработка платёжных поручений) только первый поступивший экземпляр будет реально обработан, а все прочие будут отброшены. Также есть документы, когда права собственности связаны с обладанием документов (например, коносаменты) – здесь тоже приходится вести контроль экземпляров;

  • Также существует конфиденциальное и секретной делопроизводство, в котором ведется строгий поэкземплярный учет, а неучтенные экземпляры могут считаться нелегитимными.

Также замечу, что фраза о невнесении изменений с момента подписания и регистрации (!) говорит о том, что авторы новой редакции терминологического стандарта не прошли «курс молодого бойца» по усиленным электронным подписям – данное высказывание можно истолковать так, что после подписания, но до регистрации (кстати – у кого? оператор документооборота и получатель ведь тоже регистрируют документ) изменения вносить можно :)

Вывод: Возможны различные ситуации, и единого подхода на все случаи жизни нет. Где-то различать побитно идентичные экземпляры не нужно, а где-то – придётся.

четверг, 27 марта 2025 г.

Новая статья «Искусственный интеллект и потребности в визуализации исследователей, использующих архивы электронной почты»

Данная новость была выложена 12 февраля 2024 года на сайте Springer Link издательства Шпрингер (Springer).

Публикуемый издательством Шпрингер журнал «ИИ и общество - Знания, культура и обмен информацией» (AI & Society - Knowledge, Culture and Communication) 12 февраля 2024 выложил в свободном доступе на сайте издательства статью Питера Грина (Peter Green аспирант Университет Кертина, г. Бентли, Австралия, см. https://www.linkedin.com/in/petergreen6/ ) «Искусственный интеллект и потребности в визуализации исследователей, использующих архивы электронной почты» (AI and the visualisation needs of researchers using email archives) объёмом 12 страниц на английском языке, см. https://link.springer.com/content/pdf/10.1007/s00146-025-02187-z.pdf .

Мой комментарий: Автор рассматривает понятие «визуализация» как широкий термин, подразумевающий графическое представление данных или понятий.

В аннотации на статью отмечается:

«Переписка, хранящаяся в коллекциях учреждений культуры, является важным ресурсом для исследователей, включая историков, биографов и социологов.

Электронная почта в течение последних 30 лет была доминирующей формой переписки, и архивы электронных писем в настоящее время приобретаются и принимаются на хранение учреждениями культуры в качестве ценного ресурса для их коллекций.

Как и со всеми изначально цифровым материалами, существуют проблемы, связанные со сбором, обеспечением долговременной сохранности и предоставлением доступа к архивам электронной почты, а также проблемы с использованием этих архивов исследователями. Одним из инструментов, который может помочь исследователям использовать архивы электронной почты, является визуализация.

Визуализация сообщений электронной почты используется уже в течение довольно длительного периода времени, однако до сих пор было мало исследований, посвященных изучению потребностей в визуализации исследователей, использующих архивы электронной почты. Предварительные результаты исследовательского проекта по изучению таких потребностей показывают, что визуализация будет полезна исследователю, у которого всегда есть ограничения по времени, помогая ему эффективно работать с архивами электронной почты.

Искусственный интеллект (ИИ) может быть использован при подготовке архива электронной почты к визуализации. Результаты исследования, однако, показывают, что те исследователи, что предпочитают потратить своё время на работу с собственно архивом электронной почты по ходу проведения своего исследования, склонны с осторожностью относиться к результатам визуализации, и что они вряд ли будут доверять одной только визуализации. Использование ИИ при подготовке визуализаций потенциально может затруднить получение доверия исследователей.»

В статье сделаны следующие выводы:

«Переписка, которая трансформировалась из бумажной формы в изначально-цифровую форму электронных почтовых сообщений, продолжает высоко цениться исследователями. Виду этого архивы электронной почты все чаще включаются в состав поддерживаемых учреждениями культуры коллекций, - точно так же, как в прошлом в них включалась бумажная переписка.

Визуализация считается наилучшим практическим инструментом для предоставления доступа к изначально-цифровым коллекциям; и визуализация архивов электронной почты будет полезна исследователям, становясь «мостом» в ходе их путешествия с целью поиска информации. Как подтверждают результаты исследований в ходе настоящего проекта, визуализации могут помочь исследователю эффективно работать с архивом электронной почты в течение того ограниченного времени, которым он располагает.

Создание визуализаций требует значительного времени и усилий от ответственного хранителя архива. Искусственный интеллект может помочь в ходе процесса визуализации, сделав подготовку данных менее трудоемкой. Однако те исследователи, которые предпочитают поработать непосредственно с архивом электронной почты для формирования своего понимания и развития своего исследования, будут с осторожностью относиться к визуализациям и не будут слепо на них полагаться.

Методы исследования цифровых гуманитарных наук, которые опираются на визуализацию данных, появляются в качестве альтернативных способов исследования. Идущие по этому альтернативному пути исследователи нуждаются в таких визуализациях, которым можно будет доверять. Использование ИИ может усилить недоверие к созданным визуализациям, поскольку функционирование ИИ не является прозрачным.

Сейчас активно продвигается ответственное использование ИИ, - например, в рамках проектов BRAID (от Bridging Responsible AI Divide – «Преодоление пропасти на пути к ответственному ИИ») и RAI (Responsible AI – «Ответственный ИИ»), - и это может помочь со временем снять озабоченность исследователей. Ответственным хранителям архивов электронной почты, чтобы визуализация смогла стать надёжным «мостом» на пути исследователя по поиску информации, необходимо будет найти способы создания визуализаций, которые позволят исследователям понять, как именно они создаются.»

Содержание статьи следующее:

Аннотация
1. Переписка
2. От бумаги к цифре
3. Архивы электронной почты
4. Визуализация архивов электронной почты
5. Потребности исследователей в визуализации
6. Исследовательский проект
7. Исследование как путешествие
8. Переписка и исследователь
9. Давление временных ограничений
10. Визуализация как «мост»
11. Роль ИИ в удовлетворении потребностей исследователей в визуализации
12. Визуализация как средство, а не самоцель
13. Оговорки относительно визуализации и ИИ
14. Заключение
Литература

Источник: сайт журнала «ИИ и общество»
https://link.springer.com/article/10.1007/s00146-025-02187-z
https://link.springer.com/content/pdf/10.1007/s00146-025-02187-z.pdf

среда, 26 марта 2025 г.

Почему становятся успешными или терпят неудачу системы управления контентом: Ключевые статистические данные и выводы

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 31 января 2025 года на блоге компании Formtek.

Системы управления контентом (document management systems, DMS) имеют ключевое значение для эффективного ведения деловой деятельности, однако многие организации испытывают трудности с их внедрением и использованием. Согласно результатам опроса, проведенного компанией-поставщиком CRM-решений для малого бизнеса Act! ( https://www.business.com/articles/7-statistics-that-will-make-you-rethink-your-document-management-strategy/ ), 45% предприятий малых и средних коммерческих организаций по-прежнему используют бумажные документы, а 11% вообще не имеют системы управления документами и контентом. Такая зависимость от устаревших методов может привести к неэффективности и увеличению затрат.

Одной из основных причин неудач при внедрении систем управления контентом является сложность поиска и извлечения материалов. Как отмечает Cognidox, 44% сотрудников испытывают трудности при поиске и считают его трудозатратным, а 95% сталкиваются с трудностями при поиске последней версии документа. Подобная неэффективность может привести к снижению производительности, поскольку сотрудники тратят слишком много времени на поиск информации, вместо того, чтобы заниматься выполнением своих основных задач.

Фрагментированные решения для хранения также способствуют неудачам при внедрении DMS-решений. То, что документы и контент хранятся на многочисленных платформах, таких как системы электронной почты, общие диски и облачные сервисы, затрудняет поддержание согласованности, контроль и управление. Как отмечает компания Iron Mountain ( https://www.ironmountain.com/resources/blogs-and-articles/e/effects-of-bad-records-document-management-policies ), такая фрагментация приводит к ошибкам и путанице, когда плохое управление документами может привести к потере 7,5% документов.

Чтобы решить эти проблемы, компании инвестируют в централизованные и интегрированные решения для управления документами и контентом, которые упрощают доступ и повышают качество данных. Например, внедрение тегирования с помощью метаданных и продвинутых алгоритмов поиска может значительно сократить время поиска и повысить удобство работы пользователей. Кроме того, обучение сотрудников передовым методам управления документами и контентом имеет ключевое значение для обеспечения надлежащего внедрения и использования.

Последствия успешного управления документами и контентом значительны. Использование эффективных систем такого рода может привести к повышению производительности, снижению эксплуатационных расходов и лучшему исполнению законодательно-нормативных требований. Более того, организации, которые эффективно управляют своим контентом, лучше подготовлены к использованию получаемых на основе данных знаний и представлений для принятия стратегических решений.

В то время как многие организации испытывают трудности с управлением документами и контентом, те, кто инвестирует во всесторонние интегрированные решения, могут получить значительные преимущества. Устраняя распространенные «подводные камни», такие как сложность поиска и извлечения, а также фрагментированное хранение, компании могут повысить эффективность своей деятельности и добиться более высоких деловых результатов в условиях всё более цифрового мира.

Дик Вейсингер (Dick Weisinger)

Мой комментарий: Редко где сейчас можно встретить коллег, которые бы по-прежнему рекомендовали ориентироваться на централизованное хранение контента – здесь, видимо, сказывается то, что Дик Вейсингер является представителем «старой гвардии». Всё-таки в настоящее время в большинстве организаций обеспечить централизованное хранение всего контента нереально как по техническим, так и по правовым причинам, и специалисты скорее говорят об обеспечение централизованного управления контентом в условиях его распределённого хранения.

Источник: блог компании Formtek
https://formtek.com/blog/why-document-management-systems-succeed-or-fail-key-statistics-and-insights/