Неструктурированные данные: Происхождение, эволюция и управление ими, часть 2

(Окончание, начало см. http://rusrim.blogspot.com/2025/09/1_01983497634.html )

Управление неструктурированными данными: Общие стратегии

По мере роста объёма неструктурированных данных, организации применяют несколько высокоуровневых подходов к управлению ими:

Выявление и инвентаризация

Прежде чем управлять контентом или анализировать его, организациям необходимо знать, каким контентом они располагают. Инструменты поиска и выявления сканируют файловые хранилища, облачные хранилища и информационные системы с целью инвентаризации данных. Наличие метаданных, таких как тип файла, создатель и местоположение, способствуют стратегическому управлению данными (Варонис, 2023).

Метаданные, классификация и тегирование

Неструктурированные данные могут быть обогащены метаданными. Автоматизированные инструменты используют обработку естественного языка и распознавание образов для назначения категорий, тем и даже для выявления персональных данных. Данный процесс позволяет из беспорядка создать структуры, и способствует последующему поиску и исполнению законодательно-нормативных требований (Сати, 2012).

Стратегическое управление, управление доступом и безопасность

Подобно структурированным данным, неструктурированный контент также должен быть защищён. Меры управления доступом, шифрование и разрешения на основе ролей применяются даже в отношении контента, представленного в виде набора разнородных файлов. Концепции стратегического управления определяют, кто может получать доступ, изменять или сохранять те или иные типы контента (Varonis, 2023; Data Governance Institute, 2021).

Системы хранения и управления

Неструктурированные данные часто хранятся в файловых системах, облачных хранилищах или в «озерах данных» (data lakes). Системы управления корпоративным контентом (Enterprise Content Management, ECM) поддерживают выполнение правил жизненного цикла, разрешения на доступ и контроль версий. Для крупномасштабных хранилищ неструктурированных данных фирма IBM (2023) рекомендует нереляционные NoSQL-системы и объектные хранилища.

Поиск, индексирование и анализ

Машины поиска и ИИ-инструменты индексируют контент документов для последующего поиска и извлечения. Методы обработки естественного языка (NLP) позволяют извлекать сущности, проводить моделирование тем и резюмирование. Данные методы позволяют выполнять запросы к неструктурированному тексту так же, как и к структурированному (Sathi, 2012).

Управление жизненным циклом

Управление жизненным циклом, от создания до уничтожения, позволяет избежать рисков и утрат. Использование указаний по срокам хранения и действиям по их истечении, автоматическое удаление ставшего ненужным контента и удаление дубликатов экономят место в хранилище и снижают юридические риски (Data Governance Institute, 2021).

Использование аналитики и искусственного интеллекта

Модели машинного обучения (включая генеративный ИИ) способны резюмировать, классифицировать и анализировать большие объёмы контента. Эти модели позволяют получать отдачу от неструктурированных источников, которые, ввиду своих масштабом, не могут быть проанализированы человеком (IBM, 2023).

Отдача от управления неструктурированными данными

Надлежащее управление неструктурированными данными позволяет получать стратегические и оперативные преимущества в масштабах всего предприятия:

• Повышение эффективности процесса принятия решений. Превращая электронные письма, отчёты и иные документы в доступные для поиска и анализа ресурсы, организации могут извлекать информацию, которая ранее была «закопана». Анализ тенденций для настроений, отслеживание проблем и выявление рисков - всё это можно автоматизировать с помощью анализа неструктурированных данных (Barney et al., 2025).
  
  
• Улучшение исполнения законодательно-нормативных требований и управления рисками. Неуправляемые неструктурированные данные могут стать для компаний источниками юридических, финансовых и репутационных рисков. В документах и электронных письмах часто скрывается чувствительная конфиденциальная информация, такая как персональные данные (PII). Установление степени конфиденциальности и применение мер защиты данных обеспечивают исполнение законодательно-нормативных требований (Varonis, 2023).
  
  
• Повышение эффективности и производительности. Сотрудники нередко теряют время на поиск документов или воссоздание уже существующего контента. Благодаря правильному тегированию/маркировке контента, индексации и управлению доступом, организации могут сократить дублирование и улучшить совместную работу (Data Governance Institute, 2021).
  
  
• Сокращение затрат. Унаследованные хранилища часто содержат годами неиспользуемый контент. Надлежащее управление жизненным циклом неструктурированных данных позволяет организациям архивировать или удалять малоценные материалы, экономя на инфраструктуре и облачных ресурсах (Forbes Tech Council, 2022).
  
  
• Поддержка инноваций. Искусственный интеллект, бизнес-аналитика (business intelligence, BI) и понимание потребностей клиентов всё больше зависят от наличия содержательного контента. Неструктурированные данные, - включая отзывы клиентов, чаты служб поддержки и журналы использования, - могут способствовать разработке продуктов и улучшению обслуживания (Sathi, 2012).

Заключение

Неструктурированные данные - электронные письма, документы, изображения, аудиозаписи - сегодня являются доминирующей формой корпоративной информации. Пусть даже у понятия «неструктурированные данные» нет идеально точного определения, управление такими данными больше не является факультативным. Современные стратегии фокусируют внимание на выявлении неструктурированных данных, обогащении их метаданными, установлении правил жизненного цикла и на аналитике. Специалисты по работе с информацией, занимающиеся стратегическим управлением неструктурированным контентом, не только обеспечивают снижение рисков, но также и разблокируют скрытую ценность этих данных, - что делает данное направление деятельности ключевым по важности в рамках стратегического управления корпоративными данными и цифровой трансформации.

Эндрю Поттер (Andrew Potter)

Литература:

• Барни (Barney, N), Ханна (Hanna, K. T.) и Стедман (Stedman, C.) «Что такое неструктурированные данные?» (What is unstructured data?), сайт TechTarget, 14 марта 2025 года, см. https://www.techtarget.com/searchbusinessanalytics/definition/unstructured-data 
  
  
• Передовые практики стратегического управления данными» на сайте Института управления данными (Data Governance Institute, DGI), 2021, см. https://www.datagovernance.com 
  
  
• «Загадка невидимых данных» (The unseen data conundrum), Совет по технологиям компании Форбс (Forbes Tech Council), 3 февраля 2022 года, см. https://www.forbes.com/sites/forbestechcouncil/2022/02/03/the-unseen-data-conundrum 
  
  
• Александра Джонкер (Alexandra Jonker), Элис Гомстин (Alice Gomstyn) «Что такое неструктурированные данные?» (What is unstructured data?), IBM, 2023 год, https://www.ibm.com/topics/unstructured-data 
  
  
• Лун (Luhn, H. P.) «Автоматическое создание аннотаций литературных публикаций» (The automatic creation of literature abstracts), IBM Journal of Research and Development, 2(2), 159–165, 1958, см. https://doi.org/10.1147/rd.22.0159 
  
  
• Мачадо (Machado, A.) «Успех ИИ зависит от качества неструктурированных данных» (AI success depends on unstructured data quality), аналитический обзор IDC, 2024), см. https://shelf.io/wp-content/uploads/2024/10/idc-unstructured-data-report-sept-2024.pdf 
  
  
• Джон Филлипс (John Phillips) Структурированные и неструктурированные записи – серьёзно? (Structured vs Unstructured Records– Really?), 2011, AIIM блог, см. https://community.aiim.org/blogs/john-phillips/2011/06/08/structured-vs-unstructured-records%E2%80%93-really 
  
  
• Сати (Sathi, A.)  «Аналитика больших данных: Трансормационные технологии, меняющие правила игры» (Big data analytics: Disruptive technologies for changing the game), Mc Press, 2012 г., см. https://www.amazon.com/Big-Data-Analytics-Disruptive-Technologies/dp/1583473807 
  
  
• «Управление неструктурированными данными: 10 основных требований» (Managing unstructured data: 10 key requirements), аналитический отчёт компании VARONIS, https://info.varonis.com/hs-fs/hub/142972/file-366765805-pdf/docs/whitepapers/en/Whitepaper_-_Managing_Unstructured_Data_-_10_Key_Requirements.pdf 
  
  
• «Взятие под контроль стремительного роста объёмов информации» (Mastering the Information Explosion), аналитический отчёт компании VARONIS, см. https://info.varonis.com/hs-fs/hub/142972/file-366742270-pdf/docs/whitepapers/en/Whitepaper_-_Mastering_the_Information_Explosion.pdf 
  
  
• «5 шагов на пути к более быстрой классификации данных» (Five steps to faster data classification), аналитический отчёт компании VARONIS, см. https://cdn2.hubspot.net/hub/142972/file-42237531-pdf/whitepapers/Whitepaper_-_5_Steps_to_Faster_Data_Classification.pdf 

Источник: сайт Substack
https://metaarchivist.substack.com/p/unstructured-data