Управление данными: Объединение данных из различных источников с помощью «смешивания данных»

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 11 января 2023 года на блоге компании Formtek.

Смешивание данных (data blending) - это метод объединения данных из нескольких источников. Данные объединяются в новый набор данных, который затем можно использовать для анализа или визуального представления. Недавно многие аналитические продукты, такие как Tableau и Google Data Studio, добавили функциональные возможности для смешивания данных.

При анализе данных часто бывает важно расширить объём обрабатываемого набора данных с тем, чтобы повысить качество деловых решений и бизнес-аналитики.

Обычно при смешивании данных (см. https://en.wikipedia.org/wiki/Data_blending ) существуют первичный и вторичный источники данных, однако количество источников не обязано ограничиваться лишь двумя. Объединенные данные не обязательно должны иметь единый файловый формат или состав. Например, данные могут происходить из таблиц базы данных, текстовых файлов, файлов XML, JSON, и из иных источников структурированных и полуструктурированных данных.

Исследование компании Forrester (см. https://en.wikipedia.org/wiki/Data_blending ) показало, что более половины компаний смешивают данные, полученные из более чем 50 различных источников данных; а 12% смешивает данные из более чем 1000 источников. В будущем (см. https://hbr.org/resources/pdfs/comm/alteryx/19373_HBR_Alteryx_Report_August2015_webview.pdf ) такие технологии, как Интернет вещей (IoT), смогут генерировать данные от сотен различных типов устройств, которые необходимо будет агрегировать и консолидировать - то, что компания Ovum называет «аналитикой вещей».

Вице-президент компании DataBricks Рик Шульц (Rick Schultz, https://www.linkedin.com/in/rischultz/ ) говорит, что «решения для смешивания данных также предлагают новую скорость и удобство использования благодаря графическим интерфейсам перетаскивания (drag-and-drop), которые дают пользователю возможность видеть, как данные преобразовываются на каждом этапе процесса, и позволяют ему вникать в детали. Все это позволяет руководителям принимать обоснованные и разумные деловые решения быстро и без необходимости полагаться на помощь специалиста по данным или ИТ-специалиста» ( https://hbr.org/resources/pdfs/comm/alteryx/19373_HBR_Alteryx_Report_August2015_webview.pdf ).

Дик Вейсингер (Dick Weisinger)

Источник: блог компании Formtek
https://formtek.com/blog/data-management-merging-data-sources-with-blending/