Роль, которую данные играют в организации, становится всё более важной. Согласно оценке, сделанной консультационной фирмой Gartner (см. https://www.gartner.com/smarterwithgartner/how-to-improve-your-data-quality ), низкое качество данных может «влетать в копеечку», при этом потери средней компании вследствие неверных решений и упущенных возможностей оцениваются в 12,9 миллионов долларов.
В результате обеспечение качества данных стало для многих организаций одним из наиболее приоритетных вопросов (см. https://www.montecarlodata.com/blog-what-is-a-data-reliability-engineer-and-do-you-need-one/ ), и для способствования достижению этой цели создаются специальные роли инженеров по надежности данных (data reliability engineer). Исполнители этих ролей часто используют передовые практики, наработанные другими группами, занимающимися в организации информационными технологиями и разработкой программного обеспечения, и включающие в себя такие идеи, как непрерывный мониторинг, соглашения об уровне обслуживания, управление изменениями, менеджмент инцидентов и отслеживание.
Директор по технологиям компании Bigeye Егор Грязнов (Egor Gryaznov, https://www.linkedin.com/in/egorgryaznov/ ) отмечает: «Я рассматриваю инженерию надёжности данных как естественное расширение группы, занимающейся данными. … Инженерия надёжности данных означает отношение к проблеме качества данных как к инженерной проблеме. Сюда входит применение приложений и инструментов для того, чтобы убедиться, что данные остаются надёжными для различных приложений, используемых в деловой деятельности» (см. https://medium.com/weave-lab/introduction-to-data-reliability-engineering-2ddacf7122b7 ).
Генеральный директор компании Bigeye Кайл Кирван (Kyle Kirwan, https://www.linkedin.com/in/kylejameskirwan/ ) говорит, что «Инженеры по надёжности данных работают над повышением качества данных, обеспечением своевременной передачи данных и обеспечением подпитки здоровым набором исходных данных решений для аналитики и машинного обучения» (см. https://thenewstack.io/its-time-for-data-reliability-engineering/ ).
Основатель компании Lumiq.ai Шоаиб Мохаммад (Shoaib Mohammad, https://www.linkedin.com/in/shoaib-mohammad-6412105/?originalSubdomain=in ) полагает, что «подход, ориентированный на инженерию надёжности данных (data reliability engineering, DRE), устраняет повторяющиеся ручные процессы, что приводит к снижению накладных расходов и сокращению количества человеческих ошибок. В отличие от специалистов по аналитике данных (data scientists), инженеры по надёжности данных ведут мониторинг данных на гораздо более глубоком уровне, что приводит к более высокой надёжности. Автоматизация позволяет уменьшить число ошибок, совершаемых при ручной обработке, а также сократить численность персонала и трудозатраты, которые могут быть использованы для решения проблем более высокого уровня. Ориентированный на DRE подход помогает в значительной степени уменьшить сложность, а минимизация сложности в свою очередь приводит к повышению надёжности» (см. https://analyticsindiamag.com/author/shoaib/ ).
Дик Вейсингер (Dick Weisinger)
Источник: блог компании Formtek
https://formtek.com/blog/data-quality-data-reliability-engineers/
Комментариев нет:
Отправить комментарий