Данное сообщение фирмы Gartner, подготовленное аналитиками Гартом Ландерсом (Garth Landers), Аланом Дейли (Alan Dayley) и Шейлой Чайлдс (Sheila Childs), было выложено на сайте фирмы 11 июня 2014 года. Публикуется с сокращениями.
Архивация структурированных данных - это способность индексировать, мигрировать и обеспечивать защиту прикладных данных, используя обычно располагающиеся в более дешевой подсистеме хранения вторичные базы данных или плоские файлы, с целью исполнения установленных требований по срокам хранения. При этом обеспечивается доступность данных в соответствующем контексте и их защита в случае судебного разбирательства или аудита.
Технология архивации структурированных данных решает следующие вопросы:
- Общая оптимизация хранения. Данная технология позволяет уменьшить объем данных в оперативно используемой системе и обеспечить бесперебойный доступ к данным. В число преимуществ использования данной технологии входят снижение капитальных и эксплуатационных расходов, улучшение управления информацией, снижение риска и доступ ко вторичным данным для целей подготовки отчетности и анализа.
- Управление (governance). Данная технология обеспечивает сохранность данных с целью исполнения законодательно-нормативных требований в случае вывода из эксплуатации (retiring) программных приложений. Структурированные данные часто являются транзакционными и связанными с финансовым учетом или выполнением поддерживающих функций (таких, как управление кадрами, учет пациентов в здравоохранении и других, которые могут быть регламентированы законодательством), требующих управления информацией, обеспечения контроля и безопасности, а также способности реагировать на такие события, как аудит, судебные разбирательства и расследования. Эти и прочие требования, такие как сохранение контекста, в котором была создана и использовалась информация, могут не позволить организации переместить данные в более дешевые подсистемы хранения или же использовать другие самостоятельно разработанные подходы.
- Оптимизация затрат и исполнение законодательно-нормативных требований. Технология архивации структурированных данных и вывода из эксплуатации программных приложений может дать значительную отдачу на вложенные инвестиции с учетом того, что со временем (иногда в течение десятилетий) структурированные данные накапливаются в унаследованных системах, ERP-системах и базах данных, что ведет к росту эксплуатационных и капитальных расходов.
- Масштабируемость данных. Данная технология способна управлять большими объемами «нетрадиционных» данных, порождаемых новыми приложениями, которые могут генерировать миллиарды малых объектов. В таких случаях может потребоваться масштабируемость до объёмов, измеряемых петабайтами.
Желание использовать электронные архивы в качестве вторичных хранилищ для данных, перерабатываемых средствами аналитики «больших данных», является движущей силой роста рынка решений для архивации структурированных данных. Новые участники рынка предлагают альтернативные способы управления архивируемыми данными, такие, как использование виртуальных копий баз данных, сверхсильного сжатия и «родного» SQL-доступа.
Оценка рынка
По оценкам фирмы Gartner, объём рынка средств архивации структурированных данных и вывода приложений из эксплуатации составляет 270 миллионов долларов, и ежегодно он растет на 10%. Уже в течение длительного времени применение данной технологии рассматривается как способ, позволяющий ограничить связанные с ростом объемов данных капитальные и эксплуатационные расходы и одновременно повысить производительность приложений. Этот рынок изменяется и расширяется вследствие роста объёмов данных, вывода существующих приложений из эксплуатации, потребности решать задачи полномасштабного управления информацией и использовать возможности для аналитики больших данных.
Тенденция роста интереса к аналитике больших данных и создания архивов объёмом в петабайты
Все более широкое использование программного обеспечения Apache Hadoop (см. http://ru.wikipedia.org/wiki/Hadoop , данное ПО широко используется в проектах «больших данных» - Н.Х.), увеличение объёмов электронных хранилищ данных и накопление в организациях устаревших систем способствуют росту объёмов структурированных данных. Эти факторы заставляют организации увидеть, каким образом можно повторно использовать данные, перепрофилировать их и получить на их основе важные для деловой деятельности выводы.
Apache Hadoop поддерживает хранение больших объемов данных. Организации используют HDFS (Hadoop Distributed File System — «распределенная файловая система Hadoop»: файловая система, предназначенная для хранения файлов больших размеров, поблочно распределённых между узлами вычислительного кластера – Н.Х.) для хранения структурированных данных, а также данных из социальных сетей и машиночитаемых данных, которые не вписываются в базы данных. Многие организации стремятся привнести структуру и смысл в эти хранилища информации, а не просто использовать их в качестве недорогих средств хранения.
Поставщики решений для архивации структурированных данных отреагировали на этот интерес, добавив поддержку Apache Hadoop и как источника данных, и как места их сохранения. Gartner ожидает, что это нарождающееся требование о поддержке Hadoop выйдет за рамки обеспечения базовых возможностей по хранению информации и будет предусматривать поддержку аналитических инструментов (например, от компании Tableau Software) и других механизмов подготовки отчетов так, что в итоге граница между архивацией и активным использованием окажется размытой. К 2016 году инструменты для анализа «больших данных» войдут в число основных компонентов средств архивации структурированных данных. В различных дистрибутивах Hadoop, таких как Hortonworks и Cloudera, все больше внимания уделяется поддержке в Hadoop управления жизненным циклом информации и отслеживанию сроков хранения, и это будет оказывать давление на поставщиков решений для архивации структурированных данных, подталкивая их к дальнейшим инновациям в этой области.
Растущее значение полномасштабного управления информацией применительно к структурированным данным
Структурированные данные из программных приложений являются легкой добычей для внешних аудиторов, которые имеют большой опыт по части выявления соответствующих приложений, а также установления фактов отсутствия мер контроля и управления, необходимых для защиты ценных финансовых данных. В определенном отношении сделать это куда проще, чем выявить содержащий финансовые данные неструктурированный контент (такой как, например, электронные таблицы), который может быть рассеян по всей организации и слабо управляться. Аудиторы могут поднять тревогу, если унаследованное приложение настолько старое, что оно уже больше не поддерживается или если управление им осуществляется весьма вольно. Миграция данных в обновленную версию этого приложения или в альтернативный формат может смягчить проблему поддержки структурированных данных.
Большинство ИТ-служб основное внимание уделяет повышению готовности и реагированию на запросы в рамках э-раскрытия, касающиеся неструктурированных данных. Тем не менее, уже имели место многочисленные случаи, когда мишенью запросов на раскрытие информации становились структурированные данные. Раскрытие структурированных данных связано с рядом проблем, и организации заинтересованы в том, чтобы иметь возможность быстро реагировать в тех случаях, когда для доступа к запрашиваемой информации не может быть использовано «родное» приложение. Применяя активный систематический подход при выводе программных приложений из эксплуатации, организации могут избавиться от тех данных, которые более не требуются для деловой деятельности - не только ради снижения затрат на их хранение, но и для снижения затрат на выполнение запросов на э-раскрытие, одновременное упрощая поиск данных, укрепляя доверие к ним, а также облегчая обеспечение их долговременной сохранности.
Источник: сайт фирмы Gartner
http://www.gartner.com/technology/reprints.do?id=1-1VFUSZP&ct=140616&st=sb
Магический квадрант по архивации структурированных данных и выводу программных приложений из эксплуатации, июнь 2014 года
Оценка рынка
По оценкам фирмы Gartner, объём рынка средств архивации структурированных данных и вывода приложений из эксплуатации составляет 270 миллионов долларов, и ежегодно он растет на 10%. Уже в течение длительного времени применение данной технологии рассматривается как способ, позволяющий ограничить связанные с ростом объемов данных капитальные и эксплуатационные расходы и одновременно повысить производительность приложений. Этот рынок изменяется и расширяется вследствие роста объёмов данных, вывода существующих приложений из эксплуатации, потребности решать задачи полномасштабного управления информацией и использовать возможности для аналитики больших данных.
Тенденция роста интереса к аналитике больших данных и создания архивов объёмом в петабайты
Все более широкое использование программного обеспечения Apache Hadoop (см. http://ru.wikipedia.org/wiki/Hadoop , данное ПО широко используется в проектах «больших данных» - Н.Х.), увеличение объёмов электронных хранилищ данных и накопление в организациях устаревших систем способствуют росту объёмов структурированных данных. Эти факторы заставляют организации увидеть, каким образом можно повторно использовать данные, перепрофилировать их и получить на их основе важные для деловой деятельности выводы.
Apache Hadoop поддерживает хранение больших объемов данных. Организации используют HDFS (Hadoop Distributed File System — «распределенная файловая система Hadoop»: файловая система, предназначенная для хранения файлов больших размеров, поблочно распределённых между узлами вычислительного кластера – Н.Х.) для хранения структурированных данных, а также данных из социальных сетей и машиночитаемых данных, которые не вписываются в базы данных. Многие организации стремятся привнести структуру и смысл в эти хранилища информации, а не просто использовать их в качестве недорогих средств хранения.
Поставщики решений для архивации структурированных данных отреагировали на этот интерес, добавив поддержку Apache Hadoop и как источника данных, и как места их сохранения. Gartner ожидает, что это нарождающееся требование о поддержке Hadoop выйдет за рамки обеспечения базовых возможностей по хранению информации и будет предусматривать поддержку аналитических инструментов (например, от компании Tableau Software) и других механизмов подготовки отчетов так, что в итоге граница между архивацией и активным использованием окажется размытой. К 2016 году инструменты для анализа «больших данных» войдут в число основных компонентов средств архивации структурированных данных. В различных дистрибутивах Hadoop, таких как Hortonworks и Cloudera, все больше внимания уделяется поддержке в Hadoop управления жизненным циклом информации и отслеживанию сроков хранения, и это будет оказывать давление на поставщиков решений для архивации структурированных данных, подталкивая их к дальнейшим инновациям в этой области.
Растущее значение полномасштабного управления информацией применительно к структурированным данным
Структурированные данные из программных приложений являются легкой добычей для внешних аудиторов, которые имеют большой опыт по части выявления соответствующих приложений, а также установления фактов отсутствия мер контроля и управления, необходимых для защиты ценных финансовых данных. В определенном отношении сделать это куда проще, чем выявить содержащий финансовые данные неструктурированный контент (такой как, например, электронные таблицы), который может быть рассеян по всей организации и слабо управляться. Аудиторы могут поднять тревогу, если унаследованное приложение настолько старое, что оно уже больше не поддерживается или если управление им осуществляется весьма вольно. Миграция данных в обновленную версию этого приложения или в альтернативный формат может смягчить проблему поддержки структурированных данных.
Большинство ИТ-служб основное внимание уделяет повышению готовности и реагированию на запросы в рамках э-раскрытия, касающиеся неструктурированных данных. Тем не менее, уже имели место многочисленные случаи, когда мишенью запросов на раскрытие информации становились структурированные данные. Раскрытие структурированных данных связано с рядом проблем, и организации заинтересованы в том, чтобы иметь возможность быстро реагировать в тех случаях, когда для доступа к запрашиваемой информации не может быть использовано «родное» приложение. Применяя активный систематический подход при выводе программных приложений из эксплуатации, организации могут избавиться от тех данных, которые более не требуются для деловой деятельности - не только ради снижения затрат на их хранение, но и для снижения затрат на выполнение запросов на э-раскрытие, одновременное упрощая поиск данных, укрепляя доверие к ним, а также облегчая обеспечение их долговременной сохранности.
Источник: сайт фирмы Gartner
http://www.gartner.com/technology/reprints.do?id=1-1VFUSZP&ct=140616&st=sb
Комментариев нет:
Отправить комментарий