«Данные! Данные! Данные! Я не могу делать кирпичи без глины», - плакался Шерлок Холмс в сцене из фильма ( https://news.northeastern.edu/2022/09/09/computational-storage-data-management/ ). Его чувства, безусловно, разделяют многие специалисты по управлению данными. Рост объемов данных и растущая потребность в доступе к данным и их обработке в режиме, максимально приближенном к реальному времени, делают задачу управления данными ещё более сложной.
Что не так с тем, как данные обрабатываются сегодня? Это задержки, объемы, энергопотребление и затраты.
- Исследователи обнаружили, что перемещение данных обходится очень дорого. Согласно оценкам, полученным по результатам проведенного специалистами Google исследования ( https://people.inf.ethz.ch/omutlu/pub/Google-consumer-workloads-data-movement-and-PIM_asplos18.pdf ) 62,7% затрачиваемой в ходе вычислений энергии расходуется на одно только перемещение данных туда-сюда между памятью, системой хранения и центральным процессором;
- Интернет-трафик вырос за последнее десятилетие в 16 раз ( https://www.iea.org/reports/data-centres-and-data-transmission-networks ). Значительную часть этого роста можно объяснить перемещением данных из периферийных локаций в облако и в локальные центры обработки данных.
Одно из решений, предлагаемых для повышения эффективности и ограничения перемещения данных, заключается в том, чтобы сделать системы хранения более интеллектуальными и способными обрабатывать данные на самом устройстве хранения. Устройства «вычислительного хранения» поставляются со встроенной памятью, средствами ввода-вывода, процессорами, пространством хранения и программным обеспечением, которое делает именно это.
Мой комментарий: Приведу для справки определение «вычислительного хранения»:
Вычислительное хранение (computational storage) - это ИТ-архитектура, в которой данные обрабатываются на уровне устройства хранения с целью уменьшения объема данных, которые должны перемещаться между слоем хранения и слоем вычислений. Отсутствие такого перемещения облегчает анализ данных в реальном времени и повышает производительность за счет ликвидации узких мест ввода/вывода. (Источник: https://searchstorage.techtarget.com/definition/computational-storage )
На веб-сайте международной отраслевой ассоциации в области сетевого хранения данных (Storage Networking Industry Association, SNIA, http://www.snia.org/ ) говорится, что «решения вычислительного хранения обычно нацелены на приложения, в которых потребность в обработке постоянно растущих рабочих нагрузок хранения растёт быстрее, чем развиваются традиционные архитектуры вычислительных серверов. В числе этих приложений, используемых в различных отраслях, можно назвать ИИ, большие данные, доставку контента, базы данных, машинное обучение и многие другие».
Старший директор фирмы Dell по инженерии высокопроизводительных вычислений Онур Челебиоглу (Onur Celebioglu, https://www.linkedin.com/in/onur-celebioglu-6b13482/ ) в интервью изданию The Register отметил, что «рост объёмов данных, то, как мы перемещаем данные и как мы с ними обращаемся, когда имеем дело с огромными их объёмами - это и впредь будет проблемой, причём не только для высокопроизводительных вычислений, но также и для традиционных ИТ. Сами объёмы данных могут привести к созданию узких мест. Если мы сможем анализировать данные «по месту», то это станет одним из способов изменить парадигму, и я думаю, что технологии вычислительного хранения данных начнут играть более важную роль как в высокопроизводительных вычислениях, так и в информационных технологиях общего назначения» ( https://www.theregister.com/2022/01/31/dell_computational_storage/ ).
Дик Вейсингер (Dick Weisinger)
Источник: блог компании Formtek
https://formtek.com/blog/data-management-data-centric-computing-with-computational-storage/
Комментариев нет:
Отправить комментарий