Вычислительное хранение: Интеллектуальное устранение узких мест, связанных с хранением и обработкой данных интернета вещей

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 16 сентября 2019 года на блоге компании Formtek.

Вычислительное хранение (computational storage) - это обработка данных непосредственно во время их захвата в слой хранения. При использовании стандартной компьютерной архитектуры данные просто хранятся в этом слое. Данная новая архитектура требует локальных процессоров и оперативной памяти для обработки, преобразования и хранения данных. Эта архитектура очень похожа на «периферийные вычисления» (Edge Computing).

Мой комментарий: Приведу для справки парочку определений «вычислительного хранения» и «периферийных вычислений»:

Вычислительное хранение (computational storage) - это ИТ-архитектура, в которой данные обрабатываются на уровне устройства хранения с целью уменьшения объема данных, которые должны перемещаться между слоем хранения и слоем вычислений. Отсутствие такого перемещения облегчает анализ данных в реальном времени и повышает производительность за счет ликвидации узких мест ввода/вывода. (Источник: https://searchstorage.techtarget.com/definition/computational-storage )

Периферийные вычисления (edge computing) - это подход, связанный с обработкой данных у границы сети, где создаются данные, а не в централизованном хранилище, предназначенном для обработки данных.

Периферийные вычислительные системы представляют собой распределенную открытую ИТ-архитектуру, в которой применяется децентрализованная обработка и обеспечивается поддержка технологий мобильных вычислений Интернета вещей. При использовании периферийных вычислений данные обрабатываются самим устройством или локальным компьютером или сервером, а не передаются в центр обработки данных.

Периферийные вычисления обеспечивают эффективную обработку больших объемов данных рядом с источником, снижая загрузку интернет-каналов. С одной стороны, это позволяет сократить расходы, а с другой — эффективно использовать приложения удаленно. Кроме того, способность обрабатывать данные без их помещения в общедоступное облако обеспечивает дополнительный уровень защиты конфиденциальных данных.

(Источник: русскоязычный сайт компании Hewlett Packard Enterprise,
https://www.hpe.com/ru/ru/what-is/edge-computing.html )

Генеральный директор и основатель компании NGD Systems Надер Салесси (Nader Salessi, см. https://www.linkedin.com/in/nader-salessi-99337030/ ) отмечает, что «вычислительное хранение является инновационным решением для современной архитектуры, в которой вычисления приближаются к тому месту, где данные генерируются, вместо перемещения данных для производства вычислений над ними. Именно поэтому вычислительное хранение идеально подходит для любой организации, использующей в качестве своей новой модели периферийные вычисления; это позволяет обрабатывать данные именно там, где они создаются и необходимы, сокращая время, потребное для анализа петабайт данных» (см. https://www.helpnetsecurity.com/2019/07/23/challenges-edge-workloads/ ).

Недавний проведённый NGD опрос и подготовленный по его итогам отчёт (см.  https://ngd.dnastaging.net/brief/NGD_Systems_Storage_Edge_Computing_Survey_Report ) показали, что узким местом многих современных решений «интернета вещей» является то, что они все еще используют устаревшие решения для хранения данных. Около половины опрошенных компаний сообщили, что им нужны более быстрые и более интеллектуальные решения для хранения данных.

Слайд из отчёта NGD «Положение дел с хранением данных и периферийные вычисления» (The State of Storage and Edge Computing, https://ngd.dnastaging.net/brief/NGD_Systems_Storage_Edge_Computing_Survey_Report ), озаглавленный «Затраты и узкие места ввода и хранения данных остаются проблемами приложений». Респонденты отвечали на вопрос «Какие у Вашей компании имеются ИТ-проблемы обработки нагрузки, связанной с интенсивным использованием данных, такой, как искусственный  интеллект, машинное обучение и аналитика в реальном масштабе времени?». Наиболее часто встречавшиеся ответы (сверху вниз, первые три обведены рамкой): «расходы, связанные с традиционными решениями для хранения данных», «Ввод данных и управление ими», «Узкие места вычислений и хранения данных», «Недостаточная пропускная способность сетей», «Недоиспользование платформы».

Вице-президент по маркетингу компании NGD Systems Скотт Шедли (Scott Shadley, https://www.linkedin.com/in/scottshadley/ ) пишет, что, «устраняя большую часть перемещения данных, вычислительное хранение и «обработка по месту» (in-situ processing) устраняют тем самым главное узкое место, которое не позволяло развиваться более передовые приложения интернета вещей. Данный метод обеспечивает получение от собранных этими платформами данных ожидаемой отдачи в виде более совершенной аналитики и возможности реализовать важные новые варианты применения» (см. https://www.enterpriseai.news/2019/04/30/computational-storage-edge-intelligence-for-next-gen-iot/ ).

Дик Вейсингер (Dick Weisinger)

Мой комментарий: Как говаривали классики, развитие часто идёт по спирали, возвращаясь на каждом витке к старым идеям, но уже на новом уровне технологий. Те, кто постарше, уже видели все эти облачные, туманные, периферийные и прочие вычисления – когда компьютерная отрасль была лет на 40 моложе :) Потом, наверное, появится инновационная идея централизованных вычислений на сервере, и пойдёт новый виток спирали …

Источник: блог компании Formtek
https://formtek.com/blog/computational-storage-intelligently-clearing-iot-storage-bottlenecks/