Глубокое обучение: Дальнейшее развитие технологии возможно лишь при условии появления более эффективных алгоритмов

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 15 октября 2020 года на блоге компании Formtek.

Мой комментарий: Русскоязычная Википедия так определяет понятие «глубокое обучение» (см. https://ru.wikipedia.org/wiki/Глубокое_обучение ):

Глубокое обучение (глубинное обучение; англ. Deep learning) - совокупность методов машинного обучения (с учителем, с частичным привлечением учителя, без учителя, с подкреплением), основанных на обучении представлениям (англ. feature/representation learning), а не специализированным алгоритмам под конкретные задачи.

В англоязычной Википедии (см. https://en.wikipedia.org/wiki/Deep_learning ) акценты расставлены несколько иначе, и, в частности, отмечается:

Глубокое обучение (также известное как «глубокое структурированное обучение») входит в состав более широкого семейства методов машинного обучения, основанных на искусственных нейронных сетях с репрезентативным обучением.

Технология глубокого обучения (Deep Learning) сделала возможным получение впечатляющих результатов в области искусственного интеллекта, но дальнейшее развитие этого подхода может столкнуться с препятствиями. Исследование, проведенное группой специалистов из Массачусетского технологического института (MIT), показало (см. https://arxiv.org/pdf/2007.05558.pdf ), что масштабирование глубокого обучения за пределы его текущих возможностей ограничивается располагаемыми вычислительными мощностями. По мнению исследователей, для дальнейшего развития возможностей данной технологии необходимо разработать «кардинально» более эффективные вычислительные методы.

Хотя такой прогноз для технологии может казаться мрачным, авторы настроены оптимистично и полагают, что теория и алгоритмы, лежащие в основе этого подхода, будут и дальше совершенствоваться.

Группа MIT отметила, что «глубокое обучение требует больших вычислительных ресурсов не случайно, а в силу своих конструктивных особенностей. Та самая гибкость, благодаря которой этот подход превосходно подходит для моделировании разнообразных явлений, превосходя экспертные модели, - одновременно делает его значительно более затратным в вычислительном отношении. Несмотря на это, мы находим, что фактическая вычислительная нагрузка, связанная с моделями глубокого обучения, масштабируется быстрее, чем (известные) нижние теоретические границы, что предполагает возможность значительных улучшений».

Группа изучила научные публикации по глубокому обучению и пришла к выводу, что для развития возможностей данной технологии необходимо улучшить два фактора: эффективность алгоритмов и располагаемые вычислительные мощности (по-моему, при таких выводах вполне оправданно помянуть «капитана Очевидность» :) – Н.Х.). Исследователи отметили, что если алгоритмы и дальше будут совершенствоваться в том же темпе, что наблюдался ранее, - то улучшение алгоритмов за три года эквивалентно десятикратному увеличению вычислительной мощности (Вспоминая уроки своего программистского прошлого, могу сказать, что даже скромные усилия по оптимизации алгоритмов и реализующих их программ способны ускорить вычисления в ~100 раз. Хорошо, что новое поколение исследователей об этом не забывает! – Н.Х.).

Дик Вейсингер (Dick Weisinger)

Мой комментарий: Обучение нейронных сетей – это, по сути, метод подгонки с использованием обучающего набора данных. Он имеет право на существование, но точно так же не может в полной мере заменить основанные на теории и глубоком знании предметной области расчёты, как «большие данные» не могут заменить высококачественные, целевым образом собранные «малые данные». Поэтому я полагаю, что ключом к дальнейшему развитию глубокого обучения является разработка «гибридных» алгоритмов и оптимизация методов сбора качественных данных, а отнюдь не наращивание вычислительных мощностей.

Источник: блог компании Formtek
https://formtek.com/blog/deep-learning-roadblocked-unless-more-efficient-algorithms-can-advance-the-technology/