Эндрю Нг: Пора «разукрупнять» искусственный интеллект, часть 1

Интервью профессора Стэнфордского университета и пионера ИИ Эндрю Нг (Andrew Ng, https://www.andrewng.org/ ), взятое Элизой Стрикленд (Eliza Strickland), было опубликовано 9 февраля 2022 года на сайте IEEE Spectrum Международной ассоциации специалистов по электротехнике и радиоэлектронике IEEE (от Institute of Electrical and Electronics Engineers – «Институт инженеров по электротехнике и радиоэлектронике»).

Пионер искусственного интеллекта Эндрю Нг (Andrew Ng) полагает, что пришло время для разумных по масштабу, «ориентированных на данные» решений больших проблем.

Эндрю Нг (Andrew Ng) участвовал в создании масштабных моделей глубокого обучения, обученных на огромных объемах данных, однако теперь он пропагандирует решения на основе «небольших данных». Фото: Cate Dingley/Bloomberg/Getty Images

Эндрю Нг (Andrew Ng, https://en.wikipedia.org/wiki/Andrew_Ng ) является крупным авторитетом в области искусственного интеллекта. В конце 2000-х годов он вместе со своими студентами в Стэнфордском университете стал пионером использования графических процессоров (GPU) для обучения моделей глубокого обучения, в 2011 году стал соучредителем Google Brain, а затем в течение трёх лет работал главным научным сотрудником компании Baidu ( https://ir.baidu.com/ ), где он помог создать группу искусственного интеллекта в составе китайского технологического гиганта. Поэтому когда он говорит, что выявил следующий крупный сдвиг в области искусственного интеллекта, люди к нему прислушиваются. Именно об этом он рассказал корреспонденту сайта IEEE Spectrum в эксклюзивном интервью.

В данный Эндрю Нг главным образом занимается делами его компании Landing AI, которая создала платформу под названием LandingLens, помогающую производителям улучшить визуальный контроль с помощью компьютерного зрения. Он также стал чем-то вроде евангелиста того, что он называет «ориентированным на данные движением ИИ» (data-centric AI movement, https://www.youtube.com/watch?v=06-AZXmwHjo ), которое, по его словам, может дать решения для больших проблем ИИ - включая вопросы эффективность моделей, точность и предвзятости -  на основе «малых данных» (small data).

Вопрос: Огромные достижения в области глубокого обучения, достигнутые за последнее десятилетие, опирались на всё более крупные модели, перемалывающие всё большие объемы данных. Некоторые утверждают, что это нежизнеспособный путь развития. Согласны ли Вы с тем, что так продолжаться не может?

Эндрю Нг: Это большой вопрос. Мы уже видели мастер-модели в сфере обработки естественного языка (NLP, natural language processing).

Мой комментарий: «Мастер-модели» (foundational model) в сфере искусственного интеллекта - это обобщенные модели, которые были предварительно обучены на колоссальных объёмах данных, имеющие миллионы или даже миллиарды настраиваемых параметров. Впоследствии такие модели адаптируются и настраиваются для решения конкретных задач.

Меня восхищает и волнует то, что NLP-модели становятся всё масштабнее, а также потенциал построения мастер-моделей в сфере компьютерного зрения. Я полагаю, что имеется множество сигналов, которые всё ещё можно использовать при обработке видеоматериалов: мы пока что не смогли построить мастер-модели для видео из-за ограниченности вычислительных мощностей и стоимости обработки видео, в отличие от токенизированного текста. Так что я думаю, что у этого локомотива масштабирования алгоритмов глубокого обучения, который работает уже около 15 лет, пар ещё не весь вышел. Однако это верно только в отношении определенных проблем, и есть ряд других проблем, которые требуют решений на основе небольших данных.

Когда вы говорите, что хотите видеть мастер-модель для компьютерного зрения, что именно Вы имеете в виду?

Эндрю Нг: Это термин [мастер-модель – Н.Х.] был придуман Перси Ляном (Percy Liang, https://cs.stanford.edu/~pliang/ ) и рядом моих друзей в Стэнфорде для обозначения очень больших моделей, обученных на очень больших наборах данных, которые можно настроить для конкретных приложений. Например, модель GPT-3 ( https://spectrum.ieee.org/open-ais-powerful-text-generating-tool-is-ready-for-business ) является примером мастер-модели [для обработки естественного языка]. Мастер-модели являются многообещающими в качестве новой парадигмы в разработке приложений машинного обучения, но у них также есть проблемы с обеспечением достаточной объективности и отсутствия предвзятости, особенно если многие из нас будут строить на их основе собственные решения.

Мой комментарий: Здесь упоминается представленная в мае 2020 года «Авторегрессионная генерирующая языковая модель на архитектуре трансформер 3-го поколения» (Generative Pre-trained Transformer 3, GPT-3, см. https://ru.wikipedia.org/wiki/GPT-3 ) американской компании OpenAI, занимающейся разработкой и лицензированием технологий на основе машинного обучения (см. https://ru.wikipedia.org/wiki/OpenAI ).

Что должно произойти, чтобы кто-то построил мастер-модель для видео?

Эндрю Нг: Полагаю, что здесь есть проблема с масштабируемостью. Вычислительная мощность, необходимая для обработки большого объема изображений для видео, значительна, и, думаю, именно поэтому мастер-модели впервые возникли в сфере обработки естественного языка. Многие исследователи работают над этим, и, как мне кажется, мы уже видим первые признаки того, что такие модели разрабатываются в области компьютерного зрения. Но я уверен, что если бы производитель полупроводников дал нам в 10 раз более мощные процессоры, мы с легкостью нашли бы в 10 раз больше видеоматериалов для создания таких моделей для зрения.

Между тем многое из того, что произошло за последнее десятилетие, связано с тем, что глубокое обучение было внедрено в ориентированных на потребителя компаниях, имеют большие базы пользователей - иногда миллиарды пользователей - и, следовательно, очень большие наборы данных. Хотя эта парадигма машинного обучения дала большую экономическую отдачу в сфере потребительского программного обеспечения, я считаю, что этот рецепт масштабирования не работает в других отраслях.

Забавно слышать, что Вы это говорите, ведь Ваша ранняя работа проходила в ориентированной на потребителя компании с миллионами пользователей.

Эндрю Нг: Более десяти лет назад, когда я предложил начать проект Google Brain ( https://research.google/teams/brain/ ), чтобы использовать вычислительную инфраструктуру Google для создания очень больших нейронных сетей, - это был спорный шаг. Один очень высокопоставленный человек как-то отвёл меня в сторону и предупредил, что запуск Google Brain плохо скажется на моей карьере. Думаю, он считал, что дело здесь не только в масштабировании, и что вместо этого мне следовало бы сосредоточиться на архитектурных инновациях.

«Во многих отраслях, где гигантских наборов данных просто не существует, думаю, акцент нужно сместить с больших данных на качественные данные. Наличия 50 хорошо продуманных и проработанных примеров может быть достаточно, чтобы объяснить нейронной сети то, чему Вы хотите её научить.» - Эндрю Нг

Я помню, как вместе с моими студентами мы опубликовали первый документ семинара NeurIPS ( https://nips.cc/ ), пропагандирующий использование CUDA ( https://developer.nvidia.com/cuda-zone ) -  платформы для обработки на графических процессорах для целей глубокого обучения – и тогда другой высокопоставленный руководитель по направлению ИИ усадил меня и сказал: «CUDA действительно сложно программировать. С точки зрения парадигмы программирования, это кажется слишком трудоёмким». Мне тогда удалось убедить его; а ещё одного человека я так и не убедил.

Думаю, теперь они оба убеждены.

Эндрю Нг: Думаю, что да.

Когда в течение прошлого года я говорил с людьми о движении ИИ, ориентированном на данные, я вспоминал, как когда-то 10 или 15 лет назад я рассказывал людям о глубоком обучении и масштабируемости. В прошлом году я получал ту же смесь реакций «здесь нет ничего нового» и «похоже, это неправильное направление».

(Продолжение следует, см. http://rusrim.blogspot.com/2022/03/2.html )

Интервью брала Элиза Стрикленд (Eliza Strickland)

Источник: сайт IEEE Spectrum Международной ассоциации специалистов по электротехнике и радиоэлектронике IEEE
https://spectrum.ieee.org/andrew-ng-data-centric-ai#toggle-gdpr