Эндрю Нг: Пора «разукрупнять» искусственный интеллект, часть 3

(Окончание, предыдущую часть см. http://rusrim.blogspot.com/2022/03/2.html )

А как насчет использования синтетических данных, часто ли они являются хорошим решением?

Эндрю Нг: Я считаю, что синтетические данные - важный инструмент в инструментальном наборе ориентированного на данные искусственного интеллекта. На семинаре NeurIPS Анима Анандкумар (Anima Anandkumar, http://tensorlab.cms.caltech.edu/users/anima/ ) выступила с отличным докладом, где была затронута тема синтетических данных. Думаю, что существуют важные сценарии применения синтетических данных, выходящие за рамки простого шага предварительной обработки с целью увеличения набора данных для алгоритма обучения. Я хотел бы видеть больше инструментов, позволяющих разработчикам использовать генерацию синтетических данных в качестве части замкнутого цикла итеративной разработки систем машинного обучения.

Считаете ли Вы, что синтетические данные позволят Вам опробовать модель на большем количестве наборов данных?

Эндрю Нг: Не совсем, и вот пример. Допустим, вы пытаетесь обнаружить дефекты в корпусе смартфона. Имеется множество различных типов дефектов для смартфонов - это могут быть царапины, выбоины. вмятины, обесцвечивание материала и другие виды пятен. Если Вы обучите модель, а затем в ходе анализа ошибок обнаружите, что в целом она работает хорошо, но плохо работает на вмятинах, то генерация синтетических данных позволит Вам решить проблему более целенаправленно. Вы можете сгенерировать больше данных именно для категории вмятин.

«В Интернет-среде потребительского программного обеспечения мы могли бы обучить небольшое число моделей машинного обучения для обслуживания миллиарда пользователей. На производстве у Вас может быть 10 тысяч производителей, создающих 10 тысяч настроенных для себя моделей ИИ» - Эндрю Нг

Генерация синтетических данных - очень мощный инструмент, однако имеется множество более простых инструментов, которые я часто пробую в первую очередь. Это, например, увеличение объёма данных (data augmentation), улучшение согласованности маркировки или просто просьба к заводу собрать больше данных.

Чтобы показать эти вопросы более конкретно, не могли бы Вы привести пример? Когда компания обращается к компании Landing AI и говорит, что у неё есть проблемы с визуальным контролем, как Вы принимаете их заказ и движетесь в сторону развертывания решения?

Эндрю Нг: Когда к нам обращается клиент, мы обычно обсуждаем его проблему с проведением контроля и просматриваем ряд изображений, чтобы убедиться, что проблема решаема с помощью компьютерного зрения. Если это так, то мы просим их загрузить их данные на платформу LandingLens ( https://landing.ai/platform/ ). Мы часто консультируем их по методологии ориентированного на данные ИИ, и помогаем им маркировать данные.

Одним из главных направлений деятельности компании Landing AI является предоставление компаниям-производителям возможности самостоятельно осуществлять машинное обучение. Значительная часть нашей работы заключается в обеспечении того, чтобы программное обеспечение было быстрым и простым в использовании. В ходе итеративного процесса разработки систем машинного обучения мы консультируем клиентов по таким вопросам, как обучать модели на платформе, когда и как улучшить маркировку данных для того, чтобы повысить производительность модели. Проводимое нами обучение и наше программное обеспечение поддерживают их на всех этапах, вплоть до развёртывания обученной модели на оконечном устройстве на заводе.

Как Вы реагируете на меняющиеся потребности? Если на заводе меняются продукты или условия освещения, может ли модель подстроиться под эти изменения?

Эндрю Нг: Это зависит от производителя. Существует дрейф данных во многих контекстах. Однако есть отдельные производители, которые используют одну и ту же производственную линию с небольшими изменениями уже 20 лет, поэтому они не ожидают изменений в ближайшие пять лет. Такие стабильные условия облегчают жизнь. Другим производителям мы предоставляем инструменты, позволяющие сообщать о наличии серьезных проблем с дрейфом данных. Я считаю очень важным дать возможность клиентам-производителям самим корректировать данные, переобучать и обновлять модель - потому что, если вдруг что-то изменится, а в США будет 3 часа ночи, я хочу, чтобы они могли сразу же адаптировать свой алгоритм обучения, чтобы обеспечить непрерывность работы.

В Интернет-среде потребительского программного обеспечения мы могли бы обучить небольшое число моделей машинного обучения для обслуживания миллиарда пользователей. На производстве у Вас может быть 10 тысяч производителей, создающих 10 тысяч настроенных для себя моделей ИИ. Проблема заключается в том, как это сделать, не нанимая в компанию Landing AI 10 тысяч специалистов по машинному обучению?

Итак, Вы говорите, что для масштабирования Вам нужно дать клиентам возможность самим выполнять значительную часть обучения и другой работы?

Эндрю Нг: Да, именно так! Это общеотраслевая проблема ИИ, а не только проблема производства. Посмотрите на здравоохранение - каждая больница имеет свой немного отличающийся формат электронных медицинских документов. Каким образом каждая из больниц может обучить свою собственную модель искусственного интеллекта? Нереалистично ожидать, что ИТ-персонал каждой больницы изобретет новые архитектуры нейронной сети. Единственный выход из этой дилеммы - создать инструменты, которые позволят клиентам создавать свои собственные модели, предоставляя им средства для «конструирования» данных и выражения своих знаний в предметной области. Это то, что Landing AI делает в сфере компьютерного зрения, и сфере искусственного интеллекта требуются другие команды, чтобы делать то же в других областях.

Есть ли что-то ещё, что, по Вашему мнению, является важным для того, чтобы люди понимали, какую работу Вы делаете и что собой представляет движение за ориентированный на данные ИИ?

Эндрю Нг: За последнее десятилетие самым большим сдвигом в области искусственного интеллекта стал переход к глубокому обучению. Полагаю, что вполне возможно, что в этом десятилетии наибольший сдвиг произойдёт в сторону ориентированного на данные ИИ. Учитывая зрелость сегодняшних архитектур нейронных сетей, думаю, для многих практических приложений узким местом будет способность эффективно получать данные, необходимые для разработки хорошо работающих систем. Движение за ориентированный на данные ИИ обладает огромной энергией и импульсом в масштабах всего сообщества. Я надеюсь, что всё больше исследователей и разработчиков присоединятся к нему и будут работать в этом направлении.

Интервью брала Элиза Стрикленд (Eliza Strickland)

Источник: сайт IEEE Spectrum Международной ассоциации специалистов по электротехнике и радиоэлектронике IEEE
https://spectrum.ieee.org/andrew-ng-data-centric-ai#toggle-gdpr

Эндрю Нг: Пора «разукрупнять» искусственный интеллект, часть 2

(Продолжение, начало см. http://rusrim.blogspot.com/2022/03/1.html )

Как Вы определяете ориентированный на данные ИИ, и почему Вы считаете его «движением»?

Эндрю Нг: Ориентированный на данные искусственный интеллект (data-centric AI) - это дисциплина систематической инженерии данных, необходимых для успешного построения ИИ-системы. Для создания ИИ-системы Вам нужно реализовать в коде, какой-то алгоритм (скажем, нейронную сеть), а затем обучить его на Вашем наборе данных. В течение последнего десятилетия доминирующей парадигмой было скачивание набора данных, в то время, как Вы сосредотачивали внимание на улучшении кода. Благодаря этой парадигме сети глубокого обучения за последнее десятилетие значительно улучшились, до такой степени, что для многих приложений код - архитектура нейронной сети - стал практически решённой проблемой. Таким образом, для многих практических приложений теперь более продуктивно оставить как есть архитектуру нейронной сети, и вместо этого найти способы улучшения данных.

Когда я начал говорить об этом, многие специалисты-практики вполне уместно поднимали руки и говорили: «Да, мы этим занимаемся уже 20 лет». Настало время взять то, что некоторые специалисты делали интуитивно, и сделать это систематической инженерной дисциплиной.

Движение за ориентированный на данные ИИ намного шире, чем одна компания или группа исследователей. Мы с коллегами по работе организовали семинар по ориентированному на данные ИИ в рамках Конференция по машинному обучению и нейровычислениям (Conference on Neural Information Processing Systems, NeurIPS, https://neurips.cc/virtual/2021/workshop/21860 ), и меня очень порадовало количество пришедших авторов и докладчиков.

Вы часто говорите о компаниях или учреждениях, имеющих лишь небольшие объемы данных, с которыми они могут работать. Как ориентированный на данные ИИ может им помочь?

Эндрю Нг: Очень много слышно о системах машинного зрения, построенных с использованием миллионов изображений – я однажды создал систему распознавания лиц, используя 350 миллионов изображений. Архитектуры, созданные для сотен миллионов изображений, не работают со всего лишь 50 изображениями. Однако оказывается, что если у вас есть 50 действительно хороших примеров, то Вы можете создать что-то полезное, например, систему проверки на наличие дефектов. Я полагаю, что во многих отраслях, где гигантских наборов данных просто не существует, акцент должен быть смещён с больших данных на качественные данные. Пятидесяти продуманно сконструированных примеров может быть достаточно, чтобы объяснить нейронной сети то, чему Вы хотите её научить.

Когда Вы говорите об обучении модели на всего лишь 50 изображениях, означает ли это, что Вы берёте существующую модель, которая была обучена на очень большом наборе данных, и настраиваете её? Или вы имеете в виду совершенно новую модель, которую предполагается обучить только на этом небольшом наборе данных?

Эндрю Нг: Позвольте мне описать, что делает компания Landing AI. При проведении для производителей визуальной инспекции на наличие дефектов мы часто используем наш вариант RetinaNet ( https://developers.arcgis.com/python/guide/how-retinanet-works/ ). Это предварительно обученная модель. В то же время, предварительное обучения – лишь  это маленький кусочек головоломки. Более крупной часть головоломки является предоставление инструментов, позволяющих производителю выбрать правильный набор изображений [используемых для тонкой настройки] и пометить их согласованным образом. Существует очень практическая проблема, с которой мы сталкивались в областях машинного зрение, обработки естественного языка и речи, когда даже занимающиеся аннотированием люди не могли договориться о подходящей метке. Для приложений больших данных, обычный ответ был следующим: если данные зашумлены, давайте просто возьмём очень много данных, и алгоритм усреднит их. Но если Вы можете разработать инструменты, которые отмечают, где данные являются несогласованными, и предлагают Вам очень целенаправленный способ улучшить согласованность данных, то это оказывается более эффективным способом создания высокопроизводительной системы.

«Сбор большего количества данных часто помогает, но если Вы попытаетесь собирать больше данных обо всём, то это может оказаться очень дорогим удовольствием.» - Эндрю Нг

Если, например, у вас есть 10 тысяч изображений, из которых 30 относятся к одному классу, и эти 30 изображений помечены несогласованно, то одна из вещей, которые мы делаем – это создание инструментов, которые привлекут Ваше внимание к этому подмножеству несогласованных данных. В результате Вы можете очень быстро пере-пометить эти изображения, чтобы обеспечить большую согласованность, и это приводит к повышению производительности.

Может ли такой акцент на высококачественные данные помочь с устранением предвзятости, имеющейся в наборах данных? Если у Вас будет возможность в большей степени курировать данные перед обучением?

Эндрю Нг: Очень даже может. Многие исследователи отмечают, что предвзятые данные являются одним из многих факторов, ведущих к появлению предвзятых систем. Было предпринято много продуманных усилий в плане инженерии данных. На семинаре NeurIPS Ольга Русаковская (Olga Russakovsky, https://www.cs.princeton.edu/~olgarus/ ) очень хорошо рассказала об этом. На основной конференции NeurIPS мне также очень понравился доклад Мэри Грей (Mary Gray, https://neurips.cc/virtual/2021/invited-talk/22281 ), в котором затрагивался вопрос о том, что ориентированный на данные ИИ является одним из элементов решения, но не всем решением. Новые инструменты, такие как Datasheets for Datasets ( https://www.microsoft.com/en-us/research/project/datasheets-for-datasets/ ) также представляются важной частью головоломки.

Одним из мощных инструментов, которые нам даёт ориентированный на данные ИИ, является возможность сконструировать подмножество данных. Представьте себе, что Вы обучаете систему машинного обучения и обнаруживаете, что её результаты вполне удовлетворительны для большей части набора данных, но оказываются предвзятыми для подмножества данных. Если ради улучшения показателей только на этом подмножестве Вы попытаетесь изменить всю архитектуру нейронной сети, это будет довольно сложно сделать. Но если Вы можете спроектировать подмножество данных, то сможете решить проблему гораздо более целенаправленно.

Когда Вы говорите о «конструировании» (engineering) данных, что именно Вы имеете в виду?

Эндрю Нг: В ИИ важна очистка данных, однако способ, которым проводилась такая очистка, часто был очень «ручным». В сфере компьютерного зрения кто-то может визуализировать изображения с помощью Jupyter notebook ( https://jupyter.org/ ) и, возможно, он сможет обнаружить проблему и исправить её. Но меня интригуют и кажутся многообещающими инструменты, которые позволяют Вам иметь очень большой набор данных, и которые быстро и эффективно привлекают Ваше внимание к подмножеству данных, где, скажем, метки зашумлены. Или они могут быстро привлечь Ваше внимание к одному из 100 классов, по которому Вам было бы полезно собрать больше данных. Сбор большего количества данных часто помогает, но если Вы попытаетесь собирать больше данных обо всём, то это может оказаться очень дорогим удовольствием

Например, однажды я обнаружил, что система распознавания речи плохо работает, когда на заднем фоне слышен шум автомобиля. Знание этого позволило мне собрать больше данных именно с шумом автомобиля на заднем плане, вместо того, чтобы собирать больше данных «обо всём», что было бы дорого и медленно.

(Окончание следует, см. http://rusrim.blogspot.com/2022/03/3.html )

Интервью брала Элиза Стрикленд (Eliza Strickland)

Источник: сайт IEEE Spectrum Международной ассоциации специалистов по электротехнике и радиоэлектронике IEEE
https://spectrum.ieee.org/andrew-ng-data-centric-ai#toggle-gdpr

Эндрю Нг: Пора «разукрупнять» искусственный интеллект, часть 1

Интервью профессора Стэнфордского университета и пионера ИИ Эндрю Нг (Andrew Ng, https://www.andrewng.org/ ), взятое Элизой Стрикленд (Eliza Strickland), было опубликовано 9 февраля 2022 года на сайте IEEE Spectrum Международной ассоциации специалистов по электротехнике и радиоэлектронике IEEE (от Institute of Electrical and Electronics Engineers – «Институт инженеров по электротехнике и радиоэлектронике»).

Пионер искусственного интеллекта Эндрю Нг (Andrew Ng) полагает, что пришло время для разумных по масштабу, «ориентированных на данные» решений больших проблем.

Эндрю Нг (Andrew Ng) участвовал в создании масштабных моделей глубокого обучения, обученных на огромных объемах данных, однако теперь он пропагандирует решения на основе «небольших данных». Фото: Cate Dingley/Bloomberg/Getty Images

Эндрю Нг (Andrew Ng, https://en.wikipedia.org/wiki/Andrew_Ng ) является крупным авторитетом в области искусственного интеллекта. В конце 2000-х годов он вместе со своими студентами в Стэнфордском университете стал пионером использования графических процессоров (GPU) для обучения моделей глубокого обучения, в 2011 году стал соучредителем Google Brain, а затем в течение трёх лет работал главным научным сотрудником компании Baidu ( https://ir.baidu.com/ ), где он помог создать группу искусственного интеллекта в составе китайского технологического гиганта. Поэтому когда он говорит, что выявил следующий крупный сдвиг в области искусственного интеллекта, люди к нему прислушиваются. Именно об этом он рассказал корреспонденту сайта IEEE Spectrum в эксклюзивном интервью.

В данный Эндрю Нг главным образом занимается делами его компании Landing AI, которая создала платформу под названием LandingLens, помогающую производителям улучшить визуальный контроль с помощью компьютерного зрения. Он также стал чем-то вроде евангелиста того, что он называет «ориентированным на данные движением ИИ» (data-centric AI movement, https://www.youtube.com/watch?v=06-AZXmwHjo ), которое, по его словам, может дать решения для больших проблем ИИ - включая вопросы эффективность моделей, точность и предвзятости -  на основе «малых данных» (small data).

Вопрос: Огромные достижения в области глубокого обучения, достигнутые за последнее десятилетие, опирались на всё более крупные модели, перемалывающие всё большие объемы данных. Некоторые утверждают, что это нежизнеспособный путь развития. Согласны ли Вы с тем, что так продолжаться не может?

Эндрю Нг: Это большой вопрос. Мы уже видели мастер-модели в сфере обработки естественного языка (NLP, natural language processing).

Мой комментарий: «Мастер-модели» (foundational model) в сфере искусственного интеллекта - это обобщенные модели, которые были предварительно обучены на колоссальных объёмах данных, имеющие миллионы или даже миллиарды настраиваемых параметров. Впоследствии такие модели адаптируются и настраиваются для решения конкретных задач.

Меня восхищает и волнует то, что NLP-модели становятся всё масштабнее, а также потенциал построения мастер-моделей в сфере компьютерного зрения. Я полагаю, что имеется множество сигналов, которые всё ещё можно использовать при обработке видеоматериалов: мы пока что не смогли построить мастер-модели для видео из-за ограниченности вычислительных мощностей и стоимости обработки видео, в отличие от токенизированного текста. Так что я думаю, что у этого локомотива масштабирования алгоритмов глубокого обучения, который работает уже около 15 лет, пар ещё не весь вышел. Однако это верно только в отношении определенных проблем, и есть ряд других проблем, которые требуют решений на основе небольших данных.

Когда вы говорите, что хотите видеть мастер-модель для компьютерного зрения, что именно Вы имеете в виду?

Эндрю Нг: Это термин [мастер-модель – Н.Х.] был придуман Перси Ляном (Percy Liang, https://cs.stanford.edu/~pliang/ ) и рядом моих друзей в Стэнфорде для обозначения очень больших моделей, обученных на очень больших наборах данных, которые можно настроить для конкретных приложений. Например, модель GPT-3 ( https://spectrum.ieee.org/open-ais-powerful-text-generating-tool-is-ready-for-business ) является примером мастер-модели [для обработки естественного языка]. Мастер-модели являются многообещающими в качестве новой парадигмы в разработке приложений машинного обучения, но у них также есть проблемы с обеспечением достаточной объективности и отсутствия предвзятости, особенно если многие из нас будут строить на их основе собственные решения.

Мой комментарий: Здесь упоминается представленная в мае 2020 года «Авторегрессионная генерирующая языковая модель на архитектуре трансформер 3-го поколения» (Generative Pre-trained Transformer 3, GPT-3, см. https://ru.wikipedia.org/wiki/GPT-3 ) американской компании OpenAI, занимающейся разработкой и лицензированием технологий на основе машинного обучения (см. https://ru.wikipedia.org/wiki/OpenAI ).

Что должно произойти, чтобы кто-то построил мастер-модель для видео?

Эндрю Нг: Полагаю, что здесь есть проблема с масштабируемостью. Вычислительная мощность, необходимая для обработки большого объема изображений для видео, значительна, и, думаю, именно поэтому мастер-модели впервые возникли в сфере обработки естественного языка. Многие исследователи работают над этим, и, как мне кажется, мы уже видим первые признаки того, что такие модели разрабатываются в области компьютерного зрения. Но я уверен, что если бы производитель полупроводников дал нам в 10 раз более мощные процессоры, мы с легкостью нашли бы в 10 раз больше видеоматериалов для создания таких моделей для зрения.

Между тем многое из того, что произошло за последнее десятилетие, связано с тем, что глубокое обучение было внедрено в ориентированных на потребителя компаниях, имеют большие базы пользователей - иногда миллиарды пользователей - и, следовательно, очень большие наборы данных. Хотя эта парадигма машинного обучения дала большую экономическую отдачу в сфере потребительского программного обеспечения, я считаю, что этот рецепт масштабирования не работает в других отраслях.

Забавно слышать, что Вы это говорите, ведь Ваша ранняя работа проходила в ориентированной на потребителя компании с миллионами пользователей.

Эндрю Нг: Более десяти лет назад, когда я предложил начать проект Google Brain ( https://research.google/teams/brain/ ), чтобы использовать вычислительную инфраструктуру Google для создания очень больших нейронных сетей, - это был спорный шаг. Один очень высокопоставленный человек как-то отвёл меня в сторону и предупредил, что запуск Google Brain плохо скажется на моей карьере. Думаю, он считал, что дело здесь не только в масштабировании, и что вместо этого мне следовало бы сосредоточиться на архитектурных инновациях.

«Во многих отраслях, где гигантских наборов данных просто не существует, думаю, акцент нужно сместить с больших данных на качественные данные. Наличия 50 хорошо продуманных и проработанных примеров может быть достаточно, чтобы объяснить нейронной сети то, чему Вы хотите её научить.» - Эндрю Нг

Я помню, как вместе с моими студентами мы опубликовали первый документ семинара NeurIPS ( https://nips.cc/ ), пропагандирующий использование CUDA ( https://developer.nvidia.com/cuda-zone ) -  платформы для обработки на графических процессорах для целей глубокого обучения – и тогда другой высокопоставленный руководитель по направлению ИИ усадил меня и сказал: «CUDA действительно сложно программировать. С точки зрения парадигмы программирования, это кажется слишком трудоёмким». Мне тогда удалось убедить его; а ещё одного человека я так и не убедил.

Думаю, теперь они оба убеждены.

Эндрю Нг: Думаю, что да.

Когда в течение прошлого года я говорил с людьми о движении ИИ, ориентированном на данные, я вспоминал, как когда-то 10 или 15 лет назад я рассказывал людям о глубоком обучении и масштабируемости. В прошлом году я получал ту же смесь реакций «здесь нет ничего нового» и «похоже, это неправильное направление».

(Продолжение следует, см. http://rusrim.blogspot.com/2022/03/2.html )

Интервью брала Элиза Стрикленд (Eliza Strickland)

Источник: сайт IEEE Spectrum Международной ассоциации специалистов по электротехнике и радиоэлектронике IEEE
https://spectrum.ieee.org/andrew-ng-data-centric-ai#toggle-gdpr