Искусственный интеллект: Методология «Состав экспертов» (CoE) трансформирует производство с помощью модульного ИИ

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 17 мая 2024 года на блоге компании Formtek.

В моём вчерашнем посте (пост от 16 мая 2024 года, см. https://formtek.com/blog/artificial-intelligence-composition-of-experts-coe-a-breakthrough-in-large-language-models/ - Н.Х.) рассказывалось об идее методология «Состав экспертов» (Composition of Experts, CoE). По мере того, как подход CoE набирает популярность, в различных отраслях изучается его потенциал для производственного сектора ( https://www.smarterchains.com/smart-factories-news/cloud-coe-ecosystem-excellence ). Метод CoE обещает революционизировать процессы, улучшить процесс принятия решений и повысить эффективность.

Производство сталкиваются со сложными проблемами, такими как оптимизация цепочек поставок, контроль качества, прогнозное («на опережение») техническое обслуживание и многое другое. Метод CoE предлагает прагматичный подход к решению этих проблем. Вот как производственная компания может использовать CoE:

• Модули для конкретных задач:
  
  
• Представьте себе заводской цех, оборудованный модульными ИИ-устройствами. Каждое подразделение специализируется на конкретной задаче: на обнаружении дефектов, управлении запасами или планировании производства;
  
  
• Эти модули, подобно экспертам CoE, эффективно взаимодействуют друг с другом для оптимизации работы производственных линий.
  
  
• Обеспечение уверенности в качестве:
  
  
• Точность метода CoE может существенно повлиять на контроль качества. Экспертные модели могут тщательно изучать изображения продуктов, выявлять дефекты и обеспечивать соответствие установленным требованиям;
  
  
• Производители могут размещать на сборочных линиях связанные с CoE камеры, выявляя дефекты до того, как ситуация усугубится.
  
  
• Прогнозное обслуживание (Predictive Maintenance):
  
  
• Маршрутизатор CoE динамически выбирает подходящего эксперта для запросов на техническое обслуживание. Датчики контролируют состояние оборудования, а маршрутизатор выбирает соответствующего эксперта;
  
  
• Прогнозное техническое обслуживание сокращает время простоя, продлевает срок службы оборудования и повышает производительность.
  
  
• Оптимизация цепочки поставок:
  
  
• В этом вопросе ярко показывает себя гибкость метода CoE. Маршрутизатор адаптируется к изменениям в цепочке поставок, и перенаправляет запросы экспертам, занимающимся логистикой, прогнозированием спроса или управлением поставщиками;
  
  
• Производители получают ценные знания и представления в режиме реального времени, оптимизируют запасы и сокращают затраты.

Рассмотрим некоторые последствия и преимущества метода CoE в производственной среде:

• Рост эффективности:
  
  
• Метод CoE оптимизирует операции, минимизируя ручное вмешательство. Модульные блоки эффективно взаимодействуют, устраняя узкие места;
  
  
• Производители достигают более высокой производительности, сокращения отходов и улучшения распределения ресурсов.
  
  
• Сокращение затрат:
  
  
• Модульный подход метода CoE позволяет резко сократить затраты. Вместо создания монолитных моделей, производители набирают экспертов по конкретным задачам;
  
  
• Эта экономическая эффективность отражается на прибыльности.
  
  
• Удобство потребителей:
  
  
• Метод CoE косвенно приносит пользу потребителям. Эффективное производство означает более быструю доставку и более высокое качество продукции;
  
  
• Потребители своевременно получают не имеющие дефектов товары.
  
  
• Масштабируемость:
  
  
• Метод CoE адаптируется по мере эволюции ландшафта производственной среды. Новые модули можно добавлять или заменять без переделки всей системы;
  
  
• Производители имеют возможность действовать гибко в условиях динамичного рынка.

Рассмотрим теперь некоторые проблемы, затрудняющие внедрение метода CoE:

• Противостояние новизны и прагматизма:
  
  
• Метод CoE является передовым решением, однако производителям следует оценить его практичность. Не слишком ли рано для его широкого внедрения?
  
  
• Пилотные проекты позволяют оценить реализуемость и рентабельность метода CoE.
  
  
• Сложность интеграции:
  
  
• Метод CoE требует бесшовной интеграции с существующими системами. Производителям нужны надежные API и интероперабельность;
  
  
• Ключевое значение имеет менеджмент изменений.
  
  
• Отбор экспертов:
  
  
• Выбор правильных экспертов имеет большое значение. Производителям следует оценить точность, масштабируемость и совместимость;
  
  
• Успех метода CoE зависит от курирования состава экспертов.

Внедрение метода «Состав экспертов» (Composition of Experts, CoE) станет для коммерческих организаций стратегическим шагом, особенно в сфере промышленного производства. По мере внедрения в производственных компаниях модульного ИИ, метод CoE обещает для заводов и фабрик будущее, основанное на точности, сокращении затрат и пользе для потребителей.

Дик Вейсингер (Dick Weisinger)

Источник: блог компании Formtek
https://formtek.com/blog/artificial-intelligence-composition-of-experts-coe-transforming-manufacturing-with-modular-ai/

Искусственный интеллект: Является ли методология «Состав экспертов» (CoE) прорывом в больших языковых моделях?

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 16 мая 2024 года на блоге компании Formtek.

В динамичной сфере искусственного интеллекта народилась новая методология под названием «Состав экспертов» (Composition of Experts, CoE), которая потенциально может изменить ландшафт больших языковых моделей (Large Language Models, LLM). Методология CoE отходит от традиционной монолитной модели, предлагая модульную и экономически эффективную альтернативу.

Методология CoE работает путем объединения существующих экспертных моделей в согласованное целое. Это достигается посредством выполнения двух важных шагов: выявления экспертов и создания маршрутизатора. Каждый эксперт отлично справляется с определёнными конкретными задачами, а маршрутизатор динамически выбирает наиболее подходящего эксперта для данного запроса. Это похоже на оркестр, где каждый инструмент создает уникальное звучание, из которых затем формируется гармоничная композиция. В методологии CoE аналогичным образом формируется ансамбль моделей, в результате чего получается мощная, но адаптируемая LLM-модель.

Основным исследователем методологии CoE является компания SambaNova ( https://www.nextplatform.com/2023/09/20/sambanova-tackles-generative-ai-with-new-chip-and-new-approach/ ), известная своими инновациями в оборудовании. Их недавний прорыв — решение Samba-CoE-v0.1 — демонстрирует потенциал этого подхода. Объединив пять экспертных моделей, от математики до рассуждений на основе здравого смысла, решение Samba-CoE-v0.1 сумело превзойти показатели ряда других известных решений. Примечательно, что решение SambaNova превосходит при выполнении ряда задач решения Mixtral 8x7B, Gemma-7B, Llama2-70B, Qwen-72B и Falcon-180B. Более того, это достигается за счет затрат, эквивалентных всего двум вызовам LLM-моделей с 7 миллиардами параметров.

Помимо повышения производительности, CoE обеспечивает гибкость (agility). Его модульная конструкция даёт организациям возможность точно настраивать отдельные компоненты без переобучения всей модели. Ожидается, что по мере развития технологии в будущем будут улучшаться следующие аспекты:

• Масштабируемость. Масштабирование CoE до еще более крупных моделей может открыть беспрецедентные возможности.
  
  
• Надежная маршрутизация. Расширение возможностей маршрутизатора по обработке разнообразных запросов и диалогов с большим числом вариантов.
  
  
• Более широкое внедрение: Внедрение CoE в продуктах не только SambaNova, но и других поставщиков, поскольку другие игроки изучают эту методологию.

Хотя компания SambaNova возглавляет усилия по развитию CoE, другие компании, вероятно, также последуют этому примеру. Отрасль остаётся открытой для инноваций, что способствует здоровой конкуренции.

Для широкого внедрения моделей на основе CoE потребуется время. По мере совершенствования оборудования и развития исследований, можно ожидать, что подход CoE станет более распространенным в течение следующих нескольких лет. Могут ли возникнуть гибридные модели, сочетающие CoE с другими методами? Возможно, CoE вдохновит на создание новых архитектур, сочетающих в себе экспертные модели и комплексное обучение.

Обучение моделей с триллионом параметров может сейчас стоить более 100 миллионов долларов. CoE кардинально изменяет ситуацию, позволяя достичь сопоставимой производительности примерно за 1/10 стоимости. Теперь организации смогут изучать возможности передовых методов искусственного интеллекта, не доводя себя до банкротства.

Дик Вейсингер (Dick Weisinger)

Источник: блог компании Formtek
https://formtek.com/blog/artificial-intelligence-composition-of-experts-coe-a-breakthrough-in-large-language-models/  

Искусственный интеллект: Гонка по созданию гигантских моделей естественного языка

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 10 октября 2022 года на блоге компании Formtek.

Компания OpenAI (американская компания, занимающаяся разработкой и лицензированием технологий на основе машинного обучения, см. https://openai.com/ - Н.Х.) поразила ИИ-сообщество выпуском языковой модели GPT-3 (от Generative Pre-trained Transformer 3 – «Авторегрессионная генерирующая языковая модель на архитектуре трансформер 3-го поколения», см. https://en.wikipedia.org/wiki/GPT-3 - Н.Х.), которая использовала 175 миллиардов параметров для настройки при написании коротких эссе, компьютерного кода и диалогов. 175 миллиардов - это очень большая величина, и в тот момент данное достижение казалось труднодостижимым для других исследователей. Но теперь забудьте об этом - другие исследователи сравниваются с достижениями GPT-3 и оставляют их позади.

В декабре 2021 года компания DeepMind представила языковую модель под названием Gopher (см. https://www.theverge.com/2021/12/8/22822199/large-language-models-ai-deepmind-scaling-gopher ), которая использует 280 миллиардов параметров. Затем в том же месяце компания Google представила языковую ИИ-модель, построенную на 1,6 триллионах параметров, тем самым значительно превзойдя размер модели, используемой GPT-3. Более крупные модели доказывают, что, как правило, «чем больше, тем лучше» с точки зрения диапазона и возможностей модели. Однако для достижения таких результатов также требуются дорогостоящее оборудование, длительное время обучения и огромные объёмы данных. Есть всего лишь несколько организаций, - в основном это крупные технологические компании, - которые способны принять участие в этой гонке.

Рост со временем масштабов NLP-моделей для обработки естественного языка НЛП, данные компании NVIDIA, см. https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/ (по вертикальной оси отложено количество параметров в миллиардах – Н.Х.)

Менеджер по продуктам в компании NVIDIA Пареш Харья (Paresh Kharya, https://www.linkedin.com/in/pareshkharya/ ), и руководитель программ в Microsoft Али Алви (Ali Alvi) написали в блоге NVIDIA, что «мы живем во времена, когда достижения в области искусственного интеллекта намного опережают закон Мура. Мы по-прежнему наблюдаем увеличение вычислительной мощности благодаря новым поколениям графических процессоров, взаимодействующих между собой с молниеносной скоростью. В то же время мы по-прежнему видим, что гипермасштабирование ИИ-моделей приводит к повышению их эффективности, и, похоже, конца этому не видно» ( https://www.linkedin.com/in/juliensimon/?originalSubdomain=fr ).

Главный евангелист компании HuggingFace Жюльен Саймон (Julien Simon) пишет, что «размер крупномасштабных языковых моделей увеличивался в 10 раз каждый год в течение последних нескольких лет. Это начинает походить на ещё один закон Мура». При этом, однако, Саймон поставил под сомнение полезность таких огромных моделей, говоря, что «вместо того, чтобы гоняться за моделями с триллионами параметров (делайте Ваши ставки), не лучше ли было бы для всех нас создать практичные и эффективные решения, которые все разработчики могли бы использовать для решения проблем реального мира?».

Зив Гидрон (Ziv Gidron, https://www.linkedin.com/in/ziv-gidron/?originalSubdomain=il ) отмечает, что «хотя более наличие более триллиона параметров может создать впечатление о том, что эта языковая модель была обучена на всех доступных онлайн данных, эта модель не может автоматически обновлять себя - это означает, что новая модель Google лишь настолько хороша, насколько были хороши данные, которые были её «скормлены» (какими бы обильными они ни были). Одна переменная, один новый продукт, обновление сервиса или изменение контента могут обрушить весь карточный домик и ввести в заблуждение либо дать неверные рекомендации пользователю, стремящемуся выполнить задачу. Кроме того, эти модели недружественны к мелким итерациям, и, судя по модели ценообразования GPT-3, любые такие корректировки будут сопряжены со значительными затратами».

Дик Вейсингер (Dick Weisinger)

Источник: блог компании Formtek
https://formtek.com/blog/artificial-intelligence-the-race-to-build-mamouth-natural-language-models/

Предприятия, искусственный интеллект и обработка естественного языка: Давая машинам возможность говорить с людьми

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 30 сентября 2021 года на блоге компании Formtek.

Согласно прогнозу компании IDC, к 2022 году глобальные расходы коммерческих предприятий на искусственный интеллект (ИИ) и когнитивные системы достигнут 77,6 миллиардов долларов.

Старший вице-президент компании IBM Роб Томас (Rob Thomas, https://www.linkedin.com/in/robertdthomas/ ) полагает, что «подавляющее большинство корпоративных инвестиций по-прежнему идёт на развитие трёх ключевых возможностей, которые определяют ИИ с точки зрения деловой деятельности – на автоматизацию информационных технологий и процессов, на укрепление доверия к результатам применения ИИ и на понимание делового языка. Мы считаем, что объёмы таких инвестиций будут и дальше быстро расти, поскольку клиенты ищут новые, инновационные способы стимулирования своей цифровой трансформации на основе использования гибридного облака и искусственного интеллекта» (см. https://newsroom.ibm.com/2021-05-12-Global-Data-from-IBM-Points-to-AI-Growth-as-Businesses-Strive-for-Resilience ).

Что касается языка деловой деятельности, то ключевым элементом искусственного интеллекта на предприятии является обработка естественного языка (Natural Language Processing, NLP, см. https://ru.wikipedia.org/wiki/Обработка_естественного_языка )  - приложение ИИ, позволяющее понимать, создавать, реагировать и преобразовывать тексты и речь человека. NLP включает в себя такие вещи, как взаимодействие с системами речевого ответа, чат-системами и программными помощниками, такими как Siri или Alexa. NLP-обработка включает взаимодействие без использования кодирования для создания оригинальных текстовых композиций, - как в случае «Авторегрессионной генерирующей языковой модели на архитектуре трансформер 3-го поколения» (Generative Pre-trained Transformer 3, GPT-3, см. https://ru.wikipedia.org/wiki/GPT-3 ) компании OpenAI, известной как OpenAI GPT-3 ( https://openai.com/blog/gpt-3-apps/ ). Она также охватывает такие вещи, как чтение, обобщение, тегирование / маркировка и категоризация документов.

Согласно отчёту фирмы IBM ( https://venturebeat.com/2021/05/10/one-third-of-organizations-are-using-ai-ibm-survey-finds/ ), половина развертываемых на предприятиях приложений на основе искусственного интеллекта использует обработку естественного языка. В свою очередь авторы отчёта MarketsAndMarkets ( https://www.marketsandmarkets.com/Market-Reports/healthcare-lifesciences-nlp-market-131821021.html ) ожидают, что к 2025 году рынок NLP-обработки только для здравоохранения и медико-биологических наук вырастет до 3,5 миллиардов долларов.

Директор по технологиям компании Snow Labs Дэвид Талби (David Talby, https://www.linkedin.com/in/davidtalby/ ) приводит пример (см. https://www.informationweek.com/strategic-cio/how-enterprises-are-evolving-their-nlp/a/d-id/1341107 ) того, как используется обработка естественного языка: «Средства NLP способны распознавать аббревиатуры и биомедицинские сущности. Стоящий за NLP-обработкой искусственный интеллект может извлекать важную информацию о лекарствах, а также выявлять критически-важные взаимосвязи между данными, которые могут оказаться важными для оценки состояния пациента ... Анализ всей доступной информации о пациенте позволяет немедленно выявить, что, например, у пациента появляется одышка только тогда, когда он поднимается по лестнице. Подобные наблюдения позволяют врачам лучше понять состояние пациентов, что помогает им лучше лечить болезни или расстройства».

Дик Вейсингер (Dick Weisinger)

Мой комментарий: Нужно ли говорить, какие перспективы открывают средства обработки естественного языка для архивов, хранящих огромные объёмы текстовой и речевой информации? :)

Источник: блог компании Formtek
https://formtek.com/blog/enterprises-ai-and-nlp-enabling-machines-to-converse-with-humans/ 

Обработка естественного языка: Предприятия используют искусственный интеллект для улучшения внутреннего и внешнего информационного обмена

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 23 октября 2020 года на блоге компании Formtek.

Обработка естественного языка (Natural Language Processing, NLP, см. https://ru.wikipedia.org/wiki/Обработка_естественного_языка )  - это использование алгоритмов искусственного интеллекта для обработки, понимания и создания человеческого текста и речи. Технология NLP используется для создания чат-ботов, смарт-машин и в приложениях для перевода с одного языка на другой.

Старший вице-президент компании ApexAnalytix Уолт Кристик (Walt Kristick, см. https://www.apexanalytix.com/about/executive-team/walt-kristick ) считает, что «NLP-обработка выделяет слова в их простейшей форме и выявляет шаблоны, правила и отношения между ними. Компьютерные алгоритмы используются для анализа и интерпретации письменного и устного естественного языка с тем, чтобы дать системам возможность изучать и понимать человеческие языки. Растет спрос на способность анализировать и извлекать смысл из текстовых данных, особенно в таких областях, как здравоохранение и науки о жизни (медико-биологические науки - Н.Х.)» (см. https://www.cio.com/article/3566378/nlp-poised-to-revolutionize-the-enterprise.html ).

NLP-технологии могут оказаться полезным инструментом для предприятий, поскольку они облегчают информационное взаимодействие и распространение информации. Обработка естественного языка обеспечивает более тесное взаимодействие с покупателями, клиентами и сотрудниками, и её можно использовать для извлечения информации (такой, например, как сроки и условия) из документов.

Вице-президент корпорации Microsoft по разговорному искусственному интеллекту Лили Ченг (Lili Cheng), в интервью изданию «ИТ-директор» (CIO) отметила, что «не стоит обещать слишком многое, искусственный интеллект - это не магия; однако существует множество вещей, которые инструменты обработки естественного языка могут улучшить. Вероятно, самые большие проблемы, с которыми сегодня сталкивается Ваша компания, связаны с организацией Вашей информации, получением большей отдачи от имеющихся у Вас документов, а также с предоставлением возможности руководить всем этим тем людям, у которых имеется соответствующий опыт. Ту ситуацию, в которой мы оказались в данный момент, когда множество людей работает удаленно, - мы можем улучшить с помощью искусственного интеллекта».

Дик Вейсингер (Dick Weisinger)

Источник: блог компании Formtek
https://formtek.com/blog/natural-language-processing-enterprises-tap-ai-to-improve-internal-and-external-communication/