«Авторегрессионная генерирующая языковая модель на архитектуре трансформер 3-го поколения» (Generative Pre-trained Transformer 3, GPT-3, см. https://ru.wikipedia.org/wiki/GPT-3 ) получила восторженно-удивлённые отзывы, когда компания OpenAI (американская компания, занимающаяся разработкой и лицензированием технологий на основе машинного обучения, см. https://ru.wikipedia.org/wiki/OpenAI ) впервые объявила о ней в конце мая 2020 года. GPT-3 - это третье поколение моделей обработки естественного языка, разработанное OpenAI, исследовательской организацией в сфере искусственного интеллекта, которая первоначально финансировалась Илоном Маском (Elon Musk).
Модель GPT-3 описывалась (см. https://dailynous.com/2020/07/30/philosophers-gpt-3/#chalmers ) как «одна из самых интересных и важных из когда-либо созданных систем искусственного интеллекта». Обученный на 45 терабайтах текстовых данных, GPT-3 может составлять эссе и писать компьютерные программы. Эта способность ошеломила многих и заставила переосмыслить возможности машинного интеллекта.
Всплеск ажиотажа по поводу того, как люди будут использовать GPT-3, несколько поутих, когда в конце сентября 2020 года было объявлено, что компания Microsoft получила привилегированный доступ к исходному коду GPT-3. Другие заинтересованные стороны могут получить лицензию на использование GPT-3, но не имеют прямого доступа к исходному коду. Как следствие, ряд групп проявил большой интерес к данному направлению исследований и попытался воспроизвести возможности GPT-3.
В начале июня 2021 года Пекинская академия искусственного интеллекта (Beijing Academy for AI, BAAI) объявила о «сверхмасштабной модели интеллекта». Китайская система, получившая название Wu Dao 2.0 ( https://towardsdatascience.com/gpt-3-scared-you-meet-wu-dao-2-0-a-monster-of-1-75-trillion-parameters-832cd83db484 ) в 10 раз масштабнее, чем GPT-3 компании OpenAI, и не только может формировать тексты на естественном языке (на китайском и английском языках), но также способна генерировать изображения и голос.
В США группа EleutherAI ( https://www.eleuther.ai/ ) пытается повторить успех GPT-3 на основе подхода с открытым исходным кодом. EleutherAI построила модель, которую назвали GPT-J-6B, и возможности которой почти не уступает тому, что может сделать GPT-3.
Как говорит один из основателей EleutherAI Коннор Лихи (Connor Leahy, https://www.linkedin.com/in/connor-j-leahy/ ), «мы полагаем, что, вероятно, будет справедливо сказать, что в настоящее время это с большим запасом лучшая из существующих авторегрессионная языковая модель с открытым исходным кодом» (см. https://venturebeat.com/2021/06/09/eleutherai-claims-new-nlp-model-approaches-gpt-3-level-performance/ ).
Китайский исследователь в области искусственного интеллекта Блейк Янь (Blake Yan) считает, что «эти сложные модели, обученные на гигантских наборах данных, требуют лишь небольшого количества новых данных при использовании для конкретных операций, потому что они, как и люди, могут передавать уже изученные знания в новые задачи. Крупномасштабные предварительно обученные модели – это сегодня один из лучших коротких путей к искусственному интеллекту общего плана». (см. https://www.techradar.com/news/china-outstrips-gpt-3-with-even-more-ambitious-ai-language-model ).
Дик Вейсингер (Dick Weisinger)
Источник: блог компании Formtek
https://formtek.com/blog/gpt-3-competition-rapid-development-of-massive-natural-language-systems/
Комментариев нет:
Отправить комментарий