Большие языковые модели (large language models, LLM) - это модели машинного обучения, которые могут выполнять различные задачи обработки естественного языка, такие как генерация текста, подготовка ответов на вопросы и перевод на другие языки. Их обучают на огромных объемах текстовых данных (в основном взятых из Интернета), с целью изучения закономерностей и взаимосвязей в человеческом языке. Среди примеров больших языковых моделей можно назвать GPT-3.5 и GPT-4, используемые в интеллектуальном чат-боте ChatGPT, модели LLaMa и PaLM, используемые в Google Bard, а также BLOOM, Ernie 3.0 Titan и Claude.
Эти модели, однако, не только потребляют веб-данные, но и влияют на них. Согласно недавно опубликованным отчётам, на некоторых известных веб-сайтах, таких как Wikipedia и Stack Overflow, наблюдается снижение веб-трафика вследствие использования LLM-моделей. Причина в том, что LLM-модели способны создавать высококачественный контент, имитирующий стиль и тон этих веб-сайтов, что делает сами сайты менее привлекательными и необходимыми для пользователей. Более того, LLM-модели также могут загрязнять веб-данные собственным контентом, который может оказаться неточным или предвзятым.
Это бросает вызов будущему бесплатных онлайн-данных в мире искусственного интеллекта. Каким образом нам обеспечивать надежность и многообразие веб-данных? Как мы можем помешать LLM-моделям монополизировать веб-контент? Как сбалансировать преимущества и риски LLM-моделей для разных заинтересованных сторон?
Вот некоторые возможные решения:
- Разработка этических и правовых рамок для использования LLM-моделей и порождённого их основе контента;
- Создание механизмов контроля качества веб-данных, таких как системы верификации, модерации и обратной связи (потрясающе наивное предложение, ведь неизбежно массовой верификацией контента, порождённого одними LLM-моделями, станут заниматься другие (а может, и те же самые) LLM-модели! – Н.Х.);
- Поощрение сотрудничества и конкуренции между LLM-моделями и творцами-людьми, например, в виде совместного творчества, экспертной оценки (реферирования) друг друга и схем вознаграждения;
- Осведомление пользователей и потребителей об источниках и ограничениях LLM-моделей и создаваемого ими контента.
Большие языковые модели - это мощные инструменты, способные расширить наши возможности и приложения для обработки естественного языка. Однако они также оказывают существенное влияние на веб-данные, на которые они полагаются и которые сами производят. Нам необходимо осознавать эти последствия и принимать меры к тому, чтобы Интернет оставался богатым и заслуживающим доверия источником информации и знаний.
Дик Вейсингер (Dick Weisinger)
Источник: блог компании Formtek
https://formtek.com/blog/large-language-models-are-eating-up-the-web/
Комментариев нет:
Отправить комментарий