В последнее время специалисты часто обсуждают слабости и проблемы широкодоступных инструментов искусственного интеллекта. Так, в посте, опубликованном 1 мая 2025 года в социальной сети LinkedIn, специалист по управлению талантами из Люксембурга Наварун Бхаттачарья (Navarun Bhattacharya) сообщил (см. https://www.linkedin.com/feed/update/urn:li:activity:7323353602620653572 ):
«На прошлой неделе сайт TechCrunch опубликовал действительно интересную заметку (см. https://techcrunch.com/2024/07/24/model-collapse-scientists-warn-against-letting-ai-eat-its-own-tail/ ), основанную на опубликованной в журнале Nature, статье, в которой показывается, что современные модели машинного обучения принципиально уязвимы для синдрома, который они называют «коллапсом модели» (model collapse).
«Коллапс модели» возникает, когда большие языковые модели (LLM) неизбирательно обучаются на «синтетических» данных, порождённых другими моделями. В настоящее время (это мой источник надежды) это дегенеративный процесс, при котором модели со временем забывают истинное распределение данных …»
«Меня восхищает наше удивление, когда вследствие того, что мы спроектировали машины так, чтобы они действовали как люди, все их действия оказались «как у людей», а не только «хорошие».
Возьмём, например, так называемые «галлюцинации» у больших языковых моделей (LLM) - когда то же самое делают люди, это называется «выдумыванием чего-то» или «неправильным пониманием чего-то». Здесь можно привести один замечательный пример, с которым все мы сталкиваемся 1000 раз на дню - в следующий раз, когда Вы пожмёте кому-то руку, напомните себе, что Вам сейчас не нужно занимать чем-либо свою «оружейную» руку, чтобы продемонстрировать отсутствие у Вас враждебных намерений. Мы поступаем так, потому что научились синтетическому поведению от всех других окружающих нас людей; наша модель коллапсировала, мы стали страннее и глупее, и единственный момент, когда мы это осознаем - это когда мы попадаем в среду другой культуры, где люди делают что-то иначе по сравнению с нами - и тогда мы думаем, что это «они» страннее и глупее. LLM-модели - просто еще одни такие «они».
Если задуматься, то «коллапс модели» действительно произошел в тот момент, когда мы перешли от привычной полностью детерминированной парадигмы программирования в мир LLM-моделей - который всё ещё детерминирован, но имеет столь высокий уровень сложности, что мы не всегда можем предсказать их поведение, поэтому мы вполне могли бы назвать его «комплексным».»
Карл Мелроуз (Karl Melrose)
Источник: сайт LinkedIn
https://www.linkedin.com/feed/update/urn:li:activity:7323353602620653572
Комментариев нет:
Отправить комментарий