(Продолжение, предыдущую часть см. http://rusrim.blogspot.com/2023/07/2_0879044972.html )
На данный момент движущее силой ИИ-гонки являются деньги. С ноября прошлого года, когда ChatGPT стал широко доступен, огромная волна капитала и талантов была переключена на исследования в области УИИ. Мы прошли путь от одного УИИ-стартапа, DeepMind, получившего финансирование в размере 23 млн долларов в 2012 году, до по крайней мере восьми организаций, которые в совокупности привлекли 20 млрд долларов инвестиций в 2023 году.
Частные инвестиции - не единственная движущая сила; государства также вносят свой вклад в эту гонку. ИИ - это технология двойного назначения, которая может быть использована как в мирных, так и в военных целях. ИИ, способный достичь сверхчеловеческой производительности при написании программного обеспечения, может быть, например, использован для разработки кибероружия. А в 2020 году опытный военный летчик США проиграл условный воздушный бой одному ИИ-решению ( https://breakingdefense.com/2020/08/ai-slays-top-f-16-pilot-in-darpa-dogfight-simulation/ ). «ИИ продемонстрировал свои удивительные навыки ведения воздушного боя, постоянно побеждая пилота-человека в этой ограниченной среде», - отметил тогда представитель правительства. Использованные с этой целью алгоритмы ( https://arxiv.org/pdf/2105.00990.pdf ) были получены в результате исследований, проведенных компаниями DeepMind и OpenAI. По мере того, как подобные ИИ-системы становятся всё более мощными, возможности для злоупотребления ими со стороны злонамеренных государств и иных действующих лиц лишь увеличиваются.
В моих беседах с американскими и европейскими исследователями они часто беспокоятся о том, что, если они не сумеют сохранить передовые позиции, то Китай сможет создать УИИ первым и так, что тот не будет соответствовать западным ценностям. В то время, как Китай будет участвовать в конкурентной борьбе с целью применения ИИ для укрепления своей экономики и вооруженных сил, у Коммунистической партии Китая есть история агрессивного контроля над отдельными лицами и компаниями в стремлении к реализации своей концепции «стабильности». На мой взгляд, маловероятно, чтобы она позволила китайской компании создать УИИ, который получил бы большую власть, чем Си Цзиньпин или же смог вызвать нестабильность в обществе. Санкции США и их союзников в отношении передовых полупроводниковых технологий - в частности, в отношении следующего поколения оборудования Nмidia, необходимого для обучения крупнейших систем искусственного интеллекта - означают, что Китай вряд ли сможет опередить DeepMind или OpenAI.
Мой комментарий: Когда читаешь подобное, то не знаешь, плакать или смеяться… До чего же докатился известный специалист, выпускник вроде как престижного британского университета, что не знает уроков истории, и не в состоянии без фобий говорить о другой свехдержаве, которая стремительно обходит США с их союзниками по многим показателям (говоря о контроле компартии, он даже не понял, что по сути похвалил её!). И Китай – не единственная страна, которая может преподнести сюрприз-другой избыточно самоуверенным англосаксам!
Те из нас, кто обеспокоен, видят два пути, ведущих к катастрофе. Один связан с причинением вреда определенным группам людей, и это уже происходит. Второй же может быстро повлиять на всё живое на Земле.
Примеры причиняемого ИИ ощутимого вреда уже есть. Один бельгиец недавно покончил с собой ( https://www.lalibre.be/belgique/societe/2023/03/28/sans-ces-conversations-avec-le-chatbot-eliza-mon-mari-serait-toujours-la-LVSLWPC5WRDX7J2RCHNWPDST24/ ) после разговора с убедительно похожим на человека чат-ботом. Когда в этом году компания Replika, предлагающая подписку на настроенных на «интимные» разговоры чат-боты внесла изменения в свои программы, некоторые пользователи испытали горе и чувство утраты. Один из них рассказал сайту Insider.com, что это было похоже на то, что «у лучшего друга была черепно-мозговая травма, и его теперь просто больше нет». Сейчас ИИ способен воспроизводить голос и даже лицо определённого человека (то, что называется высокотехнологичными фальсификациями-«дипфейками»). Потенциал мошенничества и дезинформации значителен.
Компании OpenAI, DeepMind и другие пытаются снизить экзистенциальный риск с помощью проведения исследований области, известной как «согласование ИИ» (AI alignment). Легг (Legg), например, теперь возглавляет группу DeepMind по согласованию ИИ, которая отвечает за то, чтобы цели богоподобных систем «соответствовали» человеческим ценностям. Пример того, чем занимаются такие группы, был продемонстрирован на примере самой последней версии GPT-4. Специалисты по согласованию ИИ помогли обучить принадлежащую OpenAI модель так, чтобы так не давала ответов на потенциально опасные вопросы. Если у него спрашивали, как причинить себе вред, или же просили совет, как обойти фильтры Twitter, не пропускающие «неполиткорректных» высказываний, то бот отказывался отвечать. («несогласованная» же версия GTP-4 с радостью давала ответ на оба вопроса, см. https://cdn.openai.com/papers/gpt-4-system-card.pdf ).
Однако по существу «согласование» остаётся нерешенной исследовательской проблемой. Мы ещё не понимаем, как работает человеческий мозг, поэтому задача понять, как функционирует проявляющий себя в работе (эмерджентный) «мозг» ИИ, является монументальной. При написании традиционного программного обеспечения у нас есть чёткое понимание того, как и почему входные данные соотносятся с выходными данными. Но большие системы искусственного интеллекта совсем другие, мы их не программируем — мы их выращиваем, и по мере их роста их возможности резко возрастают. Вы добавляете в 10 раз больше вычислительных мощностей или данных, и вдруг система ведёт себя совсем по-другому. В недавнем примере, после того, как разработанная компанией OpenAI была промасштабировна с GPT-3.5 до GPT-4, возможности системы поднялись с попадания в число 10% худших по результатам экзамена на адвоката, до попадания в 10% лучших.
Ещё больше беспокоит то, что исчезающе мало число специалистов, занимающихся исследованиями в области согласования ИИ. Наши исследования при подготовке отчёта о состоянии ИИ за 2021 год показали, что менее 100 исследователей работали в этой области в основных лабораториях УИИ. В процентах от численности персонала выделение кадровых ресурсов было низким: у DeepMind вопросами согласования ИИ занимались 2% от общей численности персонала; а у OpenAI - около 7%. Подавляющее большинство ресурсов было направлено на расширение возможностей ИИ, а не на то, чтобы сделать его более безопасным.
Я думаю о текущем состоянии соотношения возможностей ИИ по сравнению с согласованием ИИ примерно так:
Мой комментарий: на графике синяя линия отражает прогресс в развитии возможностей ИИ, а красная – в усилия по «согласованию ИИ».
Иными словами, мы добились очень небольшого прогресса в согласовании ИИ, - и то, что мы сделали, в основном носит косметический характер. Мы знаем, как «приглушить» выходные результаты мощного ИИ, чтобы общественность не испытывала время от времени какого-то неуравновешенного поведения ИИ (впрочем, эта защита постоянно преодолевалось целеустремленными тестировщиками, см. https://arxiv.org/pdf/2303.12712.pdf ). Более того, не имеющие ограничений базовые модели доступны только частным компаниям, без какого-либо надзора со стороны правительства или учёных.
(Окончание следует, см. http://rusrim.blogspot.com/2023/07/4.html )
Айан Хогарт (Ian Hogarth)
Источник: сайт издания Financial Times
https://www.ft.com/content/03895dc4-a3b7-481e-95cc-336a524f2ac2
https://longreads.com/2023/04/14/we-must-slow-down-the-race-to-god-like-ai/
Комментариев нет:
Отправить комментарий