(Окончание, предыдущую часть см. http://rusrim.blogspot.com/2023/07/3.html )
На рис.: «Шоггот с улыбающимся лицом» (Shoggoth with smiley face), вдохновлённый мемами,, созданными пользователями Twitter @TetraspaceWest и @anthrupad © Le.BLUEМем «Шоггот» (Shoggoth, см.
https://knowyourmeme.com/memes/shoggoth-with-smiley-face-artificial-intelligence ) иллюстрирует неизвестность, которая скрывается за подчищенным публичным обликом ИИ. На нем изображен один из монстров с щупальцами Лавкрафта (HP Lovecraft), к которому прикреплено дружелюбное улыбающееся лицо. Маска – это то, с чем взаимодействует публика, когда она взаимодействует, скажем, с ChatGPT - кажется «согласованной». Но мы до сих пор не можем в полной мере осознать то, что скрывается за этой маской …
Как инвестору, мне было сложно убедить других инвесторов вкладывать средства в согласование ИИ. В настоящее время венчурный капитал куда больше вознаграждает участие в гонке по развитию возможностей, чем изучение того, как эти системы работают. В 1945 году армия США провела испытание «Тринити» - первый взрыв ядерного оружия. Заранее был поднят вопрос о том, может ли бомба воспламенить атмосферу Земли и уничтожить жизнь. Ядерная физика была достаточно развита в достаточной степени, чтобы Эмиль Конопински (Emil J Konopinski) и другие участники Манхэттенского проекта смогли доказать, что таким образом практически невозможно поджечь атмосферу. А вот сегодняшние очень большие языковые модели в основном относятся к донаучному периоду. Мы всё ещё не до конца понимаем, как они работают, и не можем заранее продемонстрировать вероятные результаты.
В конце прошлого месяца более 1800 человек, включая Маска, учёного Гэри Маркуса (Gary Marcus) и соучредитель Apple Стива Возняка (Steve Wozniak), призвали к шестимесячной паузе в разработке систем, «более мощных», чем GPT-4. УИИ представляет собой серьёзную опасность для человечества, утверждалось в подписанном ими письме, повторяющем прошлые предупреждения таких людей, как покойный Стивен Хокинг (Stephen Hawking). Я также подписал его, считая его ценным первым шагом к замедлению гонки и выигрышу времени на то, чтобы сделать эти системы безопасными.
К сожалению, письмо само по себе стало предметом споров. Ряд подписей оказался сфабрикованным, а некоторые исследователи, на чьи работы были даны ссылки, заявили, о своём несогласии с письмом. Поднявшаяся шумиха выявила широкий спектр взглядов на то, как подходить к вопросу о регулировании ИИ. Многие дебаты сводятся к вопросу о том, насколько быстро может появиться УИИ, и если это произойдёт, то будет ли он действительно богоподобным или же просто «человеческого уровня».
Возьмем, к примеру, Джеффри Хинтона (Geoffrey Hinton), Йошуа Бенжио (Yoshua Bengio) и Янна Лекуна (Yann LeCun), которые совместно получили премию Тьюринга 2018 года (эквивалент Нобелевской премии в области компьютерных наук) за свою работу в области, лежащей в основе современного ИИ. Бенжио подписал открытое письмо. ЛеКун высмеял это в Твиттере и назвал людей, которые разделяют мои озабоченности, «провозвестниками конца света». Хинтон же, недавно сообщивший агентству CBS News о том, что его плановые сроки создания УИИ сократились (
https://twitter.com/JMannhart/status/1641764742137016320 ) и составляют, предположительно, менее чем пять лет, и что вымирание человечества от рук «несогласованного» ИИ «нельзя полностью исключить», оказался где-то посередине.
В заявлении основанного Тимнитом Гебру (Timnit Gebru) Исследовательского института распределенного ИИ (Distributed AI Research Institute, см.
https://www.dair-institute.org/blog/letter-statement-March2023 ) открытое письмо подвергается резкой критике и утверждается, что разговоры об экзистенциально опасном богоподобном ИИ являются « шумихой», используемая компаниями для привлечения внимания и капитала, и что «усилия по законодательно-нормативному регулированию должны быть сфокусированы на обеспечении прозрачности, подотчетности и на предотвращении практики эксплуатации труда». Это отражает раскол в ИИ-сообществе между теми, кто боится, что потенциально апокалиптический риск не принимается во внимание, и теми, кто считает эту дискуссию параноидальной и отвлекающей (
https://medium.com/@emilymenonbender/policy-makers-please-dont-fall-for-the-distractions-of-aihype-e03fa80ddbf1 ). Последние считают, что данное уводит внимание от реального, причиняемого сейчас и сегодня вреда: предвзятостей и неточностей, «встроенных» во многие ИИ-программы, используемые сегодня во всём мире.
Я считаю, что нынешний и будущий вред от ИИ не исключают друг друга и пересекаются во многих важных аспектах. Обоими следует заняться одновременно и срочно. Учитывая миллиарды долларов, которые тратят компании в этой области, это не должно быть невозможным. Я также надеюсь на то, что возможно найти больше точек соприкосновения. В недавнем выступлении Гебру (Gebru) сказал: «Попытка «построить» УИИ по своей сути небезопасны. Лучше вместо этого создавайте четко определенные системы с четко обозначенной сферой применения. Не пытайтесь создать Бога». Это созвучно тому, что утверждают многие исследователи в области «согласования ИИ».
Один из самых проблематичных аспектов в размышлениях по данной теме - это определение того, на какие прецеденты мы можем опереться. Аналогия, которая мне кажется подходящей, когда идёт речь о нормативном регулировании - это биологическая инженерия (engineering biology). Рассмотрим сначала исследования мутаций биологических вирусов, ведущих к приобретению свойств (gain-of-function research) . Этот вид деятельности подлежит строгому международному регулированию, а после инцидентов с биобезопасностью на деятельность лабораторий иногда накладывался мораторий. Здесь имеет место самая строгая форма надзора. Напротив, разработка новых лекарств регулируется государственным органом, таким как FDA в США, а новые методы лечения должны проходить серию клинических испытаний. Существуют явные различия в том, как мы регулируем, в зависимости от уровня системного риска. На мой взгляд, мы могли бы подходить к богоподобным системам УИИ так же, как к исследованиям по мутациям вирусов, в то время, как ИИ-системы с узкой сферой применения можно было бы регулировать так же, как новые лекарства.
Вот мысленный эксперимент по регулированию ИИ с использованием двух различных режимах, который я называю «Остров» (The Island). В этом сценарии эксперты, пытающиеся построить богоподобные системы УИИ, делают это в рамках высокозащищенного объекта: внутри физически изолированного корпуса с наилучшей безопасностью, которую только могут создать люди. Все прочие попытки создать богоподобный ИИ являются незаконными; и только тогда, когда будет убедительно доказана безопасность созданного ИИ, будет разрешено его коммерческое использование «за пределами острова».
Это может выглядеть как «Парк Юрского периода», однако в реальном мире существует прецедент удаления мотива получения прибыли из потенциально опасных исследований и передачи их в руки межправительственной организации. Таким образом вот уже почти 70 лет работает ЦЕРН (CERN), управляющий крупнейшей в мире лабораторией физики элементарных частиц.
Любое из этих решений потребует чрезвычайных усилий по координации между лабораториями и странами. Чтобы осуществить всё это, потребуется необычайная степень политической воли, которую нам нужно начать формировать уже сейчас. Многие крупные лаборатории ожидают в этом году поставок нового оборудования, чтобы начать обучение моделям масштаба GPT-5. Благодаря новым чипам и большему количеству денег от инвесторов, обученные в 2024 году модели будут использовать в 100 раз больше вычислительных ресурсов, чем крупнейшие модели сегодня. Мы увидим много новых проявляющихся по ходу работы возможностей. Это означает, что в течение 2023 года у правительств есть «окно» для того, чтобы взять ситуацию под контроль, регулируя доступ к передовому оборудованию.
В 2012 году у моей младшей сестры Розмари, одного из самых добрых и самоотверженных людей, которых я когда-либо знал, была обнаружена опухоль головного мозга. У нее была агрессивная форма рака, для которой способ лечения неизвестен, однако она стремилась продолжать работать врачом так долго, как могла. Моя семья и я отчаянно надеялись, что новое спасительное лечение может появиться вовремя. Она умерла в 2015 году.
Я понимаю, почему люди хотят верить. Евангелисты богоподобного ИИ сосредотачивают внимание на потенциале сверхчеловеческого интеллекта, способного решать наши самые насущные проблемы – такие, как рак, изменение климата, бедность.
Но даже и с учётом этого, риски продолжения работ без надлежащего стратегического управления слишком высоки. Поразительно, что Ян Лейке (Jan Leike), руководитель группы по согласованию ИИ в OpenAI, написал в Твиттере 17 марта: «Прежде чем мы приступим к глубокой интеграции LLM-моделей во все сферы экономики, не могли бы мы остановиться и подумать, разумно ли это делать? Это довольно незрелая технология, и мы не понимаем, как она работает. Если мы не будем осторожны, мы обречём себя на множество взаимосвязанных провалов». Он сделал это предупреждение всего за несколько дней до того, как компания OpenAI объявила о подключении GPT-4 к огромному количеству инструментов, включая Slack и Zapier.
К сожалению, я думаю, что гонка продолжится. Скорее всего, потребуется масштабный инцидент неправомерного использования - катастрофа - чтобы разбудить общественность и правительства. Я лично планирую продолжать инвестировать в стартапы в области ИИ, которые обращаю повышенное внимание согласованию ИИ и безопасности либо разрабатывают ИИ узкого назначения. Но я больше не могу инвестировать в тех, кто ещё больше способствует этой опасной гонке. Как мелкий акционер Anthropic, который проводит исследования, аналогичные DeepMind и OpenAI, я столкнулся с этими вопросами. Компания вложила значительные средства в согласование: 42% ее персонала работали в этой области в 2021 году - однако в конечном итоге она увязла в той же гонке. По этой причине я поддержал бы существенное законодательно-нормативное регулирование со стороны правительств и практический план по преобразованию этих компаний в организацию, подобную ЦЕРН.
Мы не бессильны, и можем замедлить эту гонку. Если Вы работаете в государственных органах, то проведите слушания и спросите лидеров ИИ под присягой об их сроках разработки богоподобного УИИ. Запросите их представить полный отчет о проблемах безопасности, которые они выявили при тестировании текущих моделей. Попросите их представить доказательства того, что они понимают, как работают эти системы, и подтверждения их уверенности в достижении согласованности ИИ. Приглашайте на такие слушания независимых экспертов для перекрестного допроса представителей этих лабораторий.
Если вы работаете в крупной лаборатории, которая стремится создать богоподобный ИИ, расспросите своё руководство обо всех этих проблемах. Это особенно важно, если Вы работаете в одной из ведущих лабораторий. Для этих компаний было бы очень полезно более тесно координировать или даже объединить свои усилия. Устав компании OpenAI выражает готовность «объединяться и помогать». Я считаю, что сейчас для этого самое время. Лидер крупной лаборатории, который выполняет роль государственного деятеля и публично направляет нас на более безопасный путь, будет гораздо более уважаемой фигурой в мире, чем тот, кто ведет нас к краю пропасти.
До сих пор люди оставались необходимой частью процесса обучения, который характеризует прогресс в области ИИ. В какой-то момент кто-нибудь придумает, как устранить нас из цикла, создав богоподобный ИИ, способный к бесконечному самосовершенствованию. К тому времени может быть слишком поздно.
Айан Хогарт (Ian Hogarth)Источник: сайт издания Financial Times
https://www.ft.com/content/03895dc4-a3b7-481e-95cc-336a524f2ac2 https://longreads.com/2023/04/14/we-must-slow-down-the-race-to-god-like-ai/
