Мусор на входе - мусор на выходе (Garbage in – Garbage out, GIGO). Согласно этому принципу, если Вы принимаете свои решения на основе неверной информации, то эти решения, скорее всего, также будут в равной степени ошибочными. Это положение особенно верно в таких областях, как аналитика данных и искусственный интеллект. Из него также следует, что результатами аналитики и искусственного интеллекта можно манипулировать, соответствующим образом воздействуя на исходные данные, подаваемые на вход алгоритмов.
Именно по этой причине провалилась первоначальная попытка компании Microsoft создать чат-бот (см. https://www.techrepublic.com/article/why-microsofts-tay-ai-bot-went-wrong/ ). Недобросовестные пользователи «скармливали» чат-боту расистскую пропаганду, которую алгоритм уловил в процессе обучения. Вскоре чат-бот начал выдавать такие же расистские комментарии.
Руководитель лаборатории кибербезопасности в Университете Луисвилля Роман Ямпольский (Roman Yampolskiy, см. https://en.wikipedia.org/wiki/Roman_Yampolskiy ) отмечает, что «любая система на основе искусственного интеллекта, обучающаяся на плохих примерах, может в итоге оказаться социально неприемлемой - как человек, воспитанный волками» ( https://www.techrepublic.com/article/why-microsofts-tay-ai-bot-went-wrong/ ).
Группа исследователей из школы бизнеса имени Роберта Смита (Robert H. Smith School of Business) при Университете Мэриленда провела исследования того, в какой степени можно манипулировать искусственным интеллектом или обманывать его. Предметом их исследования стали заявки, подаваемые в патентное ведомство США, которое широко использует алгоритмы искусственного интеллекта для поиска уже имеющихся заявок и патентов, похожих на поданные.
Чтобы убедить алгоритм искусственного интеллекта в новизне представленной на патентование идеи, в заявках сейчас часто используются необычный язык и выражения; в них часто включаются новые составные слова, пишущиеся через дефис, и не приводятся ссылки на аналогичные заявке существующие патенты. Это значительно усложняет алгоритму поиск взаимосвязанных патентов.
Исследователи обнаружили, что «хотя для алгоритмов машинного обучения теоретически возможно постоянно обучаться и принимать во внимание способы, при помощи которых заявители пытаются манипулировать алгоритмом, однако имеющаяся у подателей заявок на патенты возможность динамически обновлять свои стратегии написания заявок делает практически невозможным обучение алгоритма машинного обучения таким образом, чтобы полностью устранять последствия такого поведения заявителей».
Дик Вейсингер (Dick Weisinger)
Источник: блог компании Formtek
https://mc.ai/artificial-intelligence-manipulating-data-to-fool-algorithms-formtek-blog/
https://formtek.com/blog/artificial-intelligence-manipulating-data-to-fool-algorithms/
Комментариев нет:
Отправить комментарий