Мы всё чаще обнаруживаем, что искусственный интеллект способен улучшить нашу жизнь посредством автоматизации, «умного» принятия решений, решения сложных проблем и генерирования неожиданных идей.
Это потенциальная польза, которую может принести искусственный интеллект, - но есть и обратная сторона, связанная с тем, что ИИ также может использоваться злонамеренно. Хотя ИИ на удивление хорош для поиска неожиданных решений, он столь же хорош и для выявления и эксплуатации уязвимостей в существующих системах.
Криптограф и исследователь в области безопасности Брюс Шнайер (Bruce Schneier, https://en.wikipedia.org/wiki/Bruce_Schneier ) предупреждает, что «системы искусственного интеллекта сами станут хакерами: они будут находить уязвимости в разнообразных социальных, экономических и политических системах, а затем эксплуатировать их с беспрецедентной скоростью, масштабом и размахом. Мы рискуем тем, что в будущем ИИ-системы будут взламывать другие ИИ-системы, а люди окажутся лишь немного большим, чем побочным ущербом» (см. https://www.belfercenter.org/publication/coming-ai-hackers ).
Искусственный интеллект обычно применяется для решения задач оптимизации, таких, например, как максимизация прибыли или минимизация ошибки распознавания болезни по медицинским изображениям. Но иногда решения бывают неожиданными, ввиду того, что ИИ может выявлять и использовать лазейки и проблемы в архитектуре системы, позволяющие достигать оптимальных результатов.
Шнайер пишет, что «ИИ может втянуться в нечто, что называется взломом вследствие ошибок при спецификации целевой функции / функции вознаграждения (reward hacking). Поскольку ИИ решает проблемы иначе, чем это делают люди, он обязательно будет находить решения, которых мы, люди, возможно, никогда бы даже не предвидели, - и некоторые из таких решений могут пойти в разрез с намерениями системы. Это возможно потому, что ИИ не думает с точки зрения последствий, контекста, норм и ценностей, которые мы, люди, разделяем и принимаем как должное. Такой взлом вследствие ошибок при спецификации целевой функции означает достижение поставленной цели, но таким образом, который проектировщики ИИ не хотели и не планировали».
Шнайер заключает, что «пройдут годы, прежде чем у нас появятся полностью автономные возможности для ИИ-кибератак, однако ИИ-технологии уже трансформируют характер кибератак».
Дик Вейсингер (Dick Weisinger)
Источник: блог компании Formtek
https://formtek.com/blog/artificial-intelligence-ai-as-master-hacker/
Комментариев нет:
Отправить комментарий