воскресенье, 20 августа 2023 г.

Искусственный интеллект: «Срезание углов» в нейронных сетях может приводить к сбоям

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 20 июля 2023 года на блоге компании Formtek.

За последнее десятилетие в сфере искусственного интеллекта (ИИ) был достигнут огромный прогресс, и теперь ИИ используется в таких приложениях, как беспилотные автомобили и медицинская диагностика. Однако вследствие недостаточной «объяснимости» люди не спешили доверять или передавать управление ИИ-алгоритмам.

Результаты совместного исследования, проведенного Чикагским и Йоркским университетами, дают больше информации о том, почему опасения по поводу ИИ могут быть оправданными, особенно в отношении критически-важных приложений. Исследование показало, что нейронные сети можно научить «видеть», однако то, что и как они видят, очень сильно отличается от того, как человек обрабатывает визуальную информацию.

В ходе исследования были созданы «Франкенштейн-образы», которые люди сразу определили бы как проблематичные, но которые нейронная сеть может легко идентифицировать.


Рис. из статьи Николаса Бейкера (Nicholas Baker) и Джеймса Элдера (James H. Elder) в журнале iScience (том 25, вып. 9, сентябрь 2002 г., полный текст доступен на сайте ScienceDirect, https://www.sciencedirect.com/science/article/pii/S2589004222011853 )

Профессор Йоркского университета Джеймс Элдер (James Elder, https://www.elderlab.yorku.ca/jelder/ ) отмечает, что «Франкенштейн-образы» - это просто объекты, которые были разобраны на части и снова собраны неправильным образом. В результате у них есть все нужные локальные признаки, но в неправильных местах... Модели на основе нейронных сетей склонны «срезать углы» при решении сложных задач распознавания. Хотя эти упрощённые подходы во многих случаях могут работать, они могут оказаться опасны в некоторых реальных ИИ-приложениях, над которыми мы сейчас работаем с нашими отраслевыми и государственными партнерами» ( https://techxplore.com/news/2022-09-highlights-ai-potentially-dangerous-shortcuts.html ).

Элдер говорит, что «наши результаты объясняют, почему модели глубокого ИИ при определенных условиях терпят неудачу; и указывают на необходимость рассмотрения задач, выходящих за рамки распознавания объектов, чтобы понять ход обработки визуальной информации в мозгу человека. Мы предполагаем, что для того, чтобы соответствовать настраиваемой чувствительности человека, сети должны быть обучены решать более широкий спектр целевых задач за рамками распознавания категорий»  ( https://www.yorku.ca/news/2022/09/16/study-even-smartest-ai-models-dont-match-human-visual-processing/ ).

Дик Вейсингер (Dick Weisinger)

Мой комментарий: Я отношусь к числу тех, кто считает, что различие способов функционирования человеческого и искусственного интеллекта – это на самом деле хорошо. С одной стороны, мы при этом не ставим ненужных ограничений на ИИ, а с другой – если ИИ будет думать не так, как человек, то будет меньше и вероятность того, что человек окажется ненужным (и, наоборот, будут выше шансы на эффективное и продуктивное сотрудничество человека и машины).

Безусловно, нужно понимать риски, связанные с отличием ИИ от человеческого мышления (сохраняя при этом объективность и не пытаясь нагонять панику); но одновременно нужно осознавать и потенциальную выгоду, связанную с таким отличием.

Источник: блог компании Formtek
https://formtek.com/blog/artificial-intelligence-neural-network-short-cuts-can-lead-to-failures/

Комментариев нет:

Отправить комментарий