Перечень открытых проблем и направлений междисциплинарных исследований в области объяснимого искусственного интеллекта

30 октября 2023 года на сайте Arxiv.org была выложена 33-страницная статья группы из 19 авторов под названием «Объяснимый искусственный интеллект (XAI) 2.0: Манифест (перечень) открытых проблем и направлений междисциплинарных исследований» (Explainable Artificial Intelligence (XAI) 2.0: A Manifesto of Open Challenges and Interdisciplinary Research Directions), см. https://arxiv.org/abs/2310.19775 (прямая ссылка на PDF-файл: https://arxiv.org/pdf/2310.19775.pdf ).

Данная статья привлекла внимание специалистов, в том числе участников международного проекта InterPARES, также много внимания уделяющего на нынешнем его этапе вопросу объяснимости искусственного интеллекта (ИИ). Оценивая данную публикацию, руководитель проекта InterPARES Лючиана Дюранти (Luciana Duranti) сказала следующее:

«Очень интересно! Мне нравится, что они с самого начала указывают на то, что объяснимости ИИ недостаточно для возможности ему доверять.

И ещё кое-что. У кого-то может возникнуть соблазн прочитать только тот перечень в конце статьи, в котором резюмируются предложения авторов. Пожалуйста, не надо так делать. В тексте так много идей, имеющих отношение к нашему исследовательскому проекту, что не следует пропускать ни одного из разделов. Основной текст занимает всего 19 страниц из 33, и все их стоит прочитать. :)»

В аннотации на статью отмечается:

«Поскольку системы, основанные на непрозрачном искусственном интеллекте (ИИ), продолжают процветать в различных реальных приложениях, понимание этих моделей, представляющих собой «чёрные ящики», стало задачей первостепенной важности. В ответ на эту потребность возникло направление «объяснимого ИИ» (Explainable AI, XAI) как область исследований, дающая практическую и этическую отдачу в различных областях.

В настоящей статье не только привлекается внимание к достижениям в области объяснимого ИИ и их применениям в реальных сценариях, но также рассматриваются текущие проблемы с объяснимостью ИИ, при этом подчеркивается необходимость более широких взглядов и совместных усилий. Для выявления открытых проблем мы собрали экспертов из разных областей, стремясь синхронизировать программы исследований и ускорить практическое применение объяснимого ИИ.

Способствуя коллективному обсуждению и междисциплинарному сотрудничеству, мы стремимся развивать область объяснимого ИИ, внося тем самым вклад в его дальнейшие успехи. Наша цель заключается в том, чтобы сформулировать всесторонние предложения по развитию объяснимого ИИ. Для достижения этой цели мы подготовили перечень, включающий 27 открытых проблем, разбитых на девять категорий. Эти проблемы отражают сложности и нюансы объяснимого ИИ и предлагают дорожную карту для будущих исследований. Для каждой проблемы мы отмечаем перспективные направления исследований, в надежде использовать мощь коллективного разума заинтересованных сторон.»

Содержание статьи следующее:

1. Введение
2. Успехи исследований в области объяснимого ИИ и их приложения
3. Проблемы и направления исследований
4. Новый перечень
Рекомендации

Высокоуровневая структура проблем, отражённых в «Перечне»

Упомянутые девять высокоуровневых категорий следующие:

• Создание объяснений для новых типов ИИ: Создание объяснений для порождающих (генеративных моделей) (например, для больших языковых LLM-моделей) и алгоритмов обучения на основе понятий (concept-based learning algorithms).
  
  Мой комментарий: В последнем случае речь идёт о моделях машинного обучения, которые сначала обучаются представлению предметной области в терминах понятных человеку понятий, а затем используют его для прогнозирования (см. https://arxiv.org/pdf/2012.02898.pdf ).
  
  
• Совершенствование (и усиление) существующих методов объяснимого ИИ, чтобы расширить и улучшить методы атрибуции, избавиться от аномалий в основанных на синтезе объяснениях (synthesis-based explanations) и создавать робастные объяснения.
  
  
• Оценка методов объяснимого ИИ и порождаемых ими объяснений с целью облегчить оценку объяснений человеком, создать концептуальную структуру оценки методов объяснимого ИИ и преодолеть ограничения исследований с участием людей.
  
  
• Разъяснение использования понятий, используемых в объяснимом ИИ: Разъяснение основных понятий объяснимого ИИ и их связи с надежностью и доверенностью, а также поиск полезной метрики понимания.
  
  
• Поддержка многомерности объяснимости: Создание многогранные объяснений и способствование междисциплинарным усилиям в области объяснимого ИИ.
  
  
• Поддержка человеко-ориентированности объяснений: Создание понятных человеку объяснений, способствование объяснимости посредством основанных на понятиях объяснениях, решение вопроса с оторванными от реальности объяснение, и раскрытие причинно-следственных связей для создания объяснений, на основе которых могут предприниматься действия.
  
  
• Настройка методов объяснимого ИИ и создаваемых ими объяснений: Адаптация объяснений к потребностям различных заинтересованных сторон, предметным областям и целям.
  
  
• Смягчение негативного воздействия объяснимого ИИ: Адаптация объяснений к условиям и потребностям различных заинтересованных сторон, разработка критериев фальсифицируемости объяснений и защита объяснений от злоупотреблений со стороны злонамеренных людей или сверхразумных агентов.
  
  
• Улучшение социального воздействия объяснимости ИИ: Облегчение атрибуции происхождения сгенерированных искусственным интеллектом данных и выявление плагиата, поддержка «права быть забытым» и решение проблемы дисбаланса сил между отдельными людьми и компаниями.

Источник: сайт Arxiv.org
https://arxiv.org/abs/2310.19775
https://arxiv.org/pdf/2310.19775.pdf