Объяснимый искусственный интеллект (Explainable AI, XAI) - это приложение искусственного интеллекта, которое выдаёт результаты, включающие обоснование того, как было достигнуто решение. Ранние алгоритмы искусственного интеллекта, особенно в области машинного обучения и нейронных сетей, часто могли давать поразительно точные результаты, но не позволяли отследить шаги, сделанные для достижения решения. Без полного понимания процесса, методология ИИ-алгоритма классифицируется как «черный ящик», в результате чего встаёт вопрос о доверии. Для критически важных для миссии организации приложений и для приложений, от которых может зависеть жизнь человека, полагаться на решения, выдаваемые «чёрным ящиком», может быть рискованно.
Среди причин важности объяснимого ИИ можно назвать следующие:
- Люди могут быть уверены, что предположения, рассуждения и данные, использованные для получения решения, корректны;
- Методология должна быть объяснимой для того, чтобы соответствовать законодательно-нормативным требованиям;
- Прозрачность позволит наблюдать за алгоритмом и удалить любые связанные с этикой неосознанные предубеждения или неправильные данные, которые влияют на результаты;
- Понимание решений и используемых алгоритмом рассуждений может помочь людям в анализе решений для подобных проблем.
Директор по технологиям и соучредитель компании PubNub Стивен Блюм (Stephen Blum, https://www.linkedin.com/in/stephenlb/ ) говорит, что «для таких мелких вещей, как чат-боты на основе ИИ или анализ настроений в социальных сетях, не так уж важно. работает ли ИИ-система как «чёрный ящик». Однако для вариантов использования, имеющим большое воздействие на людей – таких, как автономные транспортные средства, аэронавигация и дроны, военные приложения - способность понимать процесс принятия решений имеет критически-важное для выполнения миссии значение. Поскольку мы все больше и больше полагаемся на ИИ в нашей повседневной жизни, нам необходимо понимать его «мыслительный процесс» и вносить изменения и улучшения с течением времени» (см. https://enterprisersproject.com/article/2019/5/what-explainable-ai ).
Профессор Университета Карнеги-Меллона Мариос Саввидес (Marios Savvides, https://www.ece.cmu.edu/directory/bios/savvides-marios.html ) полагает, что «объяснимый ИИ имеет то преимущество, что позволяет нам понять, что пошло не так, а в случае, когда вся ИИ-система делает ошибочную классификацию или прогноз, - где в ИИ-конвейере произошёл сбой. Это преимущество XAI-конвейера. Напротив, традиционная система искусственного интеллекта, включающая полное сквозное решение на основе глубокого обучения, представляющее собой «черный ящик», является более сложной для анализа, в ней труднее точно определить, где и почему произошла ошибка». (см. https://www.cmswire.com/digital-experience/4-reasons-why-explainable-ai-is-the-future-of-ai/ ).
Дик Вейсингер (Dick Weisinger)
Источник: блог компании Formtek
https://formtek.com/blog/artificial-intelligence-the-importance-of-explainability/
Комментариев нет:
Отправить комментарий