Точность многих современных алгоритмов искусственного интеллекта невероятно высокая - но не всегда, и в этом проблема. Трудно доверять чему-то такому, что не понимаешь, и чьи результаты часто невозможно воспроизвести в идентичном виде. Для критически-важных для миссии организации приложений такая неопределенность непозволительна.
Многие из лучших на сегодняшний день алгоритмов искусственного интеллекта (ИИ) представляют собой «чёрные ящики», работающие на основе глубокого обучения и взаимосвязей нейронных сетей. И в конечном итоге трудно понять, как и почему алгоритм пришёл к определенному результату.
Объяснимый искусственный интеллект (Explainable Artificial Intelligence, XAI) - это вариант машинного обучения, при котором в алгоритмы ИИ встраивается способ сообщать о выполненных шагах и об основаниях для выбора определенной конкретной рекомендации или результата.
Директор по информационным технологиям компании Bluestem Brands Якоб Вагнер (Jacob Wagner, https://www.linkedin.com/in/jacob-wagner-46046311/ ) считает, что «помочь людям преодолеть барьер доверия - это вызов. Чем больше у нас информации о том, почему что-либо было рекомендовано, тем легче это сделать» (см. https://www.cio.com/article/3440071/explainable-ai-bringing-trust-to-business-ai-adoption.html ).
Директор по теории и метолам анализа данных в компании CLARA analytics ( https://www.claraanalytics.com/ ) Дзи Ли (Ji Li, https://www.linkedin.com/in/ji-li-7878b155/ ) говорит, что «Искусственный интеллект не совершенен. И хотя сделанные ИИ предсказания могут быть очень точными, всегда будет возможна ситуация, в которой модель неверна. Поддерживая объяснимость своих результатов, технология искусственного интеллекта поможет людям принимать быстрые, основанные на фактах решения, в то же время сохраняя за людьми возможность положиться на собственное суждение. При наличии объяснимости, искусственный интеллект становится более полезной технологией, потому что в этом случае вместо того, чтобы либо всегда доверять, либо никогда не доверять прогнозам, люди будут ежедневно помогать улучшать качество прогнозов».
Дик Вейсингер (Dick Weisinger)
Мой комментарий: Я положительно отношусь к идее «объяснимого искусственного интеллекта», но не могу не отметить одну весьма серьёзную проблему, которая будет связана с автоматически генерируемыми объяснениями.
Доверие к архивным документам, равно как и доверие к деловым документам (в том числе в ходе судебных разбирательств) очень сильно опирается на то, что эти документы создаются не для прокурора и суда, а возникают как инструменты либо побочные продукты деловой деятельности, в успешности которой их создатели кровно заинтересованы.
В данном случае, к сожалению, ситуация прямо противоположная – формируемые ИИ объяснения делаются именно «для прокурора», и, соответственно, большого доверия не вызывают, хотя, конечно же, намного лучше иметь хоть какие-то объяснения, чем вообще никаких. От этих документов работа ИИ-решений не зависит, и у владельца такого решения заинтересованности в их объективности и беспристрастности нет (наоборот, есть прямой интерес формировать объяснения таким образом, чтобы по возможности избежать обвинений в предвзятости и дискриминации, несанкционированной обработке персональных данных и т.п. – и, уверена, юристы подскажут разработчикам, как это грамотно сделать. И учтите, для создания правдоподобных объяснений непременно будет использована вся мощь всё того же ИИ!).
Это означает, что объяснимость ИИ – лишь первый шаг в обеспечении доверия к решениям на основе искусственного интеллекта. Для доверия нужно нечто большее – например, длительный опыт работы ИИ-решения и соответствующая статистика и судебная практика, позволяющие судить о качестве автоматически создаваемых объяснений.
Источник: блог компании Formtek
https://formtek.com/blog/explainable-artificial-intelligence-xai-letting-humans-have-the-final-say/
Комментариев нет:
Отправить комментарий