В области искусственного интеллекта (ИИ) прилагаются усилия к решению проблемы объяснимости. Алгоритмы ИИ усложнились, ИИ-модели теперь включают миллиарды настраиваемых параметров и смогли достичь результатов, которые часто расцениваются как ошеломляющие и поразительные. Проблема, однако, заключается в доверии. При использовании большинства современных ИИ-алгоритмов невозможно определить, каким образом алгоритм пришел к конечному результату - он попросту слишком сложен. Можем ли мы доверять алгоритму в таких вещах, как пилотирование самолета или принятие других критически важных решений, за которыми стоят жизни или выполнении миссии, если мы не понимаем в полной мере ограничения и возможности алгоритма, а также то, какие условия могут привести к его сбою?
Поставщики ИИ знают, что объяснимость - это препятствие, которое необходимо преодолеть, чтобы сделать программное обеспечение ИИ продаваемым. В результате некоторые компании уже заявляют, что их продукты предлагают «объяснимость», но не все этим заявлениям доверяют. Так, например, профессор информатики в Университете Карнеги-Меллона Захари Липтон (Zachary Lipton, https://www.zacharylipton.com/ ) в интервью Джереми Кану (Jeremy Kahn) из журнала Fortune сказал: «каждый серьёзный специалист в этой области знает, что большинство современных объяснимых ИИ-систем - это чепуха» ( https://fortune.com/2022/03/22/ai-explainable-radiology-medicine-crisis-eye-on-ai/ ).
В статье в журнале «Ланцет – Цифровое здравоохранение» (Lancet Digital Health, https://www.thelancet.com/journals/landig/article/PIIS2589-7500(21)00208-9/fulltext ) совместно написанной в 2022 специалистами по ИИ и медицинскими исследователями, делается вывод: «то, что современный искусственный интеллект (ИИ) по своему характеру представляет собой «чёрный ящик», заставил некоторых задаться вопросом, не должен ли ИИ быть объяснимым при его использовании в сценариях с высокими ставками, таких как медицина… Этот аргумент представляет собой ложную надежду на объяснимый ИИ; и современные методы объяснимости вряд ли достигнут этих целей для поддержка принятия решений на уровне пациента… В отсутствие подходящих методов объяснимости, мы выступаем за строгую внутреннюю и внешнюю валидацию ИИ-моделей как более прямое средство достижения целей, часто ассоциируемых с объяснимостью, и мы предостерегаем от того, чтобы делать объяснимость одним из требований для моделей, развёртываемых в клинических условиях».
Мой комментарий: С моей точки зрения, объяснимость обязательно нужна, и даже плохое объяснение все же лучше, чем никакое – пусть оно даже будет звучать так: «данное решение получено посредством прямого перебора всех возможных вариантов и сопоставления из по такому-то критерию». Специалисты-люди тоже не всегда полно, понятно и честно объясняют свои действия – но мы же не пытаемся вместо этого целиком положиться на их «корочки»…
И в самом деле, что должен делать врач, если ИИ рекомендует, без каких-либо пояснений, поставить пациенту ведёрную клизму – или пойти наперекор здравому смыслу и сделать это, рискуя попасть под суд за медицинскую ошибку, или не сделать (да ещё попутно потерять всякое доверие к ИИ), опять же рискуя попасть под суд, если пациент умрёт? Чем тут поможет красиво оформленный сертификат о прохождении наистрожайшей и наидетальнейшей верификации и валидации?
Никакие верификация и валидация объяснений не заменят – тем более, что в плане их строгости и всесторонности опять же придётся верить разработчикам на слово. Однако вопрос доверия к объяснениям действительно серьёзен, поскольку производители – по очевидным причинам – будут программировать составление подобных объяснений больше «для прокурора», чем для пользователя.
Строгая внутренняя и внешняя валидация. Разве это не аналогично процессу контроля качества программного обеспечения? Все программные продукты сложны, и ученые-компьютерщики уже давно пытаются решить проблему доказывания «правильности» программ ( https://www.schneier.com/blog/archives/2009/10/proving_a_compu.html ). Возможно, более практичным подходом было бы введение требования о том, чтобы ИИ-алгоритмы успешно проходили строгую валидацию и верификацию.
Мой комментарий: Лично я считаю, что противопоставлять обяснимость валидации и верификации – ничуть не умнее, чем противопоставлять горькое солёному. Это разные инструменты, решающие разные задачи.
Дик Вейсингер (Dick Weisinger)
Источник: блог компании Formtek
https://formtek.com/blog/explainable-artificial-intelligence-can-you-believe-the-explanation-is-validation-and-verification-a-more-practical-approach/
Комментариев нет:
Отправить комментарий