Документ подготовлен подкомитетом SC42 «Искусственный интеллект» (Artificial intelligence) Объединенного технического комитета ИСО/МЭК JTC1.
«Когда системы ИИ используются для принятия решений, влияющих на жизнь людей, важно, чтобы люди понимали, как эти решения принимаются. Обеспечения получения полезных объяснений поведения систем ИИ и их компонентов является сложной задачей. Представители как отрасли, так и академических кругов активно изучают новые методы обеспечения объяснимости, а также сценарии и причины, по которым объяснимость может быть необходима.
В связи с вовлеченностью в эти усилия многочисленных заинтересованных сторон и сообществ, в данной области наблюдается определённая терминологическая непоследовательность. В первую очередь следует отметить, что методы, обеспечивающие получение объяснений поведения систем ИИ, обсуждаются под терминами «объяснимость» (explainability), «интерпретируемость» (interpretability) – а иногда даже с использованием других терминов, например, «прозрачность» (transparency), - что поднимает вопрос о том, как эти термины соотносятся друг с другом. Цель настоящего документа заключается в том, чтобы предоставить заинтересованным сторонам практические рекомендации по соблюдению законодательно-нормативных требований, какая бы терминология при этом ни использовалась. С этой целью в нём используется «зонтичный» термин «объяснимость», а также предлагается неисчерпывающая таксономия и список подходов, которые заинтересованные стороны могут использовать для соблюдения законодательно-нормативных требований.
Если главная цель обеспечения объяснимости заключается её использовании при оценке возможности доверять системе ИИ, то на разных этапах жизненного цикла системы ИИ у различных заинтересованных сторон могут быть и более конкретные цели, для достижения которых нужна объяснимость. Для иллюстрации этого момента приведён ряд примеров:
- Для разработчиков такой целью может быть повышение безопасности, надёжности и устойчивости системы ИИ посредством упрощения работы по выявлению и исправлению ошибок;
- Пользователям объяснимость может помочь принимать решения о том, в какой степени им можно полагаться на систему ИИ, вскрывая потенциальные источники или наличие нежелательной предвзятости или несправедливости;
- Для поставщиков услуг объяснимость может играть ключевую роль для подтверждения их соответствия законодательно-нормативным требованиям;
- Разработчикам политик понимание возможностей и ограничений различных методов обеспечения объяснимости может помочь в создании эффективных политических рамок и концепций, наилучшим образом отвечающих потребностям общества и одновременно стимулирующих инновации.
- Получаемые объяснения также могут помочь в разработке мер по улучшению результатов деловой деятельности.
В настоящем документе описываются применимость и свойства существующих подходов и методов для повышения объяснимости моделей машинного обучения (МО) и систем искусственного интеллекта (ИИ). Данный документ служит для заинтересованных сторон ориентиром в отношении важных факторов, связанными с выбором и применением таких подходов и методов.
Хотя методы объяснимости моделей машинного обучения могут играть центральную роль в обеспечении объяснимости систем ИИ, - другие методы, такие как инструменты аналитики данных и концепции обеспечения справедливости, также могут способствовать пониманию поведения и результатов систем ИИ. Описание и классификация таких дополнительных методов выходят за рамки данного документа.
… В настоящем документе описываются подходы и методы, которые могут быть использованы заинтересованными сторонами для достижения их целей в отношении обеспечения объяснимости моделей машинного обучения (МО) и поведения, выдачи и результатов систем искусственного интеллекта (ИИ).
В число заинтересованных сторон входят (не ограничиваясь ими) представители академических кругов, промышленности, разработчики политик и конечные пользователи.
В документе содержатся рекомендации по применимости описанных подходов и методов для достижения поставленных целей на протяжении всего жизненного цикла системы ИИ, описанного в стандарте ISO/IEC 22989.»
Мой комментарий: Здесь упомянут стандарт ISO/IEC 22989:2022 «Информационные технологии - Искусственный интеллект - Концепции и терминология искусственного интеллекта» (Information technology - Artificial intelligence - Artificial intelligence concepts and terminology, см. https://www.iso.org/standard/74296.html и https://www.iso.org/obp/ui/en/#iso:std:iso-iec:22989:ed-1:v1:en , а также мой пост https://rusrim.blogspot.com/2022/08/isoiec-229892022.html ). Стандарт адаптирован в России как ГОСТ Р 71476-2024 (ИСО/МЭК 22989:2022) «Искусственный интеллект. Концепции и терминология искусственного интеллекта», см. https://protect.gost.ru/document1.aspx?control=31&baseC=6&id=263925 и мой пост http://rusrim.blogspot.com/2025/01/71476-2024.html
Содержание документа следующее:
Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Обозначения и сокращения
5. Обзор
6. Цели заинтересованных сторон
7. Вопросы объяснимости на протяжении всего жизненного цикла системы ИИ
8. Таксономия свойств методов и подходов к обеспечению объяснимости
9. Методы и подходы обеспечения объяснимости
Приложение A: Степень объяснимости и взаимодействие со взаимосвязанными концепциями
Приложение B: Иллюстрация свойств методов
Приложение C: Проблемы и ограничения
Библиография
Источник: сайт ИСО
https://www.iso.org/standard/82148.html
https://www.iso.org/obp/ui/en/#!iso:std:82148:en
Комментариев нет:
Отправить комментарий