Ожидая рейса в аэропорту, самое время углубиться в вопросы объяснимого ИИ и архивного мышления

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 8 ноября 2025 года в социальной сети Substack

Я всё ещё в пути – точнее, в ожидании вылета :) То ли из-за погоды, то ли из-за перестановок в расписании, мой авиарейс снова отложили. Поэтому, как любой архивист с беспокойным умом, застрявший в зале ожидания радом с точкой для подзарядки, я снова открыл свой ноутбук.

Этот пост является продолжением предыдущего, который был первым наброском рассказа о том, как может выглядеть объяснимый ИИ (Explainable AI, XAI) с точки зрения управления документами, архивной теории и информатики. Предшествующий пост был написан в более спокойный момент, когда я начал связывать прозрачность архивов с алгоритмической объяснимостью. Теперь, будучи (временно) прикованным к земле и потягивая мутноватый крепкий эль IPA, я углубился в само исследование, пытаясь сформировать «строительные леса» для этих идей.

 

 

Переосмысление представления об управлении документами

Отправной точкой по-прежнему является опубликованная в 2020 году работа Дженни Банн (Jenny Bunn) «Работа в ситуациях, когда важна прозрачность: Взгляд на объяснимый ИИ с точки зрения управления документами» (Working in Contexts for Which Transparency Is Important: A recordkeeping view of Explainable Artificial Intelligence (XAI), https://discovery.ucl.ac.uk/id/eprint/10092921/3/Bunn_Explainable_Artificial_Intelligence__final.pdf ). В этой статье Банн рассматривает объяснимость ИИI не как «техническую» дополнительную функциональную возможность, а как необходимое для управления документами условие: объяснимость становится элементом того, что делает документ подотчётным. Банн в своей статье ставит вопрос о том, какие новые формы документов возникают в том случае, когда сам процесс принятия решений опосредуется машинным обучением. Это правильный вызов.

Далее следует статья 2021 года Джованни Колавицца (Giovanni Colavizza), Тобиаса Бланке (Tobias Blanke), Чарльза Джергенса (Charles Jeurgens) и Джулии Ноордеграаф (Julia Noordegraaf) из университета Амстердама, Голландия, на тему
«Архивы и ИИ: Обзор текущих дискуссий и будущих перспектив» (Archives and AI: An Overview of Current Debates and Future Perspectives, https://dl.acm.org/doi/full/10.1145/3479010 ). В ней приведен панорамный обзор того, как автоматизация видоизменяет традиционные архивные принципы, такие как происхождение, первоначальный порядок, проведение экспертизы ценности. Наблюдение авторов о том, что алгоритмическое посредничество потихоньку меняет то, что архивисты считают контекстом, нашло отклик в моих мыслях.

И есть ещё точка зрения Патрисии Фрэнкс (Patricia Franks), чья статья 2022 года «Позиционирование параданных как процессуальной документации для ИИ» (Positioning Paradata as AI Processual Documentation,  https://www2.archivists.org/sites/all/files/Franks_In%20the%20Pursuit%20of%20Archival%20Accountability.pdf ) вводит понятие «параданных» - метаданных о создании метаданных – в качестве одной из форм артефактов, обеспечивающих подотчётность. В мире объяснимого ИИ это понятие транслируется в следы процессов, журналы решений, пояснения к моделям. Всё это является частью документации.

Мой комментарий: Подборку постов на моём блоге о параданных см. здесь: https://rusrim.blogspot.com/search?q=параданные 

Доклад Чжан Луфаня (Lufan Zhang) и Пола Скифлита (Paul Scifleet) из Технологического университета Суинберна (г. Мельбурн,  Австралия) на конференции 2024 года на тему «Прокладывая курс для трансформации управления корпоративной информацией: Объяснимость и прозрачность ИИ в практике управления корпоративной информацией» (Charting the Transformation of Enterprise Information Management: AI Explainability and Transparency in EIM Practice, https://www.scitepress.org/Papers/2024/129511/129511.pdf ) распространяет всё это на уровень стратегического управления. Одно дело - документировать решения, принятые ИИ, и совсем другое - интегрировать эту документацию в концептуальные рамки жизненного цикла и обеспечения исполнения законодательно-нормативных требований.

В совокупности эти работы отражают то, как наша предметная область без лишнего шума переосмысливает себя: архивы начинают восприниматься не как пассивные хранилища доказательств, а как системы, которые сами должны давать объяснения.

Информационно-теоретический подтекст

На этот раз мне также захотелось узнать, что говорят специалисты по информатике, и это привело меня к литературе по вопросу «узкого горлышка информационного потока» (Information Bottleneck, IB) - элегантному математическому аналогу концепции архивного происхождения.

Мой комментарий: Теория «узкого горлышка информационного потока» утверждает, что по мере прохождения данных через слои нейронной сети каждый слой фильтрует и извлекает информацию, сохраняя только то, что необходимо для конечного результата.

«Обзор по вопросу узкого горлышка информационного потока» (A Survey on Information Bottleneck, https://dl.acm.org/doi/10.1109/TPAMI.2024.3366349 ) 2024 года авторов Ху Шидже (Shizhe Hu), Лю Дженджен (Zhengzheng Lou), Янь Сяочьен (Xiaoqiang Yan) и Е Яндун (Yangdong Ye) из китайского университета Дженджоу (Zhengzhou), описывает следующую логику: всякое объяснение является компромиссом между компактностью и точностью. Чем лаконичнее объяснение, тем меньше информации оно несёт - и наоборот. Эти идеи не так далеки от наших собственных архивных противоречий в вопросах экспертизы ценности и обеспечения долговременной сохранности документов.

Далее, в 2025 году на сайте arXiv был выложен «Комплексный обзор самоинтерпретируемых нейронных сетей» (A Comprehensive Survey on Self-Interpretable Neural Networks, https://arxiv.org/html/2501.15638v2 ) авторов Цзы Ян (Yang Ji) и др., развивающий эту идею. Это системы, спроектированные таким образом, чтобы «запроектированным» образом генерировать объяснения собственных решений, оптимизируя тот же баланс, который мы стремимся достичь при работе с документами - информации должно быть достаточно для понимания, но не настолько много, чтобы система рухнула под собственной тяжестью.

В исследовании Линдси Саннеман (Lindsay Sanneman), Майкала Такера (Mycal Tucker) и Джули Шах (Julie A.Shah) из Массачусетского технологического института (MIT) на тему «Характеризация понимания через представление об «узком горлышке информационного потока» - Компромисс с точки зрения рабочей нагрузки в человеко-ориентированном объяснимом ИИ» (An Information Bottleneck Characterization of the Understanding - Workload Tradeoff in Human-Centered Explainable AI,  https://dspace.mit.edu/bitstream/handle/1721.1/155782/3630106.3659032.pdf  ) вся проблема переосмысливается как компромисс с точки зрения рабочей нагрузки на человека. Чем подробнее объяснение, тем большую когнитивную нагрузку оно налагает. Это до боли знакомо любому, кто когда-либо пытался написать или прочитать чересчур насыщенный стандарт метаданных.

Итак, пока архивный мир спорит о том, какие нужно сохранять журналы аудита ИИ, специалисты по информатике потихоньку подсчитывают, какого объёма объяснений будет достаточно. Это неожиданный диалог, в котором энтропия встречается с подотчётностью.

Почему это (всё ещё) важно 

Если в моём предыдущем посте ставился вопрос о том, можно ли в обсуждении упоминать рядом архивы и объяснимый ИИ, то в этом посте ответе обосновывается положительный ответ на него.

В сфере стратегического управления документами и информацией имеется прямая связь. Происхождение, подотчётность, прозрачность - это не необязательные добродетели; они являются необходимыми условиями доверия. Объяснимый ИИ - это просто следующий рубеж, на котором должно быть обеспечено выполнение данных условий.

В информатике вопрос релевантности рассматривается в обратном направлении. Такие концепции, как «взаимная информация» (mutual information) и сжатие предлагают терминологию - и даже исчисление – способствующую понимания того, что означает сохранить суть объяснения, не утонув при этом в данных.

Я постоянно возвращаюсь к двум вопросам, которые, на мой взгляд, определяют пересечение этих миров:

• Что мы должны задокументировать тогда, когда система ИИ принимает решение? - и
  
  
• Какая точность объяснения необходима (или даже возможна), учитывая ограничения, установленные в информатике?

Между этими вопросами лежит нарождающаяся практика управления документами в контексте ИИ, в которой качественная этика архивов соединяется с количественной логикой информатики.

На табло замигал номер моего рейса, предвещая появление нового оповещения … Завершая данный пост, скажу: я убеждён, что разговор, который нам больше всего нужен, это обсуждение вопроса о том, как заставить машины объяснять свои решения и действия - и как сохранить эти объяснения в качестве документов.

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/caught-between-gates 

ИСО и МЭК: Опубликованы новые технические спецификации ISO/IEC TS 6254:2025 «Цели и методы обеспечения объяснимости и интерпретируемости моделей машинного обучения (МО) и систем искусственного интеллекта (ИИ)»

В середине сентября 2025 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации новых технических спецификаций ISO/IEC TS 6254:2025 «Информационные технологии – Искусственный интеллект – Цели и методы обеспечения объяснимости и интерпретируемости моделей машинного обучения (МО) и систем искусственного интеллекта (ИИ)» (Information technology - Artificial intelligence - Objectives and approaches for explainability and interpretability of machine learning (ML) models and artificial intelligence (AI) systems) объёмом 76 страниц, см. https://www.iso.org/standard/82148.html и https://www.iso.org/obp/ui/en/#!iso:std:82148:en .

Документ подготовлен подкомитетом SC42 «Искусственный интеллект» (Artificial intelligence) Объединенного технического комитета ИСО/МЭК JTC1.

Во вводной части документа отмечается:

«Когда системы ИИ используются для принятия решений, влияющих на жизнь людей, важно, чтобы люди понимали, как эти решения принимаются. Обеспечения получения полезных объяснений поведения систем ИИ и их компонентов является сложной задачей. Представители как отрасли, так и академических кругов активно изучают новые методы обеспечения объяснимости, а также сценарии и причины, по которым объяснимость может быть необходима.

В связи с вовлеченностью в эти усилия многочисленных заинтересованных сторон и сообществ, в данной области наблюдается определённая терминологическая непоследовательность. В первую очередь следует отметить, что методы, обеспечивающие получение объяснений поведения систем ИИ, обсуждаются под терминами «объяснимость» (explainability), «интерпретируемость» (interpretability) – а иногда даже с использованием других терминов, например, «прозрачность» (transparency), - что поднимает вопрос о том, как эти термины соотносятся друг с другом. Цель настоящего документа заключается в том, чтобы предоставить заинтересованным сторонам практические рекомендации по соблюдению законодательно-нормативных требований, какая бы терминология при этом ни использовалась. С этой целью в нём используется «зонтичный» термин «объяснимость», а также предлагается неисчерпывающая таксономия и список подходов, которые заинтересованные стороны могут использовать для соблюдения законодательно-нормативных требований.

Если главная цель обеспечения объяснимости заключается её использовании при оценке возможности доверять системе ИИ, то на разных этапах жизненного цикла системы ИИ у различных заинтересованных сторон могут быть и более конкретные цели, для достижения которых нужна объяснимость. Для иллюстрации этого момента приведён ряд примеров:

• Для разработчиков такой целью может быть повышение безопасности, надёжности и устойчивости системы ИИ посредством упрощения работы по выявлению и исправлению ошибок;
  
  
• Пользователям объяснимость может помочь принимать решения о том, в какой степени им можно полагаться на систему ИИ, вскрывая потенциальные источники или наличие нежелательной предвзятости или несправедливости;
  
  
• Для поставщиков услуг объяснимость может играть ключевую роль для подтверждения их соответствия законодательно-нормативным требованиям;
  
  
• Разработчикам политик понимание возможностей и ограничений различных методов обеспечения объяснимости может помочь в создании эффективных политических рамок и концепций, наилучшим образом отвечающих потребностям общества и одновременно стимулирующих инновации. 
  
  
• Получаемые объяснения также могут помочь в разработке мер по улучшению результатов деловой деятельности.

В настоящем документе описываются применимость и свойства существующих подходов и методов для повышения объяснимости моделей машинного обучения (МО) и систем искусственного интеллекта (ИИ). Данный документ служит для заинтересованных сторон ориентиром в отношении важных факторов, связанными с выбором и применением таких подходов и методов.

Хотя методы объяснимости моделей машинного обучения могут играть центральную роль в обеспечении объяснимости систем ИИ, - другие методы, такие как инструменты аналитики данных и концепции обеспечения справедливости, также могут способствовать пониманию поведения и результатов систем ИИ. Описание и классификация таких дополнительных методов выходят за рамки данного документа.

… В настоящем документе описываются подходы и методы, которые могут быть использованы заинтересованными сторонами для достижения их целей в отношении обеспечения объяснимости моделей машинного обучения (МО) и поведения, выдачи и результатов систем искусственного интеллекта (ИИ). 

В число заинтересованных сторон входят (не ограничиваясь ими) представители академических кругов, промышленности, разработчики политик и конечные пользователи. 

В документе содержатся рекомендации по применимости описанных подходов и методов для достижения поставленных целей на протяжении всего жизненного цикла системы ИИ, описанного в стандарте ISO/IEC 22989.»

Мой комментарий: Здесь упомянут стандарт ISO/IEC 22989:2022 «Информационные технологии - Искусственный интеллект - Концепции и терминология искусственного интеллекта» (Information technology - Artificial intelligence - Artificial intelligence concepts and terminology, см. https://www.iso.org/standard/74296.html и https://www.iso.org/obp/ui/en/#iso:std:iso-iec:22989:ed-1:v1:en , а также мой пост https://rusrim.blogspot.com/2022/08/isoiec-229892022.html ). Стандарт адаптирован в России как ГОСТ Р 71476-2024 (ИСО/МЭК 22989:2022) «Искусственный интеллект. Концепции и терминология искусственного интеллекта», см. https://protect.gost.ru/document1.aspx?control=31&baseC=6&id=263925 и мой пост http://rusrim.blogspot.com/2025/01/71476-2024.html 

Содержание документа следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Обозначения и сокращения
5. Обзор
6. Цели заинтересованных сторон
7. Вопросы объяснимости на протяжении всего жизненного цикла системы ИИ
8. Таксономия свойств методов и подходов к обеспечению объяснимости
9. Методы и подходы обеспечения объяснимости
Приложение A: Степень объяснимости и взаимодействие со взаимосвязанными концепциями
Приложение B: Иллюстрация свойств методов
Приложение C: Проблемы и ограничения
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/82148.html 
https://www.iso.org/obp/ui/en/#!iso:std:82148:en 

Перечень открытых проблем и направлений междисциплинарных исследований в области объяснимого искусственного интеллекта

30 октября 2023 года на сайте Arxiv.org была выложена 33-страницная статья группы из 19 авторов под названием «Объяснимый искусственный интеллект (XAI) 2.0: Манифест (перечень) открытых проблем и направлений междисциплинарных исследований» (Explainable Artificial Intelligence (XAI) 2.0: A Manifesto of Open Challenges and Interdisciplinary Research Directions), см. https://arxiv.org/abs/2310.19775 (прямая ссылка на PDF-файл: https://arxiv.org/pdf/2310.19775.pdf ).

Данная статья привлекла внимание специалистов, в том числе участников международного проекта InterPARES, также много внимания уделяющего на нынешнем его этапе вопросу объяснимости искусственного интеллекта (ИИ). Оценивая данную публикацию, руководитель проекта InterPARES Лючиана Дюранти (Luciana Duranti) сказала следующее:

«Очень интересно! Мне нравится, что они с самого начала указывают на то, что объяснимости ИИ недостаточно для возможности ему доверять.

И ещё кое-что. У кого-то может возникнуть соблазн прочитать только тот перечень в конце статьи, в котором резюмируются предложения авторов. Пожалуйста, не надо так делать. В тексте так много идей, имеющих отношение к нашему исследовательскому проекту, что не следует пропускать ни одного из разделов. Основной текст занимает всего 19 страниц из 33, и все их стоит прочитать. :)»

В аннотации на статью отмечается:

«Поскольку системы, основанные на непрозрачном искусственном интеллекте (ИИ), продолжают процветать в различных реальных приложениях, понимание этих моделей, представляющих собой «чёрные ящики», стало задачей первостепенной важности. В ответ на эту потребность возникло направление «объяснимого ИИ» (Explainable AI, XAI) как область исследований, дающая практическую и этическую отдачу в различных областях.

В настоящей статье не только привлекается внимание к достижениям в области объяснимого ИИ и их применениям в реальных сценариях, но также рассматриваются текущие проблемы с объяснимостью ИИ, при этом подчеркивается необходимость более широких взглядов и совместных усилий. Для выявления открытых проблем мы собрали экспертов из разных областей, стремясь синхронизировать программы исследований и ускорить практическое применение объяснимого ИИ.

Способствуя коллективному обсуждению и междисциплинарному сотрудничеству, мы стремимся развивать область объяснимого ИИ, внося тем самым вклад в его дальнейшие успехи. Наша цель заключается в том, чтобы сформулировать всесторонние предложения по развитию объяснимого ИИ. Для достижения этой цели мы подготовили перечень, включающий 27 открытых проблем, разбитых на девять категорий. Эти проблемы отражают сложности и нюансы объяснимого ИИ и предлагают дорожную карту для будущих исследований. Для каждой проблемы мы отмечаем перспективные направления исследований, в надежде использовать мощь коллективного разума заинтересованных сторон.»

Содержание статьи следующее:

1. Введение
2. Успехи исследований в области объяснимого ИИ и их приложения
3. Проблемы и направления исследований
4. Новый перечень
Рекомендации

Высокоуровневая структура проблем, отражённых в «Перечне»

Упомянутые девять высокоуровневых категорий следующие:

• Создание объяснений для новых типов ИИ: Создание объяснений для порождающих (генеративных моделей) (например, для больших языковых LLM-моделей) и алгоритмов обучения на основе понятий (concept-based learning algorithms).
  
  Мой комментарий: В последнем случае речь идёт о моделях машинного обучения, которые сначала обучаются представлению предметной области в терминах понятных человеку понятий, а затем используют его для прогнозирования (см. https://arxiv.org/pdf/2012.02898.pdf ).
  
  
• Совершенствование (и усиление) существующих методов объяснимого ИИ, чтобы расширить и улучшить методы атрибуции, избавиться от аномалий в основанных на синтезе объяснениях (synthesis-based explanations) и создавать робастные объяснения.
  
  
• Оценка методов объяснимого ИИ и порождаемых ими объяснений с целью облегчить оценку объяснений человеком, создать концептуальную структуру оценки методов объяснимого ИИ и преодолеть ограничения исследований с участием людей.
  
  
• Разъяснение использования понятий, используемых в объяснимом ИИ: Разъяснение основных понятий объяснимого ИИ и их связи с надежностью и доверенностью, а также поиск полезной метрики понимания.
  
  
• Поддержка многомерности объяснимости: Создание многогранные объяснений и способствование междисциплинарным усилиям в области объяснимого ИИ.
  
  
• Поддержка человеко-ориентированности объяснений: Создание понятных человеку объяснений, способствование объяснимости посредством основанных на понятиях объяснениях, решение вопроса с оторванными от реальности объяснение, и раскрытие причинно-следственных связей для создания объяснений, на основе которых могут предприниматься действия.
  
  
• Настройка методов объяснимого ИИ и создаваемых ими объяснений: Адаптация объяснений к потребностям различных заинтересованных сторон, предметным областям и целям.
  
  
• Смягчение негативного воздействия объяснимого ИИ: Адаптация объяснений к условиям и потребностям различных заинтересованных сторон, разработка критериев фальсифицируемости объяснений и защита объяснений от злоупотреблений со стороны злонамеренных людей или сверхразумных агентов.
  
  
• Улучшение социального воздействия объяснимости ИИ: Облегчение атрибуции происхождения сгенерированных искусственным интеллектом данных и выявление плагиата, поддержка «права быть забытым» и решение проблемы дисбаланса сил между отдельными людьми и компаниями.

Источник: сайт Arxiv.org
https://arxiv.org/abs/2310.19775
https://arxiv.org/pdf/2310.19775.pdf