Для ИИ тоже нужны документы: Защита прав коренных народов в эпоху алгоритмов, часть 1

Данный пост эксперта в области управления электронными документами, эксперта ИСО от США Энди Поттера (Andy Potter - на фото) был опубликован 1 июля 2025 года в социальной сети Substack.

Резюме для руководства

Системы искусственного интеллекта всё чаще принимают решения, которые влияют на права, услуги и на будущее людей, - но многие из этих систем эксплуатируются в отсутствие структур, на которые мы обычно полагаемся для обеспечения подотчетности: речь идёт о документах.

В данной статье рассматривается, каким образом должно эволюционировать управление документами, чтобы отреагировать на связанные с ИИ проблемы, особенно в тех случаях, где на карту поставлены данные коренных народов, их культурные права и общественное доверие. Статья призывает к использованию «запроектированного управления документами» (records management by design) в качестве основы для заслуживающего доверия ИИ.

По мере того, как искусственный интеллект вплетается в ткань современного стратегического управления и деловой деятельности, возникает тревожный пробел, который слабо связан с алгоритмами, но очень сильно - с памятью. При принятии ИИ-системами решений остаётся мало или вообще не остаётся документов; а в тех областях, где важны доверие, защита прав и ответственность, отсутствие документирования опасно.

Сообщество специалистов по управлению документами начинает реагировать на эту проблему. Становится ясным то, что для ИИ-систем требуются документирование, структура и подотчетность, - как и для любой другой корпоративной деятельности. Однако ИИ-системы не поставляются по умолчанию со всеми этими элементами.

Невидимый слой: Документы в рамках жизненного цикла ИИ

От обучающих наборов данных и конфигураций моделей до системных журналов аудита, сведений о взаимодействии с пользователями и истории версий, ИИ-системы глубоко зависят от документов, однако в большинстве их реализаций Вы об этом не узнаете.

Эти документы часто фрагментированы, «закопаны» в журналах аудита – и нередко их просто выбрасывают. Такие ключевые элементы, такие как отслеживание происхождения, классификация, хранение в течение установленных сроков и управление доступом, редко встраиваются в рабочие процессы ИИ.

Это не просто проблема исполнения законодательно-нормативных требований, а проблема стратегического управления. В отсутствие надёжной документации о том, как ИИ-система была создана, обучена и затем использовалась, организации не могут объяснить её поведение, скорректировать допущенные ею ошибки и обосновать принятые ею решения. Это задача управления рисками, но также и обеспечения прозрачности, демократии и доверия.

Что происходит, когда ИИ сталкивается с данными коренных народов?

Упомянутый выше пробел становится особенно ощутимым, когда ИИ начинает взаимодействовать с чувствительной или культурно-значимой информацией. Одной из самых насущных проблем, возникающих во всём мире, является то, как ИИ-системы обрабатывают данные коренных народов - информацию о них либо созданную ими, либо оказывающую воздействие на представителей и сообщества коренного населения.

Мой комментарий: Тема «суверенитета коренных народов», которую автор далее развивает, является специфической для англосаксонских стран, и мало кого волнует помимо них. С моей точки зрения, подобная идеология является проявлением расизма, поскольку представители коренных народов (и это ещё вопрос, кого таковыми считать, поскольку некоторые территории тысячелетиями переживали миграции населения и завоевания) оказываются по непонятным причинам привилегированными по сравнению с остальными гражданами, для которых подобный расово-этнический суверенитет не предусмотрен (и их бы тут же обозвали колонизаторами и расистами, а то и похуже, если бы они только заикнулись о чём-то подобном). 

Этот новоизобретенный «суверенитет» несправедлив, вреден для социальной стабильности, для науки и для деловой деятельности; и по сути является проявлением такой печально известной формы расизма, как апартеид (суть которого - идеи о недопустимости смешивания этносов и их культуры). Замечу, что в странах Запада дело не ограничивается документами и информацией – весьма популярны, например, попытки определённых сообществ присвоить себе исключительные права на всё что только можно, от научных открытий и до причёсок, видов одежды, танцев и кулинарных рецептов.

Конечно, даже и из этой сильно отравленной расизмом идеологии специалисты могут извлечь кое-что разумное и полезное, в том числе с точки зрения сохранения и поддержки культуры малых народ и народностей в контексте распространения ИИ – собственно, поэтому я предлагаю своим читателям познакомиться с переводом данной статьи. 

Использование ИИ без соответствующего документирования представляет собой риск для стратегического управления, особенно когда ИИ начинает обрабатывать знания коренных народов или уязвимых сообществ. Многие государственные органы, архивы и учреждения хранят документы, касающиеся знаний коренных народов, их земельных претензий, языков и культурных практик. Эти документы исторически обрабатывались без согласия и контроля со стороны коренных сообществ. Теперь же системы ИИ обучаются на них, часто без использования каких-либо предохранительных мер, без контекста и в отсутствие надзора, приемлемого с культурной точки зрения.

ИИ-инструменты классификации могут неправильно размечать (маркировать) традиционные знания. Автоматизированные системы отслеживания надлежащих сроков хранения способны уничтожать священные для коренных народов документы. Облачные решения могут хранить данные коренных народов на серверах в юрисдикциях, не признающих суверенитета данных коренных народов. В некоторых случаях ИИ может даже генерировать производный контент (например, резюме, метаданные или рекомендации) на основе документов коренных народов, не понимая их контекста и не уважая их прав контроля и владения.

(Окончание следует)

Эндрю Поттер (Andrew Potter)

Источник: сайт Substack
https://metaarchivist.substack.com/p/ai-needs-records-tooil