У каждой области есть своя тихая паранойя. Это не те громкие идеи, что доминируют на конференциях, и не блестящие новые концепции, которые мелькают в маркетинговых презентациях, - а куда менее привлекающие внимание вопросы, которые таятся в глубине всего этого. Они часто лишь подразумеваются, и ставятся явным образом лишь тогда, когда разговор переходит на более глубокие материи. Их чаще обсуждают в кулуарах, чем на трибуне. Кто-то наклоняется к Вам и задаёт вопрос, который кажется немного не в тему, слегка выбивается из общего потока, но всё же каким-то образом оказывается ближе к сути реальной проблемы.
Для меня одним из таких вопросов является обеспечение долговременной сохранности алгоритмов.
Этот вопрос никогда не выходил на передний план и оставался в тени, пока во всём мире в центре внимания были искусственный интеллект, автоматизация, объяснимость моделей, прорывы в сфере глубокого обучения и последовавшая за этим регуляторная «золотая лихорадка». Большинство коллег говорило об аудите на наличие предвзятости, об отчётах о прозрачности или о метриках справедливости. Эти темы, безусловно, важны, но все они обращаются вокруг чего-то большего, чего-то такого, на что мало кто хотел взглянуть напрямую.
Проблема обеспечения сохранности алгоритмов не кричала о себе, а, скорее, «тянула за рукав».
Я чувствовал это, когда слушал, как коллеги описывают давление, которое регуляторы оказывают на организации, требуя от них раскрывать, каким именно образом принимаются автоматизированные решения. Эта тяга ощущалась, когда я читал о судебных делах, где стороны пытались восстановить логику, которая привела к ключевому по важности результату. И снова я почувствовал это, когда оказался в центре дискуссий на конференции iPRES (речь идёт о Международной конференции по обеспечению долговременной сохранности электронных объектов – о ней см. подборку постов http://rusrim.blogspot.com/search/label/iPRES . 21-я конференция iPRES 2025 года проходила в Веллингтоне, Новая Зеландия, с 3 по 7 ноября 2025 года – Н.Х.), в которых специалисты по обеспечению долговременной сохранности выражали свою озабоченность тем, что артефакты алгоритмических систем исчезают быстрее, чем учреждения успевают их захватить.
Поначалу я отмахивался от этого чувства, считая данный вопрос одной из подчинённых тем в рамках более широкого обсуждения стратегического управления искусственным интеллектом (ИИ). Я убедил себя в том, что обеспечение сохранности алгоритмов - это нишевая проблема, которую мы в конечном итоге решим благодаря более совершенным инструментам, более эффективной практике документирования и/или очередному «пакету» стандартов.
Некоторые вопросы, однако, отказываются подчиняться попыткам их классифицировать. Они бродят по периферии Ваших размышлений и «подёргивают» Вас время от времени до тех пор, пока не привлекут, наконец, Ваше внимание.
В конце концов, мне пришлось перестать притворяться, что проблемы не существует. Больше невозможно было рассматривать обеспечение сохранности алгоритмов как вспомогательную идею. Данный вопрос стал поворотным пунктов, стержнем, краеугольным камнем …
Чем больше я изучал нормативно-правовые акты Евросоюза, Великобритании и США, тем более отчётливо видел одно и то же. Все эти законы, нормативные акты и руководства были полны требований, которые имели смысл только в том случае, если организации обеспечивали сохранность нужных доказательств, в нужное время и адекватным образом. Воспроизводимость, объясняемость, происхождение данных, версионность моделей, журналы аудита, документация о рисках, право оспаривания – все эти ожидания формируют архитектуру подотчётности, которая полностью рушится, если отсутствуют соответствующие документы.
И тут в голове словно что-то негромко щелкнуло. Просто фрагменты сложились в цельную картину, произошло тихое осознание.
По всему миру регуляторы создавали структуры стратегического управления, полностью зависящие от сохранности алгоритмов. Они не использовали язык архивной науки, но фактически описывали архивные функции, инстинктивно обращаясь к тем самым понятиям и концепциям, с которыми архивисты и специалисты по управлению документами работали десятилетиями – таким, как «контекст», «происхождение (provenance)», «жизненный цикл», «доказательства», «память».
Обеспечение сохранности алгоритмов не было второстепенной темой, оно являлось недостающим центральным звеном. И когда я понял это, у меня этот вопрос застрял в голове, как кость в горле ….
Люди порой смеются, когда я использую эту метафору – «кость в горле» (в оригинале автор использовал английское выражение «bone was in my mouth» – Н.Х.), но она точна. Некоторые вопросы отказываются оставить тебя в покое, как только ты осознаёшь всю их серьёзность, и ты продолжаешь думать о них, потому что они определяют всё остальное. Ты продолжаешь «грызть» их, потому что о них невозможно забыть. Ты не прекращаешь размышлять о них, потому что что-то в глубине твоей души знает, что поступить иначе было бы ошибкой.
Именно таким вопросом стала для меня тема обеспечения долговременной сохранности алгоритмов - не потому, что я так захотел, а потому, что сам вопрос того потребовал.
Это был вопрос уже не технического, а культурного характера - вопрос демократии, вопрос о том, каким образом общества сохраняют память о решениях, принятых их автоматизированными системами, а также о том, как долго должны сохраняться следы этих решений. Это вопрос о том, у кого будет возможность проводить аудит, оспаривать и/или осознавать те решения, что сформировали их жизни.
Осознав масштабность этого вопроса, я уже не мог смотреть на обеспечение сохранности алгоритмов как на нечто опциональное. Для меня оно теперь стало не упоминаемой вслух основой подотчётности при автоматизированном принятии решений, тем не видимым глазу становым хребтом, от которого зависят будущие права и будущая история.
Эта серия постов рождается из упрямства этой «кости в горле», из непрекращающегося «потягивания за рукав», из осознания того, что обеспечение сохранности алгоритмов - не добавляемая «задним числом» техническая затея, а структурная необходимость.
Если наш жизненный опыт в 21-м веке будут определять наши автоматизированные системы, то обязательно должны быть сохранены относящиеся к ним свидетельства и доказательства. И если эта работа не будет выполнена, то будущие поколения унаследуют лишь фрагменты современной истории, а историкам, аудиторам, исследователям и пострадавшим людям останется лишь гадать о том, что на самом деле произошло.
«Кость» всё ещё на месте... И вот так начинается эта серия постов.
Мой комментарий: Является ли обеспечение долговременной сохранности алгоритмов чем-то совершенно новым, чего не было раньше? Конечно же, нет! С момента создания письменности и начала её использования в государственном управлении, общественной жизни и в деловой деятельности (а отчасти и до этого), человечество активно занималось сохранением алгоритмов в виде религиозных догматов (в письменном и устном виде), нормативно-правовых актов, правил, руководств, рекомендаций и стандартов разного рода и различного уровня и степени обязательности. Архивисты и специалисты по управлению документами знают, что многим из этих «алгоритмов» всегда устанавливались постоянные и длительные сроки хранения.
По сути дела, сейчас изменилось лишь то, что раньше эти алгоритмы писались для людей, а теперь значительная часть из них пишется и кодируется для исполнения машинами – и в результате эта часть алгоритмов выпала из сферы внимания тех специалистов, которые традиционно занимались сохранением памяти общества и документов, отражающих государственную и деловую деятельность. К настоящему моменту правовая и деловая значимость машинных алгоритмов уже не уступает значимости человеко-ориентированных алгоритмов, поэтому появилось осознание существующего пробела и потребность его каким-то образом закрыть.
Структура серии постов
Прежде чем начать разговор, будет полезно наметить структуру этой серии постов. Эти эссе образуют связную последовательность, идущую от личных размышлений к анализу нормативно-правовой базы, к структуре доказательств, к архивным суждениям и, наконец, к более глубокому вопросу о том, как должны быть спроектированы системы, чтобы создавать свою собственную память. Каждая часть серии будет самостоятельной, но вместе они сформируют более широкое понимание того, что означает обеспечение сохранности алгоритмов на практике, и почему это важно.
- Часть 1 «Вопрос, что не давал мне покоя» закладывает основу для дальнейшей дискуссии, объясняя, как вопрос обеспечения сохранности алгоритмов превратился из второстепенного в требующую внимания постоянную проблему первого плана.
- Часть 2 «Регуляторы создают архивы, не говоря об этом вслух» - в ней исследуется, как глобальные дискуссии о политиках на самом деле, не привлекая к этому внимания, вращаются вокруг «архивных» понятий и концепций. Регуляторы начали требовать обеспечения прослеживаемости, воспроизводимости и объяснимости, причем таким образом, который предполагает наличие сохранённых свидетельств / доказательств (пусть даже сами регуляторы это так не называют).
- Часть 3 «Закон Евросоюза об искусственном интеллекте: Слегка закамуфлированный свод требований к документированию и архивированию» - в этой части подробно рассматриваются требования данного закона к системам ИИ с высоким уровнем риска, и показывает, как способность исполнять требования законодательства зависит от тех же структур и функций, которые поддерживают подотчётность, строящуюся на основе архивных документов.
- Часть 4 «Рынки, память и машинная логика» посвящена вопросам финансового регулирования. Рынки первыми осознали, что стратегическое управление автоматизированными системами невозможно наладить без документов, а из их подходов к реконструкции событий можно извлечь важные уроки.
- Часть 5 «Параданные, данные о процессах и доказательства, которые мы почти потеряли» знакомит с «пакетом для сохранения алгоритмов» (Algorithm Preservation Package). В этом эссе рассматриваются пять категорий доказательств, которые необходимо сохранить для того, чтобы в будущем можно было понять поведение алгоритмов.
- Часть 6 «Экспертиза ценности и два аспекта ценности» - здесь тема обсуждения с доказательств переключается на смысл. В данной части рассматривается, как принимаются решения о том, какие материалы заслуживают сохранения. Экспертиза ценности становится этически-значимым актом, связывающим принимаемые сегодня решения с их пониманием завтра.
- Часть 7 «Запроектированное управление документами: Архитектура памяти» завершает серию, показывая, почему системы должны быть спроектированы таким образом, чтобы создавать и сохранять свидетельства своего функционирования. Без процесса проектирования, учитывающего необходимость сохранения памяти, обеспечение сохранности алгоритмов становится нереализуемым, а при его наличии становится возможным обеспечение подотчётности.
Вместе эти семь эссе являются путеводной нитью, позволяющей познакомиться с одной из важнейших и наименее изученных областей стратегического управления в автоматизированной среде. Обеспечение долговременной сохранности алгоритмов - не второстепенная тема, а структурная основа, поддерживающая справедливость, права, доверие, а также историческую память нашей технологической эпохи.
(Продолжение следует)
Эндрю Поттер (Andrew Potter)
Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving
Комментариев нет:
Отправить комментарий