(Окончание, предыдущую часть см. https://rusrim.blogspot.com/2026/02/4-2.html )
Реконструкция инцидента как метод расследования
Когда на финансовых рынках что-то идёт не так, следователи начинают со сбора свидетельств и доказательств. Они собирают:
- Журналы аудита оперативной деятельности,
- Отметки времени, с точностью до миллисекунды,
- Книги заявок / распоряжений,
- Переписку,
- Конфигурационные файлы,
- Проектную документацию,
- Решения в рамках управления изменениями.
Далее они восстанавливают последовательность событий - перемещаются назад во времени и воссоздают состояние системы до, во время и после аномалии.
Данный процесс выглядит практически идентичным реконструкции исторических событий по архивным документам – и это не метафора, а подход.
Системы для ведения торгов не рассказывают свои истории. Об истории их функционирования говорят свидетельства / доказательства. Вот почему так важны журналы аудита, это не техническая телеметрия. Ну а надзор - необходимое условие выживания.
Почему финансовые рынки раньше осознали проблему
Рынки почувствовали хрупкость автоматизации задолго до того, как это сделало сообщество специалистов по ИИ. Самым известным примером является «Мгновенный крах» (Flash Crash) 2010 года (резкое падение американского рынка акций 6 мая 2010 года, спровоцированное проведением мнимых сделок со срочными биржевыми контрактами путем выставления и молниеносного снятия 19 тысяч заявок на покупку и продажу ценных бумаг объемом до $200 млн с помощью программ высокочастотной торговли. Злоумышленник был изобличён лишь через 5 лет – Н.Х.), но было и бесчисленное множество других, менее значительных инцидентов, в которых автоматизированные стратегии неожиданно делали ситуацию неконтролируемой контроля, или же взаимодействие между системами приводило к непредвиденным последствиям.
Говоря о ранних сбоях на автоматизированных рынках, люди часто высказываются абстрактно. Однако 6 мая 2010 года наступил момент, привлёкший к данной проблеме внимание всего мира – это был так называемый «мгновенный крах». В течение нескольких минут фондовые рынки США пережили ошеломляюще резкое падение, потеряв почти 1 триллион долларов рыночной стоимости, после чего практически мгновенно восстановились. Одни однотипные сделки заключались на сумму в один цент, другие - на 100 тысяч долларов. Рыночные данные рассинхронизировались. Книги заявок опустошались, а затем снова наполнялись с поразительной скоростью.
Человек не смог бы отследить в режиме реального времени ни один из аспектов происходящего. Впоследствии регуляторы потратили месяцы на реконструкцию инцидента на основе совокупности журналов аудита торгов, данных о событиях, связанных с заявками, системных отметок времени и документов о разработке задействованных торговых стратегий. Именно эта работа по реконструкции выявила основную проблему: автоматизированные системы взаимодействовали неожиданным образом, что привело к перерастанию крупного заказа на продажу в каскадный системный сбой.
«Мгновенный крах» кое-что прояснил задолго до того, как ИИ вошел в число основных тем дискуссий по вопросам политик. Сложные автоматизированные системы способны дестабилизировать целые сектора экономики за считанные секунды, и единственный способ понять, что произошло, - это проследить цепочку свидетельств о действиях системы. Финансовые рынки на собственном горьком опыте убедились, что подотчетность невозможна без документов, достаточно подробных для воссоздания момента краха.
Не случайно многие современные правила в отношении журналов аудита и алгоритмического надзора были ужесточены после 2010 года. Это событие продемонстрировало ограниченность осуществляемого человеком надзора в режиме реального времени и сделало реконструируемость непреложным требованием в отношении надзора и контроля над поведением автоматических систем.
Регуляторы пришли к простому и глубокому выводу:
- Системы быстрее людей,
- Люди могут быть не в состоянии вмешаться в режиме реального времени,
- Мероприятия контроля и надзора после события невозможен в отсутствии памяти,
- Документальный «след» является единственным способом, обеспечивающим возможность понять действия автоматизированных систем.
Как только осознаётся этот факт, всё остальное приходит само собой. Если на финансовом рынке правят алгоритмы, то рынок управляется благодаря документам, свидетельствующим о поведении алгоритмов.
Таким образом, финансовая отрасль занималась на практике обеспечением сохранности алгоритмов за десятилетия до того, как появился соответствующий термин.
Возвращаясь к современному стратегическому управлению искусственным интеллектом
Если сопоставить финансовое регулирование с Законом Евросоюза об ИИ, то параллели очевидны:
- На финансовых рынках требуется документация о жизненном цикле. Закон об ИИ требует документации о жизненном цикле.
- На финансовых рынках требуются журналы аудита. Закон об ИИ требует протоколирования в журналах аудита, достаточно для реконструкции решений.
- На финансовых рынках требуются история версий и журналы изменений. Закон об ИИ требует управления версиями и свидетельств изменений.
- На финансовых рынках требуется сохранение данных, достаточных для обеспечения исполнения законодательно-нормативных требований. Закон об ИИ требует сохранение данных, достаточных для обеспечения надзора и контроля.
- На финансовых рынках требуется обеспечить возможность воссоздания автоматизированного поведения. Закон об ИИ требует обеспечить возможность реконструкции действий системы.
Эти два режима [нормативно-правового регулирования – Н.Х.] эволюционировали независимо друг от друга, но их объединяет одна и та же ключевая идея: стратегическое управление опирается на свидетельства / доказательства.
Финансовые рынки пришли к этому первыми, потому что имевшие там место сбои были мгновенными и измеримыми. ИИ только сейчас достигает подобного уровня интеграции в общество, и регулирующие органы начинают понимать ту же истину: подотчетность невозможна без памяти.
Сдвиг в серии постов: От осознания проблемы к архитектуре
В 4-й части серия постов переходит от осознания проблемы к пониманию её архитектуры её решений. Финансовый сектор показывает, как может выглядеть обеспечение сохранности алгоритмов при реализации в оперативной деятельности. В ней представлена самая ясная и понятная из существующих моделей сохранения доказательной базы (evidential recordkeeping) для автоматизированных систем.
Отсюда становятся понятными дальнейшие шаги:
- В 5-й части будут описаны компоненты «пакета» для обеспечения сохранности алгоритмов (algorithm preservation package);
- В 6-й части будут рассмотрены экспертиза ценности, виды ценности, установление и отслеживание сроков хранения;
- В 7-й части речь пойдёт о том, что означает проектирование систем с функцией сохранения памяти по умолчанию.
Финансовые рынки показывают нам конечное состояние: мир, в котором автоматизированные системы управляемы, поскольку обеспечивается сохранение их памяти.
В следующем посте мы переходим к вопросу о том, как построить аналогичную архитектуру для других ситуаций.
Эндрю Поттер (Andrew Potter)
Источник: сайт Substack
https://metaarchivist.substack.com/p/bones-of-accountability-preserving-874


