(Окончание, начало см. http://rusrim.blogspot.com/2025/11/1.html )
Предвзятость на машинных скоростях
Затем разговор свернул на менее радостную тему. Холмс рассказал о том, как в 2023 году несколько банков обнаружили, что их алгоритмы оценки обратившихся за кредитами лиц непропорционально часто отклоняли заявки от женщин и представителей меньшинств. Никто специально не программировал подобную предвзятость в эти системы, она естественным образом возникла из исторических данных, отражающих десятилетия предвзятых кредитных моделей, неравенства в оплате труда и унаследованные структуры доверия.
Мой комментарий: На самом деле данный пример показывает, как политическая повестка входит в противоречие с объективной реальностью. Обрабатывая фактические данные (причём не за «десятилетия», а достаточно свежие) искусственный интеллект просто зафиксировал реально существующие закономерности – а именно то, что определенные категории и группы населения меньше зарабатывают, чаще болеют и меняют место работы, их уровень доходов менее стабилен и они чаще оказываются неспособными вернуть кредиты. Если такого рода правда так неприятна, и если задача эффективной деятельности кредитных организаций менее важна, чем политическая повестка, то нет необходимости использовать ИИ – можно просто раздавать кредиты всем без разбора представителям меньшинств, не так ли?
«Опасность не в том, что ИИ совершает ошибки», - отметил Холмс, - «а в том, что он совершает их очень уверенно — масштабно и беззастенчиво».
Собственно, в этом и заключалась суть его предостережения. У ИИ нет злого умысла, но и нет тормозов. Он не подвергает сомнению собственные выводы. ИИ усиливает статистические призраки нашего прошлого, пока они не станут политикой. Результат - не научная фантастика, а ускоренно усиливающий неравенство цикл обратной связи, реализуемый кодом.
Мой комментарий: То, что современные технологии ИИ – причём не все, а основанные на машинном обучении – склонны к галлюцинациям и (пока что) недостаточно контролируют достоверность выдаваемых результатов, является не следствием какого-то закона природы, а результатом проектно-конструкторских решений, принятых разработчиками таких технологий. Нет ничего невозможного в создании ИИ, не имеющего таких недостатков, такие работы ведутся и соответствующие решения уже близки к стадии промышленной эксплуатации.
Что касается борьбы с предвзятостью, то здесь ничего особенно и изобретать не надо. Нужно вести постоянный мониторинг показателей предвзятости и создать обратную связь, обеспечивающую соответствующую корректировку параметров модели ИИ. «Маленькая проблемочка», однако, заключается в том, что предвзятость – понятие очень субъективное, и то что для одних предвзятость, другими может восприниматься как образец справедливости … Нереально надеяться на то, что принимаемые решения удовлетворят всех и каждого.
Именно поэтому, - настаивал Холмс, - осуществление стратегического управления человеком не является опциональным. Это этическая страховка в эпоху, в которую в противном случае автоматизация осуществляется без каких-либо раздумий.
Когда ИИ действует правильно
Доклад Холмса не был пессимистическим. На самом деле его самыми интересными частями оказались те, в которых он описывал успешное применение ИИ. По его словам, системы, обученные на разнообразных анонимизированных медицинских снимках, уже начали выявлять на ранних стадиях рак молочной железы на уровне, сопоставимом или даже превосходящим уровень людей - врачей-рентгенологов. В сфере мониторинга окружающей среды модели ИИ, использующие спутниковые снимки, теперь выявляют ведущие незаконный лов рыболовные суда в режиме реального времени, помогая правительствам защищать морские экосистемы и обеспечивать продовольственную безопасность.
Контраст был весьма поучительным. Эти успехи были достигнуты не за счёт более быстрых процессоров или более крупных бюджетов, а стали результатом хорошо управляемых, этично курируемых наборов данных - благодаря человеческому надзору и контролю, обеспечивающему многообразие, точность и согласие. «Стратегическое управление превращает ИИ из риска в лекарство», - подчеркнул Холмс.
Разница между скандалом и успехом, - напомнил он нам, - не технологическая, а моральная. Это принятие решения о следовании этическим принципам ещё до развёртывания, а не после провалов.
Хранители машинной истины
К этому времени Холмс перешёл от предостережений к вопросу вовлечения в работу с ИИ. «Ваши документы», - сказал он, - «это обучающие данные завтрашнего дня».
То была не метафора, а констатация факта. Каждое поле в схеме метаданных, каждая классификационная схема, каждая политика защиты персональных данных – совместно все они однажды сформируют то, каким образом машины будут решать, что является релевантным, что – конфиденциальным, а что - несущественным.
Это делает архивистов и специалистов по управлению документами не просто хранителями определённых материалов на периферии технологии, а её «стражами врат». Холмс обрисовал, как должно выглядеть подобное курирование:
- обеспечение прозрачности в отношении того, к каким данным системы ИИ могут получить доступ;
- выявление и категоризация чувствительных (конфиденциальных) и критически важных для миссии организации данных;
- требование представления простых и понятных объяснений для принимаемых алгоритмами решений;
- отслеживать происхождение данных на протяжении всего их жизненного цикла; и
- встраивать этики в рабочие процессы, а не только в политики.
«Обеспечение защиты персональных данных, —- отметил Холмс, «это вопрос не секретности, а курирования». Эта фраза прозвучала очень весомо, как констатация профессионального кредо.
Руль, а не тормоз
Ближе к концу доклада Холмс сделал акцент на размышления философского плана. Он вспомнил, как смотрел матч по регби, и как комментатор сказал о судье, что тот «понимал правила, но не игру». Это была идеальная метафора для управления документами в эпоху ИИ. Мы знаем «правила» – это перечни видов документов с указанием сроков хранения, стандарты метаданных, контрольные списки для проверки на соответствие законодательно-нормативным требованиям - но «игра» изменилась. «Мяч» теперь в движении, перескакивая между наборами данных и алгоритмами, обучаясь и забывая способами, которые мы едва осознаём.
«Этика - не тормоз прогресса», - Подчеркнул Холмс. «Это его руль».
Этот образ остался в памяти. Слишком часто стратегическое управление изображают как тормоз, который замедляет инновации. Холмс представил его иначе: стратегическое управление задаёт направление, и без него ИИ стремительно скатится в пропасть, соскользнув с рельсов человеческого надзора и контроля. Используя стратегическое управление, мы можем направлять своё движение к системам, которые запоминают не только информацию, но и целостность.
И если, как съязвил Холмс, ИИ уже пожрал интернет, то наша задача заключается в том, чтобы решить, что он будет «переваривать» дальше, - и убедиться, что он делает это с соответствующего согласия, в контексте и по совести.
Размышления
Когда стихли аплодисменты и зал наполнилась тихим шумом разговоров, я записал в блокноте: «Прогресс без обеспечения долговременной сохранности информации - это амнезия».
Я осознал, что именно в этом и заключалась суть того, что хотел донести до нас Холмс. ИИ не отменяет потребность в архивистах, а лишь усиливает её. Профессия, когда-то занимавшаяся коробами и метаданными, превращается в невидимую инфраструктуру этичных вычислений. Да, мы являемся хранителями цифровой памяти, - но, более того, мы являемся её моральными редакторами.
Мой комментарий: Мне лично популярная в США и Европе идея превращать архивистов и специалистов по управлению документами из нейтральных ответственных хранителей в «полицейских по документам» представляется крайне опасной. Такой подход способен в корне подорвать доверие к деловым и архивным документам. Архивист может и должен технически обрабатывать фонды, но нельзя позволять ему в угоду его собственным или чьим-то иным воззрениям эти фонды искажать, просеивать или дополнять сторонними материалами – какими бы «неудобными» эти фонды ни были.
Холмс напомнил нам, что цель архивов – не только сохранение памяти о прошлом, но и обеспечение преемственности. Они являются той соединительной тканью, которая позволяет прогрессу помнить самого себя. И по мере того, как ИИ начнёт учиться на имеющихся у нас [у архивистов и специалистов по управлению документами – Н.Х.] данных, мир будет зависеть от нашей способности сбалансировать открытость и ответственность – в том плане, чтобы учить машины не только тому, что человечество сказало, но и тому, что оно имело в виду.
Будущее может быть автоматизированным, но обеспечение целостности его памяти всё равно будет оставаться - упорно, сознательно, ободряюще – в руках человека.
Эндрю Поттер (Andrew Potter)
Как отмечается в биографической справке на сайте конференции, Гай – «серийный предприниматель», движимый неустанным стремлением решать сложные задачи. Проработав несколько десятилетий в нефтегазовой отрасли, где он имел дело с магнитными лентами, и осознав неэффективность традиционных защищённых хранилищ, он стал лидером процесса эволюции унаследованных ленточных систем хранения данных, основав для этого компанию Tape Ark ( https://www.tapeark.com/ ). Разочаровавшись в устаревшей и дорогостоящей практикой внеофисного хранения данных на физических лентах, Гай создал эту компанию, чтобы революционизировать миграцию данных и обеспечение их доступности.
Интересы Гая не ограничиваются унаследованными данными. Он глубоко заинтересован в преобразующем потенциале искусственного интеллекта, особенно в больших языковых LLM-моделях и их способности извлекать ценные знания и представления из огромных наборов данных. Он рассматривает деятельность компании Tape Ark в качестве важнейшего моста между миром унаследованных данных и будущим аналитики на основе ИИ.
Источник: сайт Substack
https://metaarchivist.substack.com/p/when-ai-comes-for-the-archives
Комментариев нет:
Отправить комментарий