Каждый третий британский орган местной власти (муниципальный совет) использует компьютерные алгоритмы, помогающие принимать решения о выплате пособий и по других проблемах социального обеспечения, несмотря на появление свидетельств того, что некоторые из этих систем ненадёжны.
Ряд компаний, - в том числе американские компании по оценке кредитоспособности Experian и TransUnion, а также аутсорсинговая компания Capita и фирма по интеллектуальной обработке данных Palantir, соучредителем которой является сторонник Трампа миллиардер Питер Тиль (Peter Thiel), - продают местным властям, которых обстоятельства вынуждают искать способы экономии средств, пакеты программ на основе технологии машинного обучения.
Как установили журналисты газеты «Гардиан», 140 органов местной власти заключили контракты на использование программного обеспечения, цена которых может доходить до нескольких миллионов фунтов. Фото: Yuichiro Chino/Getty Images
По итогам проведенного «Гардиан» расследования было установлено, что 140 из 408 муниципальных советов страны уже инвестировали в контракты на подобное программное обеспечение, что более чем вдвое превышает предыдущие оценки. Цена таких контрактов может достигать миллионов фунтов.
Эти системы внедряются для автоматизированной подготовки рекомендаций в отношении заявок на получение льгот и пособий, а также для предупреждения жестокого обращения с детьми и распределения мест в школах. Были, однако, высказаны опасения по поводу обеспечения неприкосновенности частной жизни и защиты персональных данных, способности должностных лиц муниципальных органов власти понять, как работают некоторые из этих систем, а также сложностей с обжалованием гражданами решений, принятых с помощью подобных систем.
Стало известно, что совет Северного Тайнсайда (North Tyneside) отказался от услуг компании TransUnion, чья система использовалась для проверки заявок на предоставление льгот при оплате жилья и муниципальных налогов. Выплаты по социальному обеспечению неустановленному количеству людей были неправомерно задержаны из-за того, что компьютерная «прогностическая аналитика» (predictive analytics) ошибочно отнесла заявки с низким уровнем риска к категории высокого риска.
Тем временем совет района Хакни (Hackney) в восточном Лондоне исключил другую компанию, Xantura, из проекта по прогнозированию жестокого обращения с детьми и профилактическому вмешательству до того, как это произойдет, - заявив, что использование её услуг на дало ожидаемой отдачи. А городской совет Сандерленда (Sunderland) не продлил контракт на услуги аналитики данных стоимостью 4,5 млн. фунтов, оказываемые «информационно-аналитическим хабом» (intelligence hub) от фирмы Palantir.
Представитель Ассоциации местных органов власти (Local Government Association), представляющей интересы муниципальных советов, отметил: «Правильное использование данных может быть чрезвычайно полезным, помогая советам оказывать услуги более целенаправленно и эффективно… Но важно отметить, что данные используются только для поддержки процесса принятия решений, а не для принятия решений за советы».
Однако Силки Карло (Silkie Carlo), являющаяся руководителем группы, проводящий кампанию наблюдения за деятельностью государства в плане слежки за гражданами Big Brother Watch, считает, что расширяющееся использование алгоритмов отдаёт наиболее уязвимых людей на произвол «принимаемых автоматами решений ... о которых они не имеют представления и которые не могут оспаривать».
Консультант по вопросам управления Гвилим Моррис (Gwilym Morris), работающий с обслуживающими государственный сектор ИТ-поставщиками, полагает, что сложность систем означает, что руководство местных органов власти «не вполне понимает, что происходит», и что это вызвало вопросы о том, как использовались данные граждан.
Северный Тайнсайд прекратил использование системы TransUnion в прошлом месяце. Система автоматически обрабатывала данные о лицах, подавших заявки на получение льгот на оплату жилья и муниципальных налогов, с целью определения вероятности мошенничества – это так называемая «проверка на основе оценки риска» (risk based verification). Однако в большинстве случаев, когда программное обеспечение отнесло заявки к категории высокого риска, уровень риска на деле был низким, и принятие решений по таким заявкам неправомерно затянулось.
В отчете совета сделан следующий вывод: «Решение TransUnion не сообщает оснований для отнесения заявки к категории высокого риска, и было выявлено, что в большинстве случаев причина отнесения к этой категории не может быть установлена ... Не было никаких причин для задержки соответствующих выплат, однако обработка этих заявок была задержана».
Представители компании TransUnion в свою очередь заявили, что решения об отнесении к группам риска «в конечном итоге должна принимать местная власть». Они добавили: «Каждый местный орган власти также определяет, какие дополнительные проверки проводятся в отношении заявителей, попадающих в какую-либо конкретную категорию риска, и может вести мониторинг точности классификации с тем, чтобы адаптировать свои критерии в случае необходимости. …Точно так же время, затраченное на рассмотрение заявок «высокого риска», будет зависеть от собственной политики каждого местного органа власти в отношении проведения дополнительных проверок».
Компания TransUnion сообщила, что её система используется для проверки заявок о предоставлении льгот и выплате пособий на предмет возможного мошенничества примерно 70 местными органами власти в Великобритании, и примерно такое же количество муниципальных советов обслуживает решение Xantura. В общий подсчёт не включаются другие примеры применения алгоритмов, выявленные Лабораторией справедливого использования данных (Data Justice Lab) Университета Кардиффа (Cardiff University).
Совет Сандерленда заключил контракт с компанией Palantir на услуги «информационно-аналитического хаба» в 2014 году в рамках программы экономии средств. В прошлом году было объявлено, что у данного органа власти намечается дефицит бюджета, который в ближайшие три года может составить около 50 млн. фунтов стерлингов.
Упомянутый хаб применялся для анализа данных в помощь программе «Проблемные семьи» (Troubled Families), где он использовался для объединения информации о людях, подвергающихся риску сексуальной эксплуатации; а также для определения районов, подверженных риску наводнения. Совет заявил, что итоги проекта не анализировались, и он не может сказать, сколько средств было сэкономлено.
Пресс-секретарь совета заявил, что муниципальный орган изначально не собирался продлевать контракт, и представители Palantir вместе с сотрудниками совета работали над передачей знаний с тем, чтобы совет стал «самодостаточным».
Совет района Хакни сообщил, что «проблема неравномерного качества данных означает, что система не смогла выдавать достаточно полезные заключения».
В прогностической модели решения Xantura анализируются предупреждающие сигналы о положении дел в домохозяйстве, такие, как исключение ребенка из школы или сообщение о домашнем насилии. Полученное на основе модели заключение затем передается социальному работнику для потенциального принятия мер.
Исполнительный директор Xantura Ваджид Шафик (Wajid Shafiq) отметил: «Мы постоянно повышаем точность нашей аналитики и моделей, и у нас не было случаев, чтобы мы не сумели разработать надежную прогностическую модель. …Сейчас используется ряд разработанных нами моделей, дающих реальную отдачу. Более серьезной проблемой является неспособность обеспечить регулярную актуализацию исходных данных, на основе которых совершенствуется модель - если мы не будем регулярно получать свежие данные, мы не сможем дать актуальную картину факторов риска».
Ведущий сотрудник благотворительной организации Involve Саймон Буралл (Simon Burall) говорит: «Эти инновации приносят не только пользу, но также и риски и ущерб, а именно, в плане обеспечения неприкосновенности частной жизни и защиты персональных данных. Есть также потенциал для более масштабных непреднамеренные последствий, включая стигматизацию определенных сообществ и нежелательное вторжение со стороны определенных служб. Любая выгода должны быть сбалансирована с учётом подобных потенциальных рисков.».
По мнению бывшего президента Королевского статистического общества (Royal Statistical Society) Дэвид Шпигельхальтера (David Spiegelhalter), «Вокруг машинного обучения и алгоритмов накручено слишком много ажиотажа и мистики. Я считаю, что муниципальные советы должны требовать достоверных и прозрачных объяснений того, как работает любая из систем, почему она приходит к конкретным выводам об отдельных людях, справедлива ли она, и сможет ли она реально помочь в практической работе».
Сара Марш (Sarah Marsh)
Мой комментарий: Впечатляют масштабы использования решений на основе искусственного интеллекта, услуги которых обычно закупаются как облачные.
На основе доступных публикаций можно сделать вывод о том, что всё не так уж страшно – лишь небольшая часть советов столкнулась с серьёзными проблемами, и есть основания считать, что эти проблемы во многом стали результатом их неспособности обеспечить качественные наборы обучающих данных.
Главная опасность при использовании искусственного интеллекта - как, впрочем, и всех других инновационных технологий, вокруг которых поднимается несусветная шумиха – в слепой вере в то, что эта технология сама по себе, без приложения колоссальных усилий со стороны пользователя, откроет двери в светлое будущее, и что она в принципе неспособна принести вред. Помимо этого, специфические особенности искусственного интеллекта заключаются:
- в «хрупкости» решений – даже небольшие изменения в алгоритмах, кодах, данных, обучении способны привести к получению совершенно иных результатов;
- в непрозрачности работы ИИ, если только не принять специальные меры по документированию процесса получения выводов и обеспечению сохранности сформированной документации в течение установленных сроков хранения. Если же процесс получения выводов документируется, встаёт вопрос о том, в какой степени можно доверять этим документам, поскольку они не являются побочным продуктом или инструментом деловой деятельности и целевым образом создаются «для прокурора»;
- в риске непреднамеренной и умышленной дискриминации по различным признакам;
- в необходимости постоянно «доучивать» решения, отслеживая меняющуюся ситуацию (как понимаете, этот вопрос может стать очень болезненным, если в одночасье будет существенно изменена законодательно нормативная база, что для нашей страны обычное дело);
- в необходимости привлечения высококлассных и пока что редких специалистов для наладки системы и её последующей поддержки, - и организация легко может оказаться у них «в заложниках»;
- и этот список можно продолжать и продолжать!
https://www.theguardian.com/society/2019/oct/15/councils-using-algorithms-make-welfare-decisions-benefits
Комментариев нет:
Отправить комментарий