(Окончание, начало см. https://rusrim.blogspot.com/2018/10/4-1.html )
Касси Финдлей: И мы, что меня очень радует, таким образом, быстро переходим к вопросу, который я считаю одним из наиболее важных – к проблеме недостаточно й подотчетности и прозрачности алгоритмов, принимающих решения, способные повлечь за собой столь значительные последствия. Я не знаю, кто создал приложение COMPAS, - была ли это частная компания?
Эллен Брод: Раньше она называлась Northpointe, а сейчас, насколько я знаю, она именуется Equivant.
Касси Финдлей: Да, и с учетом всех тех сложностей, о которых Вы упомянули, связанных с тем, как этот алгоритм делает выводы, какие данные анализируется, откуда эти данные поступают, каково их происхождение, какие предубеждения могли быть в них отражены, - чего мы, я думаю, справедливо будет сказать, в большинстве случаев просто не знаем… Не хотели бы Вы немного остановиться на этом вопросе?
Эллен Брод: Абсолютно и определенно одна из тех вещей, с которых я предпочитаю начинать обсуждение, когда речь заходит о непрозрачном характере многих этих систем, заключается в том, что порой процесс принятия решений человеком даже труднее «разложить по полочкам», что влечёт за собой похожие последствия, - так что все эти системы должны учиться на накопленном опыте человеческих решений и человеческих моделей поведения. Так, например, в контексте правоохранительной деятельности судьи, лица, ответственные за условно-досрочное освобождения и разработчики политик десятилетиями (почти целое столетие!), используя для различные способы, пытались предсказать, кто из преступников с большой вероятностью будет совершать преступления повторно. Ведь действительно важная часть уголовного правосудия и полицейской деятельности заключается в том, чтобы по возможности быстро и без проволочек возвращать людей в общество, если они не представляют собой дальнейшего риска, одновременно выявляя среди населения опасных людей и защищая сообщество от связанного с ними риска.
И это очень эмоциональный вопрос. В книге я сказала несколько слов о том, что это действительно трудно решаемая проблема, и мы пытаемся справиться с ней уже в течение длительного времени. Таким образом, у алгоритма компании Northpointe / Equivant на самом деле наблюдаются проявления того же подхода к принятию решений, за исключением того, что теперь этот процесс осуществляется в программном обеспечении. И поскольку. Как Вы сказали, процесс был в каких-то аспектах умышленно непрозрачным, было очень сложно было точно определить, какие переменные использовались компанией Northpointe / Equivant в её алгоритме прогнозирования. Было трудно понять, какие данные использовались для обучения алгоритма, трудно найти информацию о проведенном тестировании, оценить точность результатов. Это всё проприетарная информация, которую было довольно сложно получить с течением времени. Кое-какие сведения продолжают извлекаться. Хотя по сути это умышленно созданный «черный ящик», но, поскольку это программное обеспечение, мы можем, по крайней мере, количественно определить и идентифицировать источники или причины определенной предвзятости и принятия определенных решений, которые в случае принятия решений людьми, мы интуитивно понимаем, но не можем систематически «разложить по полочкам».
Что действительно интересно в алгоритме COMPAS, это не только то, что он служит примером проприетарного алгоритма, разработанного с намерением повлиять на реальный мир, но то, что он принимает решения - или, скажем так, должен помогать принимать решения судьям и лицам, ответственным за условно-досрочное освобождение, - поэтому они полагаются на него при принятии иных решений, и это трудно контролировать. Для меня особенно интересным в примере Northpointe было то, что последующие исследования показали, что несмотря на всю сложность алгоритмов и использование этих сотен переменных для подготовки прогнозов, уровень точности получается очень близким к тому, который можно достичь, используя всего 5-6 переменных. Добавление всех этих дополнительных данных не обязательно улучшают качество работы Вашей системы. И я думаю, что это очень важный момент, к которому следует возвращаться, особенно когда речь заходит о больших данных: эти более сложные алгоритмы, использующие огромное количество исходных данных, могут быть не лучше, чем опрос из пяти пунктов.
Мой комментарий: В точных науках давным-давно известно, что «малые» целенаправленно собранные, высококачественные данные неизменно позволяют получить более точные конечные результаты, чем попытки выявления скрытых закономерностей в огромных массивах данных, часто неизвестно кем и как собранных. В гуманитарных дисциплинах процесс прохождения «грабель» пока продолжается …
Касси Финдлей: Это очень интересно. Давайте вернёмся к ранее высказанной Вами мысли о том, что ранее все эти решения принимали люди, на основе располагаемой ими информации и при всём связанным с этим потенциалом для совершения ошибок. Она напоминает о подходе, который мы используем для тщательного изучения и оценки правильности процесса принятия решений «старого мира» посредством применения законодательства о свободе доступа к государственной информации (FOI), изучения свидетельств принятия решений - однако с распространением частно-государственных партнёрств утрачиваются некоторые из этих возможностей для тщательного анализа данных (пусть даже раньше это были данные в аналоговой форме). Наблюдаете ли Вы какие-либо свидетельства более совершенной практики в деятельности государственных органов, в том плане, чтобы заставить частных партнеров обеспечить подотчётность там, где они оказывают государственные услуги?
Эллен Брод: Если говорить конкретно о прогностических системах и ИИ в Австралии, то не особенно. В США, однако, появляется ряд действительно интересных разработок, касающихся регулирования автоматизированных услуг, предоставляемых частными компаниями в партнерстве с государственными органами. Я с интересом слежу за деятельностью алгоритмической целевой группой Нью-Йорка. Эта группа изучает вопрос о том, как обеспечить подотчётность поставщиков автоматизированных услуг Нью-Йорка и что сюда может быть включено. Думаю, мы могли бы изучить возможности использования различных механизмов и структур, правил, законов, принципов, ожиданий для того, чтобы повлиять на характер партнерства компаний частного сектора с государством при оказании услуг в других областях. Если Вы поставляете, например, медицинские инструменты или оказываете медицинские услуги от имени государственного поставщика, Вы обязаны соблюдать ряд правил, которые определяют, как Вы предоставляете эту услугу.
У нас есть правила, регламентирующие то, как говорят и действуют сотрудники, выполняющие функции государственных служащих. Это поле деятельности никогда не было открытым для всех. Для представителей частного сектора – участников частно-государственных партнерств, никогда не было абсолютной свободы. Собственно, для меня странным выглядит спор о правах интеллектуальной собственности по отношению к автоматизированным системам. Законодательство об интеллектуальной собственности – это не абсолютные законы природы, которые нужно лишь открыть; это всегда был баланс между доступностью информации в общественных интересах и защитой информации, и мы поддерживаем этот баланс в каждом секторе, используя как явные исключения из законов о защите интеллектуальной собственности, так и правила, которые должны способствовать формированию ответственного поведения в этом секторе.
Фармацевтические компании, например, не могут хранить в абсолютной тайне всё, что делается ими в связи с фармацевтическими препаратами, которые они предлагают публике, потому что они несут ответственность за предотвращение вреда для населения, и частью этого является раскрытие информации тестировании их продуктов, прохождение аудита, необходимость продемонстрировать свою подотчётность, - поэтому я считаю неуместной ссылку на права интеллектуальной собственности в отношении технологий, поскольку эти права никогда не предназначались для ограничения доступа к информации, приносящей пользу общественности, помогающей нам обеспечить защиту людей от вреда и способствующей совершению людьми осознанного выбора в отношении того, что происходит с ними.
Касси Финдлей: По собственному опыту работы в сфере управления документами в государственных органах я знаю, что переговоры и договоренности о передаче какой-либо государственной функции на выполнение частному партнеру всегда затрагивают вопросы хранения документов. Однако сравнительно недавно, пять лет тому назад, когда я всё ещё работал в государственном учреждении, это выглядело достаточно старомодно, типа, «по окончании контракта Вы передадите нам все документы», вместо создания механизмов обмена информацией в реальном времени или, как минимум, обеспечения большей прозрачности при выполнении программы, непосредственно влияющих на государство посредством принятия решений «по доверенности». Так что, как я понимаю, Вы говорите о том, что должны быть какие-то дополнительные рычаги и механизмы, и это должно стать нормой при заключении государственными органами подобных соглашений?
Эллен Брод: Да, я бы провела классификацию закупаемого государством программного обеспечения. Когда речь идёт об искусственном интеллекте и прогностических системах, эти программные продукты всё ещё находятся в стадии разработки, и, с моей точки зрения, мы пока ещё не достигли зрелости в части того, как мы закупаем программное обеспечение, - отчасти из-за того, что нет ясного понимания того, как работает это программное обеспечение, и что следует знать и понимать, чтобы иметь возможность разобраться, как это программное обеспечение работает, развивать его и привлечь кого-либо ещё для его исправления. В Англии я много занималась вопросами закупок данных. Нередко одна из реальных проблем, с которой мы сталкивались, была весьма похожей на требование передать все документы по окончании контракта – в случае наборов данных, это звучало как требование о передаче в конце всех собираемых данные, без указания, каких именно.
Иногда вы можете встретить в контрактах положения о том, что в конце проекта Вы обязаны анонимизировать и передать набор данных, но для организации более полезным было бы требование передать методологию, использованную при сборе данных. Тогда, если Вы захотите повторить этот процесс, это будет легко сделать. Вам нужно понимать, как были собраны данные. Вы также хотите знать, где и кого они были собраны, она случай, если Вам нужно будет вернуться и воссоздать набор данных. Как правило, Вам недостаточно получить лишь «конечный результат», причем даже получение этого результата, возможно, не даст Вам прав, необходимых для его свободного использования. Как мне представляется, мы все ещё пытаемся осознать, что именно нам нужно получить в процессе проведения закупок.
Касси Финдлей: В книге, как я понимаю, Вы сказали о важности понимания механизмов и методологий сбора данных, как с точки зрения справедливости, так и с точки зрения «умолчаний» в данных, типа того, как в фондах архивах раньше не отражались определенные группы и слои общества, особенно маргинализированные группы. Иметь возможность сильнее повлиять на деятельность государственного органа, который, как можно надеяться, стремиться действовать в интересах общества, посредством раннего вовлечения в разработку этих методов сбора информации – с моей точки зрения, наиболее подходящий способ действий.
Эллен Брод: Насколько я помню, Вы и Джон Шеридан затронули этот вопрос в одной из предыдущих бесед. Сама я им специально не занималась… Да, наши с ним беседы о данных в архивах всегда были захватывающими и наводящими на размышления. Помню одну из наших бесед об обеспечении долговременной сохранности данных и принятии решений, а также о влиянии технологий защиты персональных данных и изменения отношений к неприкосновенности частной жизни на будущее долговременной сохранности. В отношении государственных документов, помню, как мы обсуждали, что вследствие аутсорсинга многих связанных с данными функций вопрос обеспечения долговременной сохранности этой информации выходит из-под контроля уполномоченного органа по вопросам управления документами. Знаете, это напоминает ситуацию, когда Вы пытаетесь изучать какой-то проект, Вы можете найти отчет, ссылающийся на определенные исследования, это у Вас есть, - но у вас нет доступа к самим результатам исследований, которые легли в основу отчёта, и Вы не можете сами проанализировать эти данные. Я всё чаще сталкиваюсь с этой проблемой. Мы можем получать результаты, можем архивировать отчеты и «снимки»; однако обеспечение сохранности собранных частными компаниями данных, при оказании ими по сути государственных услуг, действительно дело сложное. Вопрос о защите персональных данных сам по себе интересный, но он своего рода отдельный ...
Касси Финдлей: О, не волнуйтесь. Перед, чем закончить нашу беседу, у меня будет быстрый вопрос о неприкосновенности частной жизни.
В следующем эпизоде мы действительно обсудим вопрос данных в связи с защитой неприкосновенности частной жизни, а Эллен выскажет ряд идей о том, в каком направлении всё это движется.
Беседу вела Касси Финдлей (Cassie Findlay)
Источник: сайт «Recordkeeping Roundtable»
https://rkroundtable.org/2018/10/06/recordkeeping-roundcasts-episode-4-ai-accountability-and-archives/
Комментариев нет:
Отправить комментарий