ъ
Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 11 марта 2020 года на блоге компании Formtek.
Алгоритмы все чаще используются для оценки, ранжирования и проверки всего и вся. Алгоритмы анализируют и оценивают резюме, заявки на получение кредита, предоставление жилья и многое другое. Они влияют на то, в какой школе сможет учиться Ваш ребенок, какую рекламу Вы увидите и даже какие цены на продукты будут Вам предложены.
Алгоритмы обвиняют в том, что они часто отфильтровывают или дискриминируют заявителей по таким факторам, как пол и раса. Алгоритмы действуют так, как они были запрограммированы, и сами по себе не являются плохими или предвзятыми - просто делают то, что они запрограммированы делать.
«Американский союз гражданских свобод» (American Civil Liberties Union, ACLU) утверждает (см. https://www.aclu.org/blog/privacy-technology/surveillance-technologies/new-york-city-takes-algorithmic-discrimination ), что «даже когда мы знаем, что алгоритм является расистским, не так легко понять, почему. Это отчасти связано с тем, что алгоритмы обычно держатся в секрете. В некоторых случаях они рассматриваются как проприетарная интеллектуальная собственность разработавших их компаний, которые часто бьются когтями и клыками, чтобы предотвратить доступ общественности к исходному коду. Подобная секретность делает невозможным исправление дефективных алгоритмов».
Исследователь по вопросам искусственного интеллекта Мартин Бертран (Martine Bertrand, https://www.linkedin.com/in/martine-bertrand-6218ba6/ ), сказала, что «мы, как люди, стремимся установить границы для моделей машинного обучения, но это будет очень непросто сделать, ведь ИИ всё равно будет отражать предубеждения и предрассудки, которые ему «скармливаются», потому что люди не могут не иметь бессознательных предубеждений» ( https://medium.com/queertech-montreal/artificial-intelligence-will-it-be-fair-unbiased-and-non-discriminatory-21331556e492 ).
Доцент кафедры операций, информации и технологий Стэнфордской высшей школы бизнеса Ян Шпис (Jann Spiess, https://www.gsb.stanford.edu/faculty-research/faculty/jann-spiess ) считает, что «это не просто дело математики. Ясно, что есть компромиссы, которые мы, как общество, должны найти, собравшись вместе и сказав, чего именно мы ожидаем от алгоритма. Существующие нормы пока что не включают такие ответы» ( https://www.gsb.stanford.edu/insights/big-data-racial-bias-can-ghost-be-removed-machine ).
Дик Вейсингер (Dick Weisinger)
Мой комментарий: С моей точки зрения, специалисты-гуманитарии часто впадают в истерику по поводу необъективности алгоритмов, строя теории заговоров там, где на самом деле имеют место обычные недочёты как в разработке алгоритмов и кодов, так и в формировании обучающих выборок. Однако «технари» тоже, на мой взгляд, часто не вполне осознают как масштабы проблемы, так и пути её решения.
Даже если ИИ-алгоритм каким-то чудом будет идеально разработан, обучен и оттестирован, он всё равно со временем может стать «предвзятым» ввиду изменения ситуации во внешнем мире. Поэтому лучше исходить из того, что алгоритм всегда окажется несовершенным, и закладывать в него достаточно серьёзные возможности по настройке.
Для эффективной борьбы с необъективностью алгоритмов их следует охватить обратной связью: нужно ввести измеримые показатели объективности и процессы регулярного уточнения алгоритма на основе этих показателей – что-то вроде системы менеджмента качества. Алгоритмы придётся постоянно перенастраивать и переобучать – и на это нужно изначально настраиваться!
Многие алгоритмы опираются на выявленные при помощи статистических методов корреляции, которые говорят о том, что определенные показатели обычно меняются синхронно, хотя, возможно, между ними и нет прямой причинно-следственной связи (например, они могут согласованно меняться ввиду воздействия «третьих» факторов). Если в некоем районе Нью-Йорка доля преступников вреди определенной этнической группы существенно выше, алгоритмы это обязательно «почувствуют», и уже тем, кто их разрабатывает и утверждает, придётся принимать решение, стоит ли и при каких обстоятельствах игнорировать этот объективный фактор.
Источник: блог компании Formtek
https://formtek.com/blog/artificial-intelligence-the-difficult-task-of-taking-the-bias-out-of-algorithms/
Алгоритмы все чаще используются для оценки, ранжирования и проверки всего и вся. Алгоритмы анализируют и оценивают резюме, заявки на получение кредита, предоставление жилья и многое другое. Они влияют на то, в какой школе сможет учиться Ваш ребенок, какую рекламу Вы увидите и даже какие цены на продукты будут Вам предложены.
Алгоритмы обвиняют в том, что они часто отфильтровывают или дискриминируют заявителей по таким факторам, как пол и раса. Алгоритмы действуют так, как они были запрограммированы, и сами по себе не являются плохими или предвзятыми - просто делают то, что они запрограммированы делать.
«Американский союз гражданских свобод» (American Civil Liberties Union, ACLU) утверждает (см. https://www.aclu.org/blog/privacy-technology/surveillance-technologies/new-york-city-takes-algorithmic-discrimination ), что «даже когда мы знаем, что алгоритм является расистским, не так легко понять, почему. Это отчасти связано с тем, что алгоритмы обычно держатся в секрете. В некоторых случаях они рассматриваются как проприетарная интеллектуальная собственность разработавших их компаний, которые часто бьются когтями и клыками, чтобы предотвратить доступ общественности к исходному коду. Подобная секретность делает невозможным исправление дефективных алгоритмов».
Исследователь по вопросам искусственного интеллекта Мартин Бертран (Martine Bertrand, https://www.linkedin.com/in/martine-bertrand-6218ba6/ ), сказала, что «мы, как люди, стремимся установить границы для моделей машинного обучения, но это будет очень непросто сделать, ведь ИИ всё равно будет отражать предубеждения и предрассудки, которые ему «скармливаются», потому что люди не могут не иметь бессознательных предубеждений» ( https://medium.com/queertech-montreal/artificial-intelligence-will-it-be-fair-unbiased-and-non-discriminatory-21331556e492 ).
Доцент кафедры операций, информации и технологий Стэнфордской высшей школы бизнеса Ян Шпис (Jann Spiess, https://www.gsb.stanford.edu/faculty-research/faculty/jann-spiess ) считает, что «это не просто дело математики. Ясно, что есть компромиссы, которые мы, как общество, должны найти, собравшись вместе и сказав, чего именно мы ожидаем от алгоритма. Существующие нормы пока что не включают такие ответы» ( https://www.gsb.stanford.edu/insights/big-data-racial-bias-can-ghost-be-removed-machine ).
Дик Вейсингер (Dick Weisinger)
Мой комментарий: С моей точки зрения, специалисты-гуманитарии часто впадают в истерику по поводу необъективности алгоритмов, строя теории заговоров там, где на самом деле имеют место обычные недочёты как в разработке алгоритмов и кодов, так и в формировании обучающих выборок. Однако «технари» тоже, на мой взгляд, часто не вполне осознают как масштабы проблемы, так и пути её решения.
Даже если ИИ-алгоритм каким-то чудом будет идеально разработан, обучен и оттестирован, он всё равно со временем может стать «предвзятым» ввиду изменения ситуации во внешнем мире. Поэтому лучше исходить из того, что алгоритм всегда окажется несовершенным, и закладывать в него достаточно серьёзные возможности по настройке.
Для эффективной борьбы с необъективностью алгоритмов их следует охватить обратной связью: нужно ввести измеримые показатели объективности и процессы регулярного уточнения алгоритма на основе этих показателей – что-то вроде системы менеджмента качества. Алгоритмы придётся постоянно перенастраивать и переобучать – и на это нужно изначально настраиваться!
Многие алгоритмы опираются на выявленные при помощи статистических методов корреляции, которые говорят о том, что определенные показатели обычно меняются синхронно, хотя, возможно, между ними и нет прямой причинно-следственной связи (например, они могут согласованно меняться ввиду воздействия «третьих» факторов). Если в некоем районе Нью-Йорка доля преступников вреди определенной этнической группы существенно выше, алгоритмы это обязательно «почувствуют», и уже тем, кто их разрабатывает и утверждает, придётся принимать решение, стоит ли и при каких обстоятельствах игнорировать этот объективный фактор.
Источник: блог компании Formtek
https://formtek.com/blog/artificial-intelligence-the-difficult-task-of-taking-the-bias-out-of-algorithms/
Комментариев нет:
Отправить комментарий