По мере того, как организации продвигаются по пути цифровой трансформации и всё более автоматизируют свои деловые процессы, компьютерные алгоритмы приобретают всё большее значение.
Алгоритмы точны в том, что они делают, но при этом они просто следуют логике, которая была заложения в них при их создании, - но если эта логика ошибочна, и особенно если алгоритм применяется в масштабе сотен или тысяч раз, то могут быть приняты решения и совершены действия, «перекошенные» в сторону непреднамеренных предубеждений и неуместных действий.
Алгоритмы обвиняются в том, что они нарушают неприкосновенность частной жизни, несправедливо относятся к клиентам при работе в приложениях и при принятии решений, а также достают клиентов нежелательными предложениями. Особой критике подвергаются алгоритмы, основанные на искусственном интеллекте (ИИ - artificial intelligence, AI), глубоком обучении (deep learning, DL) и машинном обучении (machine learning, ML).
В результате организации обращаются к аудитам алгоритмов с тем, чтобы попытаться выявить встроенные в алгоритмы необъективность и недобросовестные практики. Предлагается принимать нормативно-правовые акты, требующие проведения аудита алгоритмов.
Недавним примером, прошедшим в новостях, стало программное обеспечение, использовавшееся компанией HireVue при оказании помощи крупным компаниям, таким как Walmart и Goldman Sachs, с проведением собеседований с кандидатами на должности ( https://themarkup.org/ask-the-markup/2021/02/23/can-auditing-eliminate-bias-from-algorithms ). Анализирующие интервью с кандидатами алгоритмы HireVue подверглись критике как предвзятые.
Технический обозреватель Джеймс Кобиелус (James Kobielus) отмечает, что «ИТ-директорам необходимо опережать эту тенденцию, вводя внутренние практики, ориентированные на проведение аудита алгоритмов, подотчётность и прозрачность. Организации всех отраслей должны быть готовы отреагировать на усиливающиеся требования о проведении ими аудита полного набора бизнес-правил и моделей искусственного интеллекта / глубокого обучения / машинного обучения, которые их разработчики закодировали в процессы, влияющие на клиентов, сотрудников и на другие заинтересованные стороны» (см. https://www.linkedin.com/in/jameskobielus/ ).
Дик Вейсингер (Dick Weisinger)
Мой комментарий: Я хотела бы отметить несколько, как мне кажется, принципиальных моментов:
- В реальном мире абсолютно непредвзятое обучение алгоритмов – нереализуемая мечта, по целому ряду причин. При обучении алгоритмы «подхватывают» все предвзятости, которые уже имеют место в обучающей выборке – будь то вследствие недостатков существующей практики или вследствие неудачного формирования выборки. Соответственно, проектируя ИИ-системы на основе обучаемых алгоритмов, следует учитывать, что модели неизбежно придётся дорабатывать;
- Даже если невозможное свершилось, и модель после первоначального обучения оказалась идеальной, «счастье» будет недолгим. В нашу эпоху быстрых перемен ситуация неизбежно будет меняться, и рано или поздно модель перестанет отвечать потребностям – и её опять-таки придётся непрерывно доучивать;
- Непредвзятость, как и красота, в глазах смотрящего. Люди, которых не устоят действия и решения ИИ-алгоритмов, в любом случае, пойдя в суд, будут тему необъективности поднимать (авось прокатит!) – и если ответчикам сильно не повезёт, суд может заставить их доказывать объективность своих алгоритмов, что всегда очень и очень трудно. Ну а хоть какую-нибудь, хоть малюсенькую необъективность при желании всегда можно «откопать» :)
- Обучаемые ИИ-алгоритмы неплохо могут самосовершенствоваться в случае медленной эволюции условий, в которых они работают. Они, однако, плохо «переносят» происходящие в одночасье кардинальные изменения (например, изменения законодательства, вступающие в силу с определённой даты – до этой даты нужно работать по-старому и дообучаться системе незачем и не на чем; а после – нужно сразу работать по-новому, и принимаемые алгоритмом решения могут оказаться незаконными). А ведь резкие изменения всегда были характерны для России, даже в не столь бурные времена …
- Наконец, меня беспокоит то, что продвигающие обучаемые модели люди, как и все прочие авторы инновационных алгоритмов, совершенно не задумываются о долговременной перспективе – о том, что будет с их решениями спустя 5-10 лет, когда технологии очередной раз устареют. Если «потом и кровью» обученную модель не удастся перенести в новое решение, то придётся проделывать всю работу по обучению модели заново, - одновременно пытаясь утихомирить гнев сотрудников и клиентов, которые могут в одночасье лишиться привычных удобных сервисов.
Источник: блог компании Formtek
https://formtek.com/blog/auditing-algorithms-protecting-privacy-and-minimizing-biases/
Комментариев нет:
Отправить комментарий