США: Национальный центр компетенции по вопросам кибербезопасности NCCoE начал публичное обсуждение предварительного описания проекта по смягчению предвзятости искусственного интеллекта

Данная новость была распространена в новостной рассылке NIST 20 августа 2022 года.

Американский Национальный центр компетенции по вопросам кибербезопасности (National Cybersecurity Center of Excellence, NCCoE) при Национальном институте стандартов и технологий (NIST) опубликовал для публичного обсуждения предварительное описание нового проекта «Смягчение предвзятости искусственного интеллекта/машинного обучения в конкретном контексте: Формирование практики тестирования, оценки, проверки и валидации ИИ-систем» (Mitigating AI/ML Bias in Context: Establishing Practices for Testing, Evaluation, Verification, and Validation of AI Systems). Публикация этого описания проекта запускает процесс сбора отзывов общественности в отношении требований проекта, сферы охвата, а также аппаратных и программных компонентов для использования в лабораторной среде.

Документ объёмом 10 страниц доступен по адресу https://www.nccoe.nist.gov/sites/default/files/2022-08/ai-bias-mitigation-project-description-draft.pdf .

Мы хотим, чтобы Ваши отзывы об этом документе помогли улучшить проект. Период публичного обсуждения уже начался, он завершится 16 сентября 2022 года.

Для того, чтобы решить сложную проблему смягчения предвзятости / необъективности ИИ, в этом проекте будет применен комплексный социотехнический подход к тестированию, оценке, проверке и валидации (testing, evaluation, verification, and validation, TEVV) ИИ-систем в конкретном контексте. Этот подход свяжет технологию с общественными ценностями, с тем, чтобы разработать руководство по рекомендуемой практике внедрения автоматизированного принятия решений, поддерживаемого системами искусственного интеллекта/машинного обучения. Небольшая, но инновационная часть этого проекта будет заключаться в изучении взаимосвязи предвзятости и кибербезопасности и того, как они взаимодействуют друг с другом.

На начальном этапе проекта основное внимание будет уделено проверке концепции в рамках пилотного внедрения для принятия решений по андеррайтингу кредитов в секторе финансовых услуг. В будущем мы намерены рассмотреть другие варианты использования, такие как прием на работу и на учёбу. Результатом этого проекта станет бесплатное практическое руководство, которое будет опубликовано в серии специальных публикаций NIST SP 1800.

Предстоящий вебинар

Ранее мы объявили о проведении 31 августа 2022 года семинара по вопросам смягчения предвзятости ИИ в конкретном контексте (Mitigating AI Bias in Context on Wednesday), на который можно зарегистрироваться по адресу https://www.nccoe.nist.gov/get-involved/attend-events/workshop-mitigating-ai-bias-context/overview ). Теперь решено, что семинар будет чисто виртуальным через приложение WebEx. Он даст возможность обсудить данную тему и поработать над завершением описания этого проекта. Зарегистрироваться на семинар можно по указной выше ссылке. Мы надеемся увидеть Вас там!

Мы хотим узнать Ваше мнение!

Период общественного обсуждения данного проекта продлится до 16 сентября 2022 года. Текст описания проекта и инструкции по представлению отзывов см. на странице https://www.nccoe.nist.gov/projects/mitigating-aiml-bias-context .

Мы ценим и приветствуем Ваш вклад и с нетерпением ждём Ваших комментариев.

Мой комментарий: Во вводной части документа, в частности, отмечается:

«Предвзятость / необъективность в ИИ-системах характерна для многих областей применения, и может приводить к вредным последствиям вне зависимости от первоначальных намерений. Задачей этого проекта является разработка для конкретной области применения руководства по тестированию, оценке, проверке и валидации (TEVV) с целью выявления предвзятости; рекомендаций по устранению предвзятости; и рекомендуемой практики для людей, вовлечённых в автоматизированные процессы принятия решений в конкретном контексте (андеррайтинг кредитов для потребителей и малого бизнеса). Эти практики помогут добиться справедливых и положительных результатов, которые будут полезны пользователям сервисов искусственного интеллекта/машинного обучения, развёртывающим их организациям и обществу в целом.»

Содержание документа следующее:

1. Резюме для руководства
2. Сценарии
•    Сценарий 1. Предварительный анализ набора данных для выявления и устранения предвзятости / необъективности;
•    Сценарий 2. Анализ обучения модели по ходу процесса для выявления и устранения статистической необъективности;
•    Сценарий 3. Анализ логического вывода модели после процесса для выявления и устранения статистической необъективности.
•    Сценарий 4. Процесс принятия решений с участием человека (Human-in-the-loop, HITL) для выявления и смягчения когнитивных предвзятости / необъективности.
3. Высокоуровневая архитектура
4. Соответствующие стандарты и руководства
Приложение А: Литература
Приложение B: Акронимы и сокращения

Источник: новостная рассылка NIST / сайт NCCoE
https://www.nccoe.nist.gov/sites/default/files/2022-08/ai-bias-mitigation-project-description-draft.pdf
https://www.nccoe.nist.gov/projects/mitigating-aiml-bias-context