Мой комментарий: На эту тему см. также заметку Дика Вейсингера здесь: http://rusrim.blogspot.com/2022/01/blog-post_104.html
Под отравлением или порчей данных (data poisoning) понимается изменение или манипулирование обучающими данными, используемыми в рамках машинного обучения (Machine Learning, ML). Хотя объёмы измененных данных могут быть невелики, этого может быть достаточно для того, чтобы одновременно избежать обнаружения и добиться смещения выдаваемых алгоритмом результатов в желательную сторону.
Одной из причин популярности машинного обучения является наличие бесплатных наборов данных, используемых для машинного обучения, и результатов обучения. Хотя они может быть отличными ресурсами, очень полезными для организаций, не имеющих крупных бюджетов на приобретение данных, - теперь возникает беспокойство (или, по крайней мере, вопрос) по поводу того, надёжны ли эти данные и заслуживают ли они доверия.
Докторант Корнеллского университета (Cornell University, США) Евгений Багдасарян (Eugene Bagdasaryan, https://www.cs.cornell.edu/~eugene/ ) говорит, что «поскольку многие компании и программисты используют модели и коды, взятые с интернет-сайтов для открытого исходного кода, важно анализировать и проверять до их интеграции в Вашу действующую систему. Если хакеры смогут осуществить отравление кода, то они смогут манипулировать моделями, которые автоматизируют цепочки поставок и информационно-пропагандистскую деятельность, а также оценивают резюме и удаляют токсичные комментарии» ( https://techxplore.com/news/2021-08-hackers-poison-open-source-code.html ).
Главный архитектор решений Microsoft для «надёжного и доверенного машинного обучения» (Trustworthy Machine Learning) Хайрум Андерсон (Hyrum Anderson, https://www.linkedin.com/in/hyrumanderson/ ) в интервью изданию CSO Online ( https://www.csoonline.com/ ) отметил, что «в академических кругах прямо сейчас появилось понятие, которое я считаю действительно крутым, но пока что непрактичным, но к которому мы придём - это «машинное отучивание» (machine unlearning). Для GPT-3 («Авторегрессионная генерирующая языковая модель на архитектуре трансформер 3-го поколения» - Generative Pre-trained Transformer 3, GPT-3, см. https://ru.wikipedia.org/wiki/GPT-3 - Н.Х.) стоимость однократного обучения модели составила где-то 16 миллионов долларов или около того. Если бы данные были отравлены, и об этом стало известно лишь впоследствии, то поиск отравленных данных и переобучение могли бы обойтись очень дорого. Но если бы я мог «разучиться», если бы я мог просто сказать: «Эй, отмените все эффекты и весовые коэффициенты, связанные с этими данными!», то такой подход мог бы оказаться значительно более дешёвым способом построения защиты. В то же время я полагаю, что ждать практических решений для машинного отучивания придётся ещё годы. Так что да, в данный момент решение заключается в том, чтобы провести обучение повторно на основе «хороших» данных, и это может быть крайне сложно сделать и/или обойдётся очень дорого» ( https://www.csoonline.com/article/3613932/how-data-poisoning-attacks-corrupt-machine-learning-models.html ).
Дик Вейсингер (Dick Weisinger)
Источник: блог компании Formtek
https://formtek.com/blog/data-poisoning-machine-learning-susceptible-to-manipulation-by-hackers/
Комментариев нет:
Отправить комментарий