Искусственный интеллект: При использовании предварительно обученных ИИ-алгоритмов в других организациях результаты могут отличаться

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 23 ноября 2021 года на блоге компании Formtek.

Алгоритмы искусственного интеллекту (ИИ) можно обучить (не следует, однако, забывать о том, что искусственный интеллект не сводится к решениям на основе машинного обучения и нейронных сетей – Н.Х.). Но важно помнить, что обученные алгоритмы настроены с использованием специфических наборов обучающих данных так, чтобы хорошо работать в очень специфических условиях. Попытки применять обученный алгоритм к данным, которые были созданы или собраны иначе, чем исходные обучающие данные, не всегда могут давать хорошие результаты.

Профессор Стэнфордского университета и пионер ИИ Эндрю Нг (Andrew Ng, https://www.andrewng.org/ ) в интервью, данном Текле Пери (Tekla Perry, https://www.linkedin.com/in/tekla-perry-33b4a211/ ) для сайта IEEE Spectrum (см. https://spectrum.ieee.org/view-from-the-valley/artificial-intelligence/machine-learning/andrew-ng-xrays-the-ai-hype ), говорил о проблемах, которые могут возникнуть, когда алгоритмы ИИ, настроенные для работы с тестовыми данными в лаборатории, переводятся в промышленную эксплуатацию и используются для анализа данных из приложений в реальной жизни.

Эндрю Нг ( https://www.linkedin.com/in/andrewyng/ ) отметил, что «когда мы собираем данные Стэнфордского госпиталя, затем обучаем алгоритм и тестируем его на данных из того же госпиталя, то, действительно, мы можем публиковать статьи, показывающие, что алгоритмы сопоставимы по эффективности с радиологами-людьми в плане выявления определенных симптомов. Оказывается, однако, что когда Вы берёте ту же самую модель и ту же самую ИИ-систему в более старую больницу вниз по улице, где стоит старый компьютер и техник использует несколько иной протокол захвата графических образов, возникающее смещение в данных может приводить к значительному ухудшению эффективности ИИ-системы. Напротив, любой рентгенолог-человек может прогуляться по улице до этой более старой больницы и отработать там как надо. Таким образом, даже если в определенный момент времени на конкретном наборе данных мы можем показать, что ИИ работает, - клиническая реальность такова, что все эти модели всё ещё нуждаются в основательной доработке, прежде чем они будут готовы к промышленной эксплуатации».

Нг сказал, что «у искусственного интеллекта повсеместно, а не только в сфере здравоохранения, есть разрыв между проверкой работоспособности концепции и промышленной эксплуатаций. Полный цикл проекта машинного обучения - это не одна только разработка модели. В него входит поиск правильных данные, развертывание и мониторинг ИИ-решения, обеспечение обратной связи к модели, демонстрация безопасности - делается всё, что необходимо сделать для подготовки к промышленной эксплуатации. Это куда большее, чем получение хороших результатов на тестовой выборке, в чём, к счастью или к сожалению, мы преуспеваем в сфере машинного обучения».

Дик Вейсингер (Dick Weisinger)

Источник: блог компании Formtek
https://formtek.com/blog/artificial-intelligence-your-miles-may-vary-when-ai-algorithms-go-into-production/