Воспроизводимость и повторяемость составляют основу научных исследований. Наука работает лучше всего, когда у исследователей достаточно информации и понимания параметров сделанных ранее исследований для того, чтобы они могли воспроизвести эти результаты и далее работать на основе установившихся и проверенных идей.
К сожалению, некоторые области, такие как машинное обучение (Machine Learning), развиваются столь быстро, что эти основы часто игнорируются. В конце концов, новые концепции и инструменты для машинного обучения появляются ежемесячно, если не ежедневно.
Исследователь в области машинного обучения Питер Уорден (Peter Warden, https://petewarden.com/author/petewarden/ ) говорит, что «Ради производительности, базовые платформы машинного обучения идут на компромисс в плане точного количественного детерминизма, поэтому если кто-то каким-то чудом сумел точно скопировать шаги исследования, в конечных результатах всё ещё будут крошечные различия! Во многих реальных случаях исследователь не протоколирует свои действия и не помнит в точности, что именно он сделал, поэтому даже он сам не сможет воспроизвести модель. И даже если сможет, то платформа, на которую опирается код модели, может со временем меняться, порой радикально, поэтому исследователю также нужно будет сделать «снимок» всей системы, которую он использовал, с тем, чтобы обеспечить, что все действительно работает».
Исследователь вопросов «глубокого обучения» (deep learning) Денни Бритц (Denny Britz, https://www.linkedin.com/in/dennybritz/ ) пишет (см. http://blog.dennybritz.com/ ), что «на практике, поскольку все переконструируют методы с использованием разных платформ и потоков даных, сравнения становятся бессмысленными. Почти в каждой реализации модели «глубокого обучения» существует огромное количество «скрытых переменных», которые могут повлиять на результаты».
Исследователям стоит прислушаться к рекомендации профессора Стэнфордского университета Дэвида Донохо (David Donoho, https://statweb.stanford.edu/~donoho/ ), который отметил (см. https://academic.oup.com/biostatistics/article/11/3/385/257703) , что «о вычислительной воспроизводимости нельзя вспоминать «задним числом» - это то, что должно быть заложено в проект с самого начала».
Дик Вейсингер (Dick Weisinger)
Мой комментарий: В последнее время я много публикую высказываний различных специалистов по вопросам машинного обучения, искусственного интеллекта и т.п. Честно говоря, я уже давно ждала, что кто-то поднимет вопрос воспроизводимости результатов (что может иметь принципиальное значение при использовании этих технологий для принятия решений, затрагивающих права и свободы людей, в случае их оспаривания). Я прекрасно помню увлечение «экспертными системами» в 1980-х годах, и то, что, как быстро выяснилось, получавшиеся результаты часто были крайне неустойчивыми и могли кардинально меняться при малейших изменениях в данных, алгоритмах или настройках …
Источник: блог компании Formtek
https://formtek.com/blog/machine-learning-lack-of-reproducibility-threatens-credibility/
Комментариев нет:
Отправить комментарий