В ноябре 2024 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации новых технических спецификаций ISO/IEC TS 10866:2024 «Информационные технологии - Облачные вычисления и распределённые платформы - Концепция и понятия автономии организации и цифрового суверенитета» (Information technology - Cloud computing and distributed platforms - Framework and concepts for organizational autonomy and digital sovereignty) объёмом 24 страниц, см. https://www.iso.org/standard/83757.html и https://www.iso.org/obp/ui/en/#!iso:std:83757:en .
Документ подготовлен техническим подкомитетом по стандартизации ИСО/МЭК JTC1/SC38 «Облачные вычисления и распределенные платформы» (Cloud Computing and Distributed Platforms). О работе над этим документом уже рассказывала здесь: http://rusrim.blogspot.com/2024/11/isoiec-ts-10866.html
Во вводной части документа отмечается:
«В настоящем документе определяются понятия, связанные с пересечением вопросов цифрового суверенитета, автономии организаций и цифровой платформы, а также описана концепция, дающая организациям возможность принять во внимание эти понятия.
Данный документ применим всеми организациями и разработчиками политик, которые занимаются вопросами автономии организаций и цифрового суверенитета в облачных сервисах и на распределенных платформах.»
Содержание документа следующее:
Предисловие Введение 1. Область применения 2. Нормативные ссылки 3. Термины и определения 4. Автономия организаций и цифровой суверенитет 5. Концепция 6. Применение концепции Библиография
Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 6 марта 2023 года на блоге компании Formtek.
Известная поговорка «Одна голова хорошо, а две лучше» ( https://www.merriam-webster.com/dictionary/two%20heads%20are%20better%20than%20one ) приобретает новое звучание в области искусственного интеллекта (ИИ). В ИИ под термином «роевой интеллект» (swarm intelligence) понимается объединению групп разумных организмов в сеть, которая обеспечивает взаимодействие и взаимный обмен информацией. Было показано, что по своим возможностям такие «рои» значительно превосходят своих отдельных членов, действующих в одиночку. В вычислительном плане роевой интеллект используется для решения очень сложных задач.
Роевой интеллект представляет собой скоординированное коллективное поведение системы с децентрализованными участниками. Роевой интеллект особенно актуален в сфере Интернета вещей (Internet of Things, IoT) и управления взаимодействием между автономными транспортными средствами и роботами. И, как легко можно было ожидать, особенно интересуются технологией роев военные (см. https://mindmatters.ai/2020/11/is-the-u-s-military-falling-behind-in-artificial-intelligence/ ). Развертывание сетей 5G также будет способствовать взаимодействию и обмену информацией между участниками сети, и предоставит необходимые инструменты для реализации роев.
В апреле 2022 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации второй части новой редакции стандарта, посвящённого потокам и категориям данных в среде облачных и распределённых вычислений - ISO/IEC 19944-2:2022 «Облачные вычисления и распределённые платформы - Потоки, категории и использование данных – Часть 2: Руководство по применению и обеспечению расширяемости» (Cloud computing and distributed platforms - Data flow, data categories and data use - Part 2: Guidance on application and extensibility) объёмом 30 страниц, см. https://www.iso.org/standard/79574.html и https://www.iso.org/obp/ui/#!iso:std:79574:en .
«Стандарт ISO/IEC 19944-1 предлагает таксономию данных, категории обработки и использования данных и другие описательные инструменты, которые могут быть применены к данным. Все аспекты ISO/IEC 19944-1 являются расширяемыми с целью удовлетворения потребностей различных пользователей. Стандартизированная способность классифицировать данные, описывать их использование и иным образом работать с ними полезна в нескольких сценариях, включая применение политики к данным и описание использования данных для заинтересованных сторон.
Цель настоящего документа - помочь пользователям стандарта ISO/IEC 19944-1 посредством предоставления примеров и рекомендаций по его использованию в ряде областей. Кроме того, данный документ предоставляет примеры и рекомендации тем пользователям, которым необходимо расширить ISO/IEC 19944-1.
…Настоящий документ содержит рекомендации по применению описанных в ISO/IEC 19944-1 таксономии и заявлений об использовании в реальных сценариях, а также рассказывает о том, как разрабатывать расширения для таксономии данных, категории обработки и использования и заявления об использовании данных.»
Содержание данного документа следующее:
Предисловие Введение 1. Область применения 2. Нормативные ссылки 3. Термины и определения 4. Сокращения 5. Описание стандарта ISO/IEC 19944-1 6. Как применять стандарт ISO/IEC 19944-1 7. Как расширять стандарт ISO/IEC 19944-1 Библиография
В своем кратком обсуждении данного вопроса Марлинспайк использует пример сегментирования (sharding) базы данных между двумя центрами обработки данных, что вдвое сокращает среднее время наработки на отказ для системы в целом.
Данный пример в определенной степени вводит в заблуждение. В примере Марлинспайка система перешла от бинарной модели отказов – либо работает, либо нет - к модели, в которой отказы ухудшают работу системы, а не вызывают полный коллапс. Во многих случаях это предпочтительнее, особенно при большом количестве сегментов, когда сбой лишь незначительно ухудшает работу системы в целом. Отказоустойчивость является важной особенностью децентрализованных систем (таких, как, например, LOCKSS). Но за отказоустойчивость есть плата двух видов: это стоимость репликации и стоимость синхронизации реплик. Если все сделано правильно, то децентрализация позволяет повысить как отказоустойчивость, так и устойчивость к атакам, - но только при значительных затратах в плане ресурсов и производительности.
Контроль [22:26]
Марлинспайк начинает эту часть выступления так: «Люди воспринимают Интернет как ужасное место, а ведь раньше они таких ощущений не испытывали… и во многом это сводится к ощущению, что у нас нет контроля». Далее он обсуждает два способа, при помощи которых, как считают сторонники децентрализации, пользователи могут осуществлять контроль- переключение между федеративными сервисами и расширяемость (extensibility).
В федеративной среде разные сервисы могут вести себя по-разному, поэтому, когда один из них больше не удовлетворяет потребностям пользователя, тот может переключиться на другой сервис. Марлинспайк исходит из того, что пользователи идентифицируются каждым сервисом независимо, как в примере с электронной почтой. При таком подходе переключение на другой сервис действительно вызывает трудности, поскольку для этого пользователю необходимо перестроить свой «социальный граф». Он отмечает, что многие люди до сих пор пользуются почтой Yahoo!
Его предположение действительно во многих случаях верно, однако децентрализованные системы также могут использовать единый пользовательский идентификационный профиль («суверенный» идентификационный профиль - self-sovereign identity, см. https://en.wikipedia.org/wiki/Self-sovereign_identity ). Примером может служить использование для идентификации открытого ключа.
У Марлинспайк примером [см. 25:24] «протокола, изначально спроектированного расширяемым с тем, чтобы люди могли модифицировать технологию в соответствии со своими потребностями», является XMPP (eXtensible Messaging and Presence Protocol - расширяемый протокол обмена сообщениями и информацией о присутствии, см. https://ru.wikipedia.org/wiki/XMPP - Н.Х.), который, по его словам, увяз в болоте XEP-расширений (XMPP Extension Protocols – протоколы расширения XMPP – Н.Х.). Результатом стала большая неопределенность при использовании - «Вы хотите отправить видео, для этого есть XEP-расширение, но поддерживает ли его получатель?». И несмотря на свою расширяемость, XMPP не мог адаптироваться к крупным переменам, например, к мобильной среде. В результате контроль так и не был обеспечен, поскольку XEP-расширения не имели большой ценности, если они не были приняты повсеместно. Аналогичным образом Марлинспайк говорит о Биткойне, где расширяемость принимает форму «вилок» (forks), приводящих к фрагментации. Мир криптовалют при этом не справился скорее с открытым исходным кодом, чем с децентрализацией.
Выводы
Вывод Марлинспайка: проблема заключается в том, что разработка и внедрение технологии включает «здания или комнаты, заполненные людьми, постоянно сидящими перед компьютерами по 8 часов в день каждый день». Чтобы изменить технологию так, чтобы она лучше служила нашим потребностям, необходимо упростить разработку и развертывание технологий, чего децентрализация совсем не способствует.
Жизнеспособная бизнес-модель. Система, в которой все узлы исполняют одно и то же программное обеспечение, не является по-настоящему децентрализованной. Истинно децентрализованная система должна опираться на экосистему с несколькими поставщиками, у каждого из которых имеется жизнеспособная бизнес-модель, и при этом ни один из них не является достаточно крупным для того, чтобы доминировать на рынке. Как продемонстрировал Брайан Артур (W. Brian Arthur) в 1994 году (см. http://www.amazon.com/Increasing-Returns-Dependence-Economics-Cognition/dp/0472064967 ), акцент на увеличение отдачи от масштаба затрудняет достижение этого на технологических рынках. Практически единственной полужизнеспособной бизнес-моделью для небольших веб-компаний является реклама (см. https://blog.dshr.org/2020/01/advertising-is-bubble.html ) с действительно высокой отдачей от масштаба.
«Стартапы, как оказалось, становятся «троянскими конями». Мы думаем о них как о революционерах, хотя на самом деле они – резервная команда истеблишмента.»
В наши дни стартапы покупаются действующими комапниями-гигантами до того, как они могут стать большими и весьма прибыльными, и, таким образом, превратиться с угрозу для существующих игроков. Без возврата к эффективной борьбе с монополизмом, именно так и произойдёт, если, несмотря на все сомнения, децентрализованная система преуспеет.
«Убойное приложение не может быть «таким же [как существующее централизованное приложение], только децентрализованным», потому что оно не будет таким же эффективным [как централизованное приложение]. Но даже если бы это было так, кому в наши дни нужно приложение Second Life, не говоря уже о «Second Life», но только на блокчейне»? Это приложение должно делать нечто, что нужно пользователям, но что не может быть реализовано в виде централизованной системы.»
Мой комментарий: К сожалению, большинство коллег из ИТ не задумывается об этом. Так, подборки вариантов использования блокчейна (в том числе и готовящийся стандарт ИСО) описывают задачи, которые все без исключения могут быть более эффективно решены с использованием централизованных решений. Практически не рассматриваются ситуации, в которых соответствующая деловая деятельность является распределенной в принципе и просто не поддаётся автоматизации с использованием централизованных решений.
Действительно очень сложно найти приложение, которое нельзя было бы реализовать в рамках централизованной системы, и еще сложнее такое, которое было бы действительно нужно пользователям.
«К сожалению, политики любят изображать из себя защитников своих избирателей от «плохих людей», принимая законы о цензуре веб-контента, предпочитая при этом заставлять существующие платформы выполнять эту работу за них. Законы против детской порнографии и «терроризма», а также «право быть забытым», «защита» персональных данных и «защита» интеллектуальной собственности - все они требуют от публикующих веб-контент систем реализации определенных механизмов для удаления контента.
... В отсутствие поддерживающих цензурирование механизмов уже не просто существующие платформы будут стремиться «убить» наши новые небольшие компании, - это будут правительства.»
Удаление контента трудно реализовать в хорошо спроектированной децентрализованной системе, поэтому адвокаты децентрализованных решений верят, что те устойчивы к цензуре. Однако вероятность успеха в условиях противостояния как существующим платформам, так и правительствам мала.
Наконец, если децентрализованная система внедрена, развернута и стала успешной, то необходимо ещё обеспечить, чтобы она оставалась децентрализованной. Как мы видим на примере самой, наверное, известной децентрализованной технологии блокчейна и распределенных реестров, этого никогда не получается. Как я описал в 2014 году в посте «Экономический эффект масштаба в одноранговых сетях» (см. https://blog.dshr.org/2014/10/economies-of-scale-in-peer-to-peer.html ), существуют очень мощные экономические силы, приводящие к централизации успешной децентрализованной системы.
Как Вы видите, аргументы Марлинспайка опираются в основном на технические соображения, а мои - на экономические, но мы оба согласны с тем, что фундаментальная проблема заключается в том, что децентрализованные системы в силу своей природы предоставляют пользователям худшие возможности, чем централизованные, по тем направлениям, которые волнуют подавляющее большинство пользователей.
Каждый из нас делает упор на свой набор факторов, приводящих к такому результату. Марлинспайк приводит веские доводы в пользу того, что они децентрализованные системы оказываются с точки зрения пользователей хуже даже при тех вариантах применения, которые продвигают их сторонники. Я же утверждаю, что даже если децентрализованные системы наперекор всему преуспеют, то, как и блокчейны, они впоследствии не останутся реально децентрализованными.
Данный пост д-ра Дэвида Розенталя (David Rosenthal – на фото) была опубликован на его блоге (DSHR's Blog) 22 сентября 2020 года.
Всем, кого интересует движение за повторную децентрализации Интернета, просто необходимо посмотреть и обдумать выложенное на YouTube 43-минутное выступление Мокси Марлинспайка (Moxie Marlinspike) на тему «Экосистема меняется: Проблемы, стоящие перед распределенными и децентрализованными технологиями» (The Ecosystem Is Moving: Challenges For Distributed And Decentralized Technology, https://www.youtube.com/watch?v=Nj3YFprqAr8 ). Вывод Марлинспайка следующий: «Я не вполне оптимистичен в отношении будущего децентрализованных систем, - и я также очень хотел бы ошибиться в своей оценке».
Мокси Марлинспайк (Moxie Marlinspike)
Видеозапись выступления Марлинспайка (на английском языке, имеются субтитры)
Я сам потратил почти два десятилетия на создание и промышленную эксплуатацию системы LOCKSS (от Lots of Copies Keep Stuff Safe - «Множество копий гарантирует сохранность», https://www.lockss.org/ ) – довольно небольшой системы, которая была задумана как полностью децентрализованная, но эта цель так и не была в полной мере достигнута.
Я согласен с выводом Марлинспайка, и примерно в таком же духе я писал, как минимум, в 2014 году в своём посте «Экономический эффект масштаба в одноранговых сетях» (Economies of Scale in Peer-to-Peer Networks, http://blog.dshr.org/2014/10/economies-of-scale-in-peer-to-peer.html ). Всегда приятно найти кого-то, кто пришел к такому же выводу совершенно иным путем, как это было в случае с экспертом по масштабируемости Тоддом Хоффом (Todd Hoff, см. http://highscalability.com/blog/2018/8/22/what-do-you-believe-now-that-you-didnt-five-years-ago-centra.html ) в 2018 году, а теперь – с Мокси Марлинспайком, который опирается на свой опыт создания системы обмена зашифрованными сообщениями Signal ( https://signal.org/ ). Далее я сравниваю его причины для скептицизма с моими собственными.
Выступление Марлинспайка состоит из двух частей. Основная мысль первой части [см. на отметке 4 мин. 33 сек.] заключается в том, что «ожидания пользователей в отношении программного обеспечения быстро эволюционируют, и быстрое развитие конфликтует с децентрализацией». Он приводит рад примеров централизованных систем, которые эволюционировали быстрее своих децентрализованных конкурентов, включая Slack в сравнении с IRC, Facebook в сравнении с электронной почтой и WhatsApp в сравнении с XMPP. Децентрализованные протоколы [см. на отметке 6 мин. 04 сек.] «застряли во времени», в то время, как централизованные протоколы постоянно обновляются.
О чём Марлинспайк не упоминает, но что дополнительно подкрепляет его точку зрения - это тот факт, что многие методы, обычно используемые при разработке централизованных систем для улучшения удобства их использования, например, A/B-тестирование (A/B testing, https://ru.wikipedia.org/wiki/A/B-тестирование ), трудно, если вообще возможно, применить в отношении децентрализованных систем. Далее, децентрализация связана со значительными накладными расходами по сравнению с централизованной версией такой же системы. Например, совершенно нереалистична идея о том, что «децентрализованный Twitter» отнимет долю рынка у Twitter – у такого решения отсутствовали бы используемые Twitter методы выяснения предпочтений пользователей, оно бы намного медленнее, чем Twitter, внедряло и развертывало подобные функциональные возможности, которые после развертывания работали бы также медленнее.
Одна из основных причин медленности децентрализованного решения была указана Полом Викси (Paul Vixie) в 2014 году в его статье «Состояние, ограничивающее скорость» (Rate-limiting State, https://queue.acm.org/detail.cfm?id=2578510 ). Если децентрализованные системы не вводят ограничения по скорости, как это делает Биткойн, то они уязвимы для того, что фактически является разновидностями DDoS-атак различного типа. Я обсуждал эту проблему в посте «Ограничения скорости» (Rate-Limits, https://blog.dshr.org/2018/06/rate-limits.html ). В результате децентрализованные системы будут замедляться не только из-за накладных расходов на децентрализацию, но и из-за необходимости искусственно ограничивать скорость работы системы в качестве защитной меры.
Вторая тема Марлинспайка начинается с того, что он спрашивает [на отметке 7:22]: «Зачем нам вообще нужна децентрализация?». Он называет [на отметке 7:32] четыре цели, продвигаемые сторонниками децентрализации:
Защита неприкосновенности частной жизни
Сопротивление цензуре
Доступность
Контроль
Марлинспайк по очереди анализирует каждую из них, доказывая, что в каждом случае централизованные системы обеспечивают лучшее удовлетворение потребностей пользователей, чем децентрализованные. Здесь я приведу лишь краткое резюме его аргументов; Вам стоит внимательно прослушать каждый сегмент его выступления.
Неприкосновенность частной жизни и защита персональных данных [8:01]
Марлинспайк начинает с того, что отмечает: «Большинство децентрализованных систем в мире по умолчанию не использует шифрование». Это связано с тем, что проблемы управления ключами и сертификатами значительно сложнее в P2P-системе, где необходимо реализовать что-то вроде «Паутины доверия» PGP (Web of Trust – см. такжеhttps://ru.wikipedia.org/wiki/Web_of_Trust - Н.Х.), - чем в централизованной системе.
Сторонники децентрализации под «неприкосновенностью частной жизни» (privacy) подразумевают как конфиденциальность данных (data privacy), которая обеспечивается с помощью шифрования, так и конфиденциальность метаданных (metadata privacy), реализуемую посредством «владения данными» (data ownership). Последнее означает, что каждый пользователь владеет и управляет своим собственным сервисом, который содержит его данные. Марлинспайк отмечает, что такой подход выглядит устаревшим, «пережитком тех времен, когда компьютеры существовали для компьютерных специалистов». Подавляющему большинству пользователей для этого не хватает необходимых знаний и навыков. Хотя у самого Марлинспайка такие знания и навыки есть, и [см. 9:57] он действительно управляет собственным почтовым сервером, это не обеспечивает конфиденциальности значимых данных или метаданных, поскольку «каждое электронное письмо, которое я отправляю или получаю, на другом конце попадает в Gmail». Таким образом, у Google есть копии (почти) всех его электронных писем.
По его словам, для реальной защиты данных требуется сквозное шифрование, в то время, как защита метаданных требует инноваций. И то, и другое быстрее будет реализовано в централизованных системах, потому что они могут меняться быстрее. Решение Signal обеспечивает защиту метаданных посредством частных групп, частного обнаружения контактов и конфиденциальности сведений об отправителе, поэтому централизованная служба не может видеть состояние группы и состава её членов, а также того, кто с кем общается. Марлинспайк даёт [см. 10:52] увлекательное описание криптографии, на основе которой строятся частные группы.
Он говорит [см. 16:01]: «P2P-решения не обязательно обеспечивают защиту неприкосновенности частной жизни». Первоначально голосовые и видеозвонки в системе Signal осуществлялись на основе P2P-взаимодействия в рамках прямого контакта между сторонами. Однако пользователи встревожились: «Вы говорите нам, что кто-то может просто позвонить мне и узнать мой IP-адрес?» В общем, теперь звонки маршрутизируются через сервис, однако, поскольку поддерживается сквозное шифрование, сервис не может видеть контент. Он действительно знает IP-адреса сторон, но злоумышленнику придется взломать сервер, чтобы однозначно установить их IP-адреса.
Сопротивление цензуре [17:09]
Используемая Марлинспайком модель цензуры заключается в том, что цензор, - например Великий китайский защитный экран (Great Firewall), - блокирует доступ к сервисам, которые он не одобряет. Проблема здесь в том, что если сервис может быть обнаружен пользователем, то он может быть обнаружен и цензором. К тому же, учитывая автоматизацию, даже если поставщиков сервиса имеется несколько, вполне вероятно, что цензор сможет обнаружить их по крайней мере так же быстро, как и пользователи, - что приводит к известной игре «дай по голове вылезшему из норы кроту» (whack-a-mole). Но в ситуации, если каждый провайдер идентифицирует пользователей независимо, то каждый раз, когда цензор вынуждает пользователей переключиться, им приходится реконструировать свою социальную сеть. Это асимметричная игра, в которой цена для цензора намного меньше, чем для пользователей.
Централизованные сервисы типа WhatsApp и Signal, используют такие методы, как сегментирование прокси (proxy sharding - каждый пользователь может обнаруживать только небольшое подмножество точек доступа), чтобы цензуру было сложно быстро обнаружить все точки доступа к сервисам; а также «маскировка доменом» (domain fronting, https://en.wikipedia.org/wiki/Domain_fronting ), - чтобы сделать затратной блокировку точек доступа, которые цензор сумел обнаружить. Но базовым требованием для защиты от такого рода цензуры является быстрое реагирование [см. 21:07], что затруднительно обеспечить в децентрализованной системе.
Марлинспайк не обсуждает ещё один способ сопротивления цензуре – сопротивляемость децентрализованных систем, таких, как блокчейн-решения, к удалению данных.
«Уровень индекса MVIS CryptoCompare Digital Assets 10 Index продолжил своё падение с январского максимума, потеряв до 80%. ... Наибольшие потери в среду понесла вторая по масштабам криптовалюта «эфир» (Ether). В Нью-Йорке в 7:50 утра она упала на 6% до 171,15 доллара США, увеличив падение в этом месяце до 40 процентов.»
Мой комментарий: на рис. показано, как падали реальные доходы Британской библиотеки в последние годы (цифры приведены в миллионах фунтов стерлингов 2000-го года).
В равной степени частные блокчейны, управляемые институтами, занимающимися сохранением культурно-исторической памяти, сталкивается с большими трудностями в поддержании адекватного числа участников. Эти учреждения сталкиваются с серьёзными финансовыми трудностями (см. https://blog.dshr.org/2017/08/preservation-is-not-technical-problem.html , перевод см. здесь: http://rusrim.blogspot.com/2017/08/blog-post_16.html - Н.Х.) и с конкуренцией за квалифицированный персонал. Их вынуждают передавать свои ИТ-операции на аутсорсинг в «облако», и они вряд ли будут брать на себя новые или даже поддерживать существующие «внутренние» задачи. В сетях с небольшим количеством узлов протокол «Византийской отказоустойчивости» - лучший подход к поддержанию консенсуса, чем доказательство работы, даже если забыть об энергорасточительности последнего.
«Мы могли бы также изучить ... новые бизнес-модели, способствующие жизнестойкости. Например, поддержание решения на основе технологий распределенного реестра (с точки зрения вычислительных усилий для майнинга) можно облегчить, если пользователи, желающие получить подтверждение подлинности документов, будут «платить» за эту услугу посредством внесения своего вклада в поддерживающие DLT-решение усилия по майнингу.»
Вся суть деятельности архивов и учреждений памяти заключается в том, что они хранят материалы, к которым очень редко обращаются. Таким образом, идея обеспечения живучести экономически, путем взимания платы за доступ, никогда не сработает. Это не говоря уже о том, что мысль о том, что отдельные ученые, желающие проверить документы, «заплатят» путем запуска сетевого узла, способна вызвать лишь улыбку.
В-четвертых, авторы некритически воспринимают маркетинговую шумиху вокруг блокчейна, веря, что единственной угрозой безопасности является маловероятный сговор между независимыми узлами (см. https://arxiv.org/abs/1804.08342 ):
«Безопасность блочной цепи является следствием неизменностью данных в блоках, что обеспечивается накопительным эффектом того, что каждый новый блок хешируется таким образом, чтобы охватывать хеши предыдущих блоков. Таким образом, по мере накопления контента в блокчейне, его безопасность усиливается.»
С этим есть ряд проблем:
«Следствием неизменности данных в блоках» является проверяемость блокчейна. Безопасность блокчейна является следствием большим количества реплик блоков на большом числе узлов;
Неизменность блоков зависит от безопасности используемого алгоритма хеширования. Она не является абсолютной; «на протяжении десятилетий или столетий» она деградирует, как это произошло, например, с известным алгоритмом SHA-1 (см. https://blog.dshr.org/2017/03/sha1-is-dead.html );
Поскольку безопасность блокчейн-цепочки зависит от репликации всей цепочки на каждом из большого числа узлов, то успешные блокчейн-решения сталкиваются с проблемой масштабирования, потребляя большие объемы памяти;
В отличие от децентрализованной системы LOCKSS (http://dx.doi.org/10.1145/1047915.1047917 ), решение ARCHANGEL и такие системы, как ACE ( http://hdl.handle.net/1903/4047 ), не хранят сам контент, а содержат лишь хеши контента, которые можно использовать для проверки только в том случае, если сам контент был сохранен с использованием каких-то иных средств.
Справедливости ради нужно отметить, что Колломоссе и его соавторы не претендуют на решение проблемы электронной сохранности в целом, заявляя лишь следующее (см. https://arxiv.org/abs/1804.08342 ):
«Блокчейн предлагает «щит», который архивы смогут использовать для подтверждения аутентичности документов. ... Было также отмечено, что доказательства подлинности контента со временем могут начать приниматься в суде подобно доказательствам на основе анализа ДНК, но что достижение такого уровня доверия потребует больших усилий по объяснения общественности особенностей блокчейна на понятном людям языке, - включая, в частности, объяснение того, почему можно доверять криптографическим подтверждениям, характерным для DLT-решений.»
Обеспечение жизнестойкости - это для архивов задача №1. Нет никакого смысла создавать систему архивации и наполнять её контентом только для того, чтобы она рухнула где-то лет через десять. Чтобы контент смог пережить многочисленные угрозы, которым подвергаются архивные материалы, жизнестойкость должна быть заложена как в технологии, так и в организационные рамки, в которые решение изначально «встраивается» (см. http://dx.doi.org/10.1045/november2005-rosenthal ). Попытки обеспечить жизнестойкость позже, путем принятия дополнительных мер, вряд ли будут эффективными.
То, что в основу архитектуры системы обеспечения электронной сохранности закладывается экономически и экологически нежизнеспособную модель блокчейнов с консенсусом на основе доказательства работы, и неспособность авторов сформулировать сколько-нибудь жизнестойкую бизнес-модель для поддержания системы, делает весь проект нереалистичным.
Дэвид Розенталь (David Rosenthal)
Мой комментарий: У нас архивная служба и другие заинтересованные ведомства пока ещё (может быть, к счастью) только присматриваются к блокчейну и распределенным реестрам. Если повезёт, к тому моменту, когда они о блокчейне задумаются всерьёз, всемирная шумиха по поводу этой технологии начнёт спадать и сменится объективно-критическим отношением. Нам желательно не повторять ошибок, сделанных зарубежными коллегами :) На данный же момент технологии блокчейна и распределенных реестров (точно так же, как и технологии усиленной электронной подписи) при всех своих интересных свойствах, непригодны для создания действительно «долгоживущих» решений, способных выдержать более 10-20 лет :( - и не потому что это невозможно, а потому, что никто в блокчейн-сообществе всерьёз об этом пока что не задумывался…
Заметка сотрудника Библиотеки Стенфордского университета д-ра Дэвида Розенталя (David Rosenthal – на фото, см. также https://www.lockss.org/contact-us/dshr/ ) была опубликована на его блоге (DSHR's Blog) 13 сентября 2018 года.
Мой комментарий: Ниже вы встретите термин ЭЦП (digital signature). Для тех, кого это смущает, поясню: в России «американский» термин ЭЦП перестал использоваться как правовое понятие, его заменил европейский термин «усиленная электронная подпись» (advanced electronic signature). В то же время, как обозначение определенной технологии, этот термин живёт и здравствует в ИТ-литературе, особенно в мировой.
Мы сейчас проходим период, когда блокчейн - или «технология распределенных реестров» - является «Решением всех проблем (TM)», поэтому неизбежно, что эта технология будет предложена в качестве решения проблемы обеспечения долговременной сохранности электронных материалов. Так, в аннотации публикации Джона Колломоссе и других авторов (John Collomosse et al) под названием «Проект ARCHANGEL: Доверенные архивы электронных государственных документов» (ARCHANGEL: Trusted Archives of Digital Public Documents, см. https://arxiv.org/abs/1804.08342 , прямая ссылка на PDF-файл: https://arxiv.org/pdf/1804.08342.pdf ) сказано следующее:
«Мы представляем проект ARCHANGEL – децентрализованную платформу для обеспечения долговременной целостности электронных документов, хранящихся в государственных архивах. Целостность документов имеет фундаментальное значение для доверия общественности к архивам. Однако в настоящее время доверие основано на репутации учреждения – это доверие к «вывеске» централизованного авторитетного органа или учреждения, такого, например, как национальный государственный архиве или университет.
В проекте ARCHANGEL предлагается перейти к технологической поддержке этого доверия посредством использования технологии распределенных реестров (distributed ledger technology, DLT), чтобы криптографически гарантировать происхождение, неизменность и, следовательно, целостность сохраненных в архивах документов.
Мы описываем архитектуру системы ARCHANGEL и рассказываем о прототипе этой архитектуры, созданном в качестве надстройки над инфраструктурой системы «Эфириум» (Ethereum). Мы информируем о первых оценках системы ARCHANGEL заинтересованными сторонами в сфере архивации научно-исследовательских данных, и о поступивших от них замечаниях и предложениях.»
Это прекрасный пример того, как люди, в своей беззаботной наивности, верят в то, что все заявленные свойства блокчейн-систем действительно реализуются в реальном мире. В этой связи я задаю вопрос, а проявили ли Колломоссе со товарищи уместный скептицизм в отношения претензий блокчейна, и оценили ли они жизнеспособность своих предложений?
«Проект ARCHANGEL открывает новые горизонты, предлагая использовать полезную нагрузку блоков блокчейна для записи электронных цифровых подписей (в нашей терминологии, усиленных электронных подписей – Н.Х.) (доказательств, подтверждающих правильность контента), сформированных на основе оцифрованных аналоговых либо изначально-электронных документов с целью обеспечить их целостность на протяжении десятилетий или столетий.»
Неразумно основывать долговременную целостность электронных документов на ЭЦП и, следовательно, на способности хранить секреты длительное время. К счастью, это и необязательно. Существует как минимум два различных подхода для решения данной задачи, которые не зависят от длительно сохраняемых секретов:
Техника перекрёстного хеширования (technique of entangling hashes), запатентованная Стюартом Хабером (Stuart Haber) и другими и реализованная в системе ACE (Auditing Control Environment, http://hdl.handle.net/1903/4047 ), обеспечивает возможность выявления несанкционированного вмешательства в хранимые материалы без использования секретов. Она позволяет обнаруживать несанкционированное вмешательство (но не восстановление после него), используя минимальные объёмы защищённой от вмешательства памяти. Существуют практические трудности для достаточно защищённой реализации этого подхода (см. http://www.lockss.org/locksswiki/files/NIST2010.pdf ), но они гораздо менее значительны, чем те, что возникают при долговременном использовании электронных цифровых подписей.
Протокол, лежащий в основе системы LOCKSS (от Lots of Copies Keep Stuff Safe - «Множество копий гарантирует сохранность», см. http://dx.doi.org/10.1145/1047915.1047917 - проект Стенфордского университета по созданию системы с открытым кодом, позволяющей библиотекам собирать, сохранять и предоставлять читателям доступ к материалам, опубликованным в Интернете - Н.Х.), обеспечивающий хранение без использования длительно сохраняемых секретов, устойчивое к несанкционированному вмешательству со стороны мощного противника. Данный протокол использует краткосрочные секреты, чья продолжительность жизнь - день или меньше, что ограничивает возможный ущерб в случае утечки этих секретов.
Так что эти люди предлагают использовать технологию блокчейна для решения проблемы, для которой коммерческое централизованное решение доступно уже в течение двадцати четырех лет ( http://surety.com/about ); академическое решение с открытым исходным кодом - в течение одиннадцати лет ( http://hdl.handle.net/1903/4047 ) (оба они основаны на патентах, опубликованных двадцать шесть лет тому назад, см. https://patents.google.com/patent/US5136647A/en ); а децентрализованное решение – в течение пятнадцати лет, включая 12 лет его экономически устойчивой промышленной эксплуатации ( http://dx.doi.org/10.1045/september2015-rosenthal ). Ни одна из этих работ авторами не цитируется.
Авторы не говорят о наличии значительного неудовлетворенного спроса на услуги такого рода - по-видимому, потому, что не знают об их существовании в течение уже более десяти лет. Проект ARCHANGEL не «открывает новых горизонтов» даже в части идеи использования для этой цели технологии блокчейна. В опубликованной в 2016 году статье Виктории Лемьё (Victoria Lemieux) «Доверие к документам: Является ли технология блокчейн решением проблемы?» (Trusting records: Is Blockchain technology the answer?, см. https://doi.org/10.1108/RMJ-12-2015-0042 ; об этой публикации см. также мой пост здесь https://rusrim.blogspot.com/2016/05/blog-post_23.html – Н.Х.) сделан следующий вывод:
«Технология блокчейна может быть использована для решения проблем, связанных с обеспечением целостности информации сейчас и в ближайшем будущем, при условии использования надлежащей архитектуры безопасности и мер и средств управления инфраструктурой. Это не означает, однако, что гарантируется в первую очередь надёжность информации. Имеется ряд ограничений для использования технологии в качестве решения задачи долговременной сохранности заслуживающих доверия электронных документов.»
«В проекте ARCHANGEL используется модель блокчейна с ограниченным доступом (permissioned), в рамках которой операторы или автоматические процессы, авторизованные добавлять контент в хранилища архивов или учреждений, сохраняющих культурно историческую память (Archives and Memory Institutions, AMIs), включают новые блоки в блокчейн-цепочку, «кодирующую» доказательства верности контента.»
Далее авторы предлагают в их блокчейн-решении с ограниченным доступом использовать метод установления консенсуса на основе доказательств проделанной работы (proof-of-work, PoW) (см. https://arxiv.org/abs/1804.08342 ):
«В нашей архитектуре мы предлагаем два модели проверки консенсуса, обе из которых основаны на модели распределенного реестра с ограниченным доступом:
Блокчейн поддерживается с использованием механизма консенсуса PoW на частном множестве узлов, коллективно поддерживаемых рядом независимых друг от друга архивных учреждений (таких, как национальные архивы различных государств). Таким образом, для компрометации данного блокчейна потребуется беспрецедентный уровень сговора между участниками.
Блокчейн поддерживается с использованием механизма консенсуса PoW в глобальной общедоступной блокчейн-системе. В этом случае в блокчейне размещается специальная программа (смарт-контракт) с эксклюзивным правом записи в блокчейне, которая затем вызывается для добавления данных. Доступ к «конечной точке» смарт-контракта предоставляется посредством секретного ключа. В этом случае для компрометации реестра требуется, чтобы более половины «майнеров» в инфраструктуре общедоступного DLT-реестра сговорилась между собой, что опять-таки маловероятно, например, в базовой сети Ethereum.»
Здесь есть ряд проблем. Первая заключается в том, что блокчейн-решения с ограниченным доступом не нуждаются в механизме «доказательства работы» для поддержания консенсуса; каноническое решение такого рода, IBM Hyperledger, использует протоколы «Византийской отказоустойчивости» (Byzantine Fault Tolerance, см. https://medium.com/kokster/understanding-hyperledger-fabric-byzantine-fault-tolerance-cf106146ef43 ) и тем избегает ужасающе большого и явно нежизнеспособного в длительной перспективе расхода энергии нынешними блочейнами на основе подхода PoW (по оценкам, 5 основных криптовалют используют столько же энергии, как и Нидерланды, https://www.ofnumbers.com/2018/08/26/how-much-electricity-is-consumed-by-bitcoin-bitcoin-cash-ethereum-litecoin-and-monero/ ). Вариант 1 может быть реализован с использованием Hyperledger гораздо более легко и эффективно, чем при использовании «доказательства работы».
Заметка сотрудника Библиотеки Стенфордского университета д-ра Дэвида Розенталя (David Rosenthal – на фото, см. такжеhttps://www.lockss.org/contact-us/dshr/ ) была опубликована на его блоге (DSHR's Blog) 4 октября 2017 года. Розенталь был одним из инициаторов проекта LOCKSS (от Lots of Copies Keep Stuff Safe - «Множество копий гарантирует сохранность»), осуществляемого Стенфордским университетом с целью создания системы с открытым кодом, позволяющей библиотекам собирать, сохранять и предоставлять читателям доступ к материалам, опубликованным в Интернете.
Мой комментарий: Как в другом своём посте ( http://blog.dshr.org/2014/07/trac-certification-of-clockss-archive.html ) поясняет Дэвид Розенталь, архив CLOCKSS (см.https://clockss.org/clockss/Home ), о котором дальше пойдёт речь - это «тёмный» (т.е. не обслуживающий исследователей) архив контента электронных журналов и книг, совместно управляемый издателями и библиотеками, реализованный с использованием технологии LOCKSS. Управление архивом по поручению некоммерческой организации CLOCKSS осуществляет группа LOCKSS в Библиотеке Стэнфордского университета.
Руководство «Аудит и сертификация доверенных хранилищ: Критерии и контрольный список» (Trustworthy Repositories Audit and Certification: Criteria and Checklist, TRAC) было разработано американским Центром научно-исследовательских библиотек (Center for Research Libraries, CRL) в 2007 году, см.http://www.crl.edu/sites/default/files/d6/attachments/pages/trac_0.pdf , с участием и при финансовой поддержке Национальных Архивов США (NARA).
Одним из уроков аудита архива CLOCKSS на соответствие требованиям TRAC в (см. пост на блоге DSHR's Blog http://blog.dshr.org/2014/08/trac-audit-lessons.html - аудит проводился в 2014 году, его итоги опубликованы здесь:http://www.crl.edu/sites/default/files/reports/CLOCKSS_Report_2014.pdf - Н.Х.) было выявленное несоответствие между эталонной моделью открытой архивной информационной системы OAIS (описана в стандарте ISO 14721:2012 - Н.Х.) и распределенным подходом к обеспечению электронной сохранности:
Архив CLOCKSS организован централизованно, однако реализован в виде распределенной системы.
Предпринимаются усилия по согласованию полностью централизованной модели OAIS с реалиями применения распределенных систем обеспечения электронной сохранности (здесь автор ссылается на статью Элд Зирау (Eld Zierau) и Мэтта Шульца (Matt Schultz) «Создание концептуальных рамок для применения модели OAIS к распределенному обеспечению электронной сохранности» (Creating a Framework for Applying OAIS to Distributed Digital Preservation), см.http://purl.pt/24107/1/iPres2013_PDF/Creating%20a%20Framework%20for%20Applying%20OAIS%20to%20Distributed%20Digital%20Preservation.pdf – Н.Х.) , например, в таких коллективных проектах, как MetaArchive ( https://metaarchive.org/ ); или как совместный проект датской Королевской и университетской библиотеки в Копенгагене ( http://www.kb.dk/en/ ) и библиотеки Университета Орхуса (University of Aarhus, http://library.au.dk/en/ ).
Хотя организационно архив CLOCKSS является централизованным, серьезные электронные архивы такого рода требуют распределенной реализации, хотя бы для достижения географической избыточности (т.е. для надёжного обеспечения сохранности за счёт хранения нескольких копий в географически удаленных местах – Н.Х.). Модель OAIS не в состоянии принять во внимание распределенный подход даже на уровне реализации, не говоря уже об организационном уровне.
В 19-ю годовщину программы LOCKSS ( http://blog.dshr.org/2013/10/it-was-fifteen-years-ago-today.html ) уместно обратить внимание на 38-минутное видео, выложенную в прошлом месяце и посвященную данной проблеме, см. https://vimeo.com/233024801 (это аудиозапись доклада на английском языке, наложенная на презентацию доклада – Н.Х.). В ней Элд Зирау описывает модель «Внешний OAIS - Внутренний OAIS», которую она и Нэнси Макговерн (Nancy McGovern) разработали для устранения упомянутого неоответствия и опубликовали в трудах конференции iPRES 2014.
Авторы применяют модель OAIS иерархически, сначала к распределенной сети электронной сохранности в целом (внешний OAIS), а затем к каждому узлу этой сети (внутренний OAIS). Это может быть полезно для описания функций узлов сети в отличие от сети в целом, и для выявления единых точек отказа, возникающих в связи с использованием централизованных функций в сети в целом.
И раз уж я рекламирую видеосюжеты, то хочу также отметить превосходное видео, выложенное на сайте Arquivo.pt ( http://arquivo.pt/ ) для широкой аудитории о важности веб-архивации, на португальском, но с субтитрами на английском языке, см. https://www.youtube.com/watch?v=YVqFey7hVJc
Дэвид Розенталь (David Rosenthal)
Мой комментарий: Обратите внимание на то, что блокчейн, о котором сегодня только ленивый не слагает фантастические легенды, не единственный распределенный подход, который можно применять в управлении документами и информацией и в архивном деле. Вполне можно обойтись и без полукриминальных систем типа «Биткойн» :) И в любом случае нужно пересматривать прежние модели, ориентированные на централизованные системы.
Если в постах (особенно в давних) не отображаются фотографии и изображения, попробуйте провести диагностику неполадок для интернет-соединения или же использовать для доступа к блогу анонимайзер.
