Управление рисками для архивов, часть 5-4

(Продолжение, предыдущую часть см. http://rusrim.blogspot.com/2026/02/5-3_01439917874.html )

Советы по управлению документами, информацией и данными высокой ценности и высокого риска

Рекомендуется:

• Углублять понимание контекста (условий деятельности) организации,
  
  
• Составить перечень документов, информации и данных организации как информационных активов. 
  
  Для каждого актива предлагается подумать о принятии во внимание следующей информации:
  
  
• Объём и сфера охвата хранимых документов и информации,
  
  
• Масштабы и сфера охвата системы,
  
  
• Программное и аппаратное обеспечение, являющиеся критически важными для поддержания актива,
  
  
• Все зависимости от других документов / информационных ресурсов,
  
  
• Формат документов (для бумажных документов укажите объем и информацию о хранении; для электронных - название или наименование набора данных или файла, описание, дату изменения, лицензию и файловый формат),
  
  
• Деловой подразделение–владелец и пользователи системы,
  
  
• Политики и процессы, регламентирующие данные активы, включая законодательно-нормативные требования,
  
  
• Деловая ценность,
  
  
• Сроки хранения, включая документы постоянного срока хранения, передаваемые в архивы штата, 
  
  
• Степень критичность деловой деятельности, поддерживаемой системой (т.е. потенциальные последствия прерывания критически важных деловых операций)
  
  
• Применять концепцию менеджмента риска организации для оценки и смягчения рисков для документов, информации и данных высокой ценности и высокого риска.
  
  
• Сотрудничать с директором по информационной безопасности (CISO), со службой кибербезопасности и/или с соответствующими группами и комитетами.
  
  Сотрудничайте с соответствующими группами с тем, чтобы обеспечить категоризацию всех документов, информации и данных высокой ценности и высокого риска, как физических, так и электронных, в качестве «ценных активов». Включение этих документов в перечень «ценных активов» организации помогает приоритизировать управление ими и обеспечение их безопасности.
  
  
• Разработать и реализовать план управления документами, информацией и данными высокой ценности и высокого риска.
  
  План должен принимать во внимание:
  
  
• потребности в управлении информацией областей и направлений деятельности высокого риска;
  
  
• эффективные стратегии миграции и экспорта для обеспечения сохранности документов в процессе преобразования или передачи;
  
  
• метаданные, обеспечивающие ясность информации и возможность ей доверять.

Оценка уровня зрелости в плане выявления рисков для документов высокой ценности и высокого риска

Информационные риски: Выявлены и управляются ли информационные риски, которые могут повлиять на направления деловой деятельности высокой ценности и высокого риска?

• Уровень зрелости 1: Отсутствует формальный процесс выявления информационных рисков, способных повлиять на направления деловой деятельности высокой ценности и высокого риска.
  
  
• Уровень зрелости 2: Проводится анализ информационных рисков, которые могут повлиять на направления деловой деятельности высокой ценности и высокого риска, однако организация не имеет полной и цельной картины информационных рисков. (например, различные информационные риски отражаются в разных реестрах).
  
  
• Уровень зрелости 3: Имеется полная, всесторонняя и цельная картина информационных рисков, способных повлиять на направления деловой деятельности высокой ценности и высокого риска (отражённая, например, в конкретном документе, электронной таблице или реестре).
  
  
• Уровень зрелости 4: Организация официально осуществила выявление информационные риски, способных повлиять на направления деловой деятельности высокой ценности и высокого риска. Смягчение рисков для информационных активов высокой ценности и высокого риска осуществляется посредством плановых инициатив.
  
  
• Уровень зрелости 5: Организация признает документы и информацию реальными деловыми активами. Управление информационными рисками интегрировано во все новые инициативы и планы в масштабе всей организации (или делового подразделения) - например, в ИТ-проекты, инициативы по трансформации деловой деятельности.

(Продолжение следует, см. http://rusrim.blogspot.com/2026/03/6-1.html )

Богдан-Флорин Поповичи (Bogdan-Florin Popovici)

Источник: блог Богдана-Флорина Поповичи
https://bogdanpopovici2008.wordpress.com/2025/12/27/managementul-riscurilor-pentru-arhive-5/ 

Управление рисками для архивов, часть 5-3

(Продолжение, предыдущую часть см. http://rusrim.blogspot.com/2026/02/5-2_01236470091.html )

5. Права собственности

У меня есть два наблюдения по этому поводу:

• Как можно видеть, в архивно-документационном подходе к оценке рисков учитывается больше факторов чем в традиционном подходе к оценке рисков в области кибербезопасности – «Триаде CIA» (Confidentiality, Integrity and Availability — конфиденциальность, целостность и доступность. При архивно-документационном подходе информация рассматривается как осмысленное содержание (контент) в определённом контексте, в то время, как в сфере кибербезопасности контроль над информационными объектами осуществляется независимо от их содержания.
  
  
• В Новом Южном Уэльсе применяется политика, основанная на разграничении обычных документов/информации и документов/информации высокой ценности и высокого риска (high value, high risk, HVHR). Я вернусь к этому ниже; также некоторые мысли по этому поводу я уже высказал в другом посте ( https://bogdanpopovici2008.wordpress.com/2025/12/27/documente-esentiale-vital-records/ ).

Анализ рисков 

Анализ рисков включает нескольких этапов:

• Идентификация рисков
  
  
• анализ внешней и внутренней среды,
  
  
• определение конкретных требований к управлению документами,
  
  
• изучение документных процессов и систем,
  
  
• выявление областей высокого риска.
  
  
• Оценка выявленных рисков
  
  
• Составление описаний рисков
  
  
• событие, которое повлияет на документы
  
  
• причина события 
  
  
• потенциальные последствия
  
  
• Компиляция реестра рисков организации

Документы высокой ценности и высокого риска

Определения (см. https://www.nsw.gov.au/nsw-government/recordkeeping/plan/high-risk-records ):

А. К документам, информации и данным высокой ценности относятся активы, которые помогают организациям:

• выполнять свои функции,
  
  
• обеспечивать обслуживание клиентов,
  
  
• отвечать на запросы, проводить аудиты, расследования и решать юридические вопросы.

Небольшая часть этих ценных документов имеет долговременное значение для штата и жителей Нового Южного Уэльса, и их необходимо сохранять в качестве государственных архивных документов штата.

B. К документам, информация и данным высокого риска относятся активы, которые:

• создаются или получаются в зонах высокого риска деловой деятельности или в процессах высокого риска,
  
  
• могут представлять для организации значительный риск в случае их неправомерного использования, ненадлежащего раскрытия, некорректного доступа и изменения, утраты, повреждения или преждевременного уничтожения.

Управлять документами высокого риска следует с той же заботливостью, что и документами высокой ценности, до тех пор, пока в них сохраняется потребность - хотя для документов высокого риска не всегда установлены длительные сроки хранения.

Выявление документов, информации и данных высокой ценности и высокого риска

Документы, информация и данные высокой ценности и высокого риска, как правило, создаются или поступают в областях деятельности, связанных с:

• выполнением основных и установленными законодательством функций организации,
  
  
• значительными инвестициями правительства штата Новый Южный Уэльс или с существенным вкладом в экономику штата Новый Южный Уэльс,
  
  
• прямым контактом с физическими лицами (например, в сфере регулирования, в правоохранительной деятельности, в здравоохранении или в сфере социальной защиты, где возможно возникновение споров),
  
  
• разработкой политики или услуг, влияющих на отдельных лиц и на сообщества, или на их права,
  
  
• управлением природными ресурсами, с имеющими культурное значение объектами и с защитой государственной инфраструктуры штата Новый Южный Уэльс,
  
  
• процессами, подверженными коррупции или потенциально способными порождать коррупционное поведение,
  
  
• ключевыми программами, имеющими международное, национальное или региональное значение,
  
  
• сбором и использованием персональных данных и медицинской информации (как установлено Законом о защите неприкосновенности частной жизни и персональных данных 1998 года (Privacy and Personal Information Protection Act) и Законом о медицинских документах и конфиденциальности информации 2002 года (Health Records and Information Privacy Act))
  
  
• политиками, решениями или услугами, которые находятся под пристальным наблюдением общественности, средств массовой информации или надзорных органов.

Выявление документов, информации и данных высокой ценности и высокого риска осуществляется посредством:

• Анализ документов,
  
  
• Взаимодействие с персоналом,
  
  
• Анализ информации.

(Продолжение следует, см. http://rusrim.blogspot.com/2026/02/5-4.html )

Богдан-Флорин Поповичи (Bogdan-Florin Popovici)

Источник: блог Богдана-Флорина Поповичи
https://bogdanpopovici2008.wordpress.com/2025/12/27/managementul-riscurilor-pentru-arhive-5/ 

Управление рисками для архивов, часть 5-2

(Продолжение, предыдущую часть см. https://rusrim.blogspot.com/2026/02/5-1_02096594337.html )

3. Защищённое ответственное хранение

4. Хранение в течение установленных сроков

 

(Продолжение следует, см. http://rusrim.blogspot.com/2026/02/5-3_01439917874.html )

Богдан-Флорин Поповичи (Bogdan-Florin Popovici)

Источник: блог Богдана-Флорина Поповичи
https://bogdanpopovici2008.wordpress.com/2025/12/27/managementul-riscurilor-pentru-arhive-5/ 

Управление рисками для архивов, часть 5-1

(Продолжение, начало см. https://rusrim.blogspot.com/2026/02/4-2_0407056380.html )

Данная заметка известного румынского архивиста Богдана-Флорина Поповичи (Bogdan-Florin Popovici, на фото) была опубликована 27 декабря 2025 года на его блоге «Bogdan's Archival Blog - Blog de arhivist».

В этом посте я приведу пример того, как решаются связанные с рисками проблемы в архивах Австралии - а точнее, в штате Новый Южный Уэльс (New South Wales, см. https://www.nsw.gov.au/nsw-government/recordkeeping/plan/record-risks ). Архивно-документационная служба этого штата известна своими внедрениями инновационных стратегий, а также богатой и практичной нормативно-методической литературой. Приведенные ниже тексты взяты оттуда, с небольшими моими комментариями (и, конечно же, перевод тоже мой).

Страница сайта правительства Нового Южного Уэльса, посвящённая рискам, связанным с документами, информацией и данными – Н.Х.

Выявление и управление рисками для документов, информации и данных

Риски возникают из-за внешних угроз и внутренних уязвимостей, которые могут повлиять на достоверность и доступность информации/документов.

Типы рисков для информации

Риски могут быть связаны со следующими факторами:

• надёжность и целостность,
  
  
• доступность, поиск и извлечение,
  
  
• защищённое ответственное хранение,
  
  
• хранение в течение установленных сроков,
  
  
• права собственности.

Здесь интересен выбор факторов, которые австралийцы считают важными. «Аутентичность» не фигурирует среди подверженных риску качеств, зато присутствуют защищённость/безопасность и хранение в течение установленных сроков.

Мой комментарий: В оригинале речь идёт о рисках для информации, а не для документов (и, скорее всего, текст писали специалисты по информационной безопасности) – видимо, поэтому термин «аутентичность», характерный для сферы управления документами, здесь явно не присутствует (неявно он «спрятан» в слове «надёжность»).

Примеры рисков для информации

1. Надёжность и целостность

2. Доступность, поиск и извлечение

 

 

 (Продолжение следует, см. http://rusrim.blogspot.com/2026/02/5-2_01236470091.html )

Богдан-Флорин Поповичи (Bogdan-Florin Popovici)

Источник: блог Богдана-Флорина Поповичи
https://bogdanpopovici2008.wordpress.com/2025/12/27/managementul-riscurilor-pentru-arhive-5/ 

Штат Новый Южный Уэльс, Австралия: Использование автоклассификации для классификации неупорядоченных документов

Данная заметка Шошаны Бут (Shoshana Booth) была опубликована 18 апреля 2018 года на сайте Управления государственных документов австралийского штата Новый Южный Уэльс, посвящённом инициативе «Выдержать проверку временем – защитить наше электронное будущее» (Future Proof – Protecting our digital future).

На прошлой неделе члены Группы по внедрению электронных технологий (Digital Implementers Group) с удовольствием выслушали доклад одного из своих членов, посвящённый автоматической классификации.

По завершении контракта с поставщиком услуг, орган исполнительной власти штата получил документы по обслуживанию недвижимости, которые этот поставщик создавал и которыми управлял в течение десяти лет. Массив документов включал свыше 400 тысяч электронных документов, распределенных по 31 тысяче папок, в структуре глубиной до 14 уровней. Многие документы не имели систематически сформированных названий и/или не соответствовали собственной классификационной схеме для документов этого органа. Ввиду предстоящего перехода к новому поставщику услуг документы необходимо было мигрировать и классифицировать в течение нескольких месяцев.

Поскольку объем и сроки реализации этого проекта миграции исключали возможность использования ручной классификации, представилась прекрасная возможность для того, чтобы опробовать автоклассификацию.

Как работала система автоматической классификации

Проектная группа решила воспользоваться инвестициями, сделанными в систему управления электронными документами TRIM (фактически стандартное решение, широко используемое в австралийских органах власти – Н.Х.) и попробовать в работе модуль автоматической классификации. Обоснованием такого подхода послужило то, что дешевле было приобрести модуль автоматической классификации TRIM, чем закупить новую систему, поскольку в таком случае требовалось лишь модернизировать существующую систему.

Использованное группой решение для автоматической классификации включало три компонента. Сначала программа оптического распознавания текста (OCR) преобразовывала графические образы в читаемый текст. После этого файлы индексировались с использованием сервера индексирования контента, а затем передавались на обработку в модуль автоматической классификации.

Хотя OCR-компонент проекта работал медленно и был ресурсоемким, были веские деловые основания для его использования, поскольку он сделал возможным полнотекстовой поиск по всем документам.

Гибкий непрерывный процесс уточнения ключевых слов

Точность работы системы автоматической классификации зависела от выбора ключевых слов. Если в документе выявлялся набор определенных ключевых слов, то система помещала его в соответствующую рубрику классификационной схемы.

Первоначально проектная группа позволила программе автоматической классификации самостоятельно выявить ключевые слова, характерных для каждой категории документов. Этот подход успеха не принёс, поскольку модуль выделил множество неизвестных и «мусорных» ключевых слов. Тогда специалисты предметной области вручную ввели ключевые слова, которые они ожидали увидеть в документах каждой из категорий. Это была самая ресурсоемкая часть проекта, и наиболее важная для ее успеха. Уточнение ключевых слов, обработка новых документов, изучение результатов с последующим уточнением ключевых слов представляли собой гибкий непрерывный процесс.

Результаты

На этапе тестирования в систему было загружено 5-7 тысяч документов, автоматическая классификация которых была выполнена менее чем за два часа - однако этот показатель изменится, поскольку группа собирается реализовать массовую загрузку. Основные затраты времени в данном процессе были связаны с работой компонента распознавания текста, который первоначально был узким местом всего процесса обработки.

Основные уроки

«Неплохо, но не идеально»

Один из участников заседания задал вопрос о рисках положительной классификации материалов, которые на самом деле не были документами не являлись. Из-за ограниченности проекта по времени выполнявшая его группа не могла провести окончательную экспертизу документов и предпочла перестраховаться, допустив захват материалов, не имеющих документного статуса.

Результаты проекта автоматической классификации были оценены как «неплохие, но не идеальные». Признание того, что результаты всегда будут несовершенными, стало одним из основных уроков, извлеченных из опыта данного проекта.

Выбор ключевых слов имеет решающее значение

Успех автоклассификации зависел от выбора и установления веса ключевых слов. В категории «Уборка» (Cleaning) 95% документов были правильно автоклассифицированы. Это объясняется тем, что многие ключевые слова были специфическими именно для этой категории. Показатели для других категорий были не столь хорошими, как правило, из-за того, что одни и те же ключевые слова встречались в документах нескольких категорий. Проектная группа убедилась в том, что системы автоматической классификации не работают без предварительной настройки, и что точная классификация выполняется только в случае удачного выбора ключевых слов, характерных для каждой из категорий.

Важность хорошего делового обоснования проекта

Один из членов проектной группы объяснил, что их система автоматической классификации работает лучше всего, если приходится иметь дело с неупорядоченным массивом документов. Они пришли к выводу о том, что, ввиду затрат значительных ресурсов на трудоемких этапах проекта, необходимо иметь хорошее деловое обоснование проекта. Затраты было бы трудно оправдать, если бы не большие объемы неупорядоченных документов.

Нужно просвещать заинтересованные стороны с тем, чтобы избежать необоснованных ожиданий

Заинтересованные стороны часто хотели знать, насколько хорошо система автоклассификации будет классифицировать документы (например, будет ли она правильно классифицировать 9 из 10 документов?). Из-за множества непостоянных факторов, влияющих на работу системы, и вследствие зависимости от фактического содержания обрабатываемых документов, дать ответ на этот вопрос было невозможно. Ввиду эти факторов важно объяснить заинтересованным сторонам особенности процессов, которые Вы применяете, и позаботиться о том, чтобы те не ожидали слишком многого. Первоначально проектная группа оценила, что система будет правильно классифицировать 50% документов, хотя сейчас при тестировании системы обеспечиваются более высокие показатели.

Что дальше?

Проектная группа видит ряд других возможных приложений для системы. Одна из идей заключается в интеграции системы автоклассификации с процедурами непосредственного обслуживания клиентов. Например, система может автоматически классифицировать обычные формы, заполняемые при оказании деловых услуг, по мере их сохранения в системе.

Думая о будущем, участники заседания обсудили вопрос о том, может ли автоматическая классификация сделать ненужными специалистов по управлению документами. Некоторые коллеги считают, что эффект может оказаться прямо противоположным, поскольку автоматическая классификация позволит специалистам по управлению документами больше сосредоточиться на таких аспектах своей работы, как разработка стандартов и процедур, планирование программ, вместо выполнения ручных операций по проведению миграции и отбору документов на постоянное хранение и на уничтожение.

Шошана Бут (Shoshana Booth)

Фото: Matthew Paulson

Источник: сайт архивно-документационной службы штата Новый Южный Уэльс, Австралия
https://futureproof.records.nsw.gov.au/using-auto-classification-to-classify-unmanaged-records/

Штат Новый Южный Уэльс, Австралия: Выложены презентации докладов и подкасты, записанные на встрече участников «Форума специалистов по управления документами» (Records Managers Forum) 28 марта 2018 года

Данная заметка Ирене Чимин (Irene Chymyn) была опубликована 23 апреля 2018 года на сайте Управления государственных документов австралийского штата Новый Южный Уэльс, посвящённом инициативе «Выдержать проверку временем – защитить наше электронное будущее» (Future Proof – Protecting our digital future).

«Форум специалистов по управлению документами» (Records Managers Forum) дает возможность специалистам по работе с документами государственного сектора штата Новый Южный Уэльс поделиться своим опытом, обсудить актуальные проблемы и стратегии осуществления ключевых инициатив в сфере управления документами и информацией.

Повестка дня заседания Форума 28 марта 2018 года включала в себя доклады следующих специалистов:

• Николя Форбс (Nicola Forbes), руководитель информационно-документационной службы транспортного управления штата (Transport for NSW);


• Льюис Драйбург (Lewis Dryburgh), менеджер информационно-документационной службы казначейства штата;


• Питер Доннелли (Peter Donnelly), уполномоченный по информационным службам и правам на доступ к информации Комиссии штата по вопросам информации и неприкосновенности частной жизни (Information and Privacy Commission NSW), и Майкл Кинг (Michael King), руководитель документационной службы департамента семейных и социальных услуг (Department of Family and Community Services);


• Кэтрин Робинсон (Catherine Robinson), старший руководитель по проектам отдела государственного делопроизводства архивно-документационной службы штата.

Николя представила «Информационный инструментарий для транспортных проектов» (Information Toolkit for Transport Projects), недавно разработанный её подразделением Общих услуг транспортного ведомства (Transport Shared Services), см. https://futureproof.records.nsw.gov.au/podcast/episode-76/ . Инструментарий включает в себя набор инструментов, предназначенных для оказания помощи выполняющим проекты сотрудникам и руководителям, в том числе собственному персоналу и персоналу субподрядчиков, в части установления ответственности за управление документами и информацией.

Льюис поделился результатами своего недавно завершенного магистерского исследовательского проекта, в ходе которого он изучал методы управления информацией в технологических стартапах, см. https://futureproof.records.nsw.gov.au/podcast/episode-77/ . Практика работы с информацией молодых специалистов в ИТ-стартапах, которую описывает Льюис, дает интересное представление о проблемах и реакциях, с которыми мы сталкиваемся при ознакомлении «новобранцев» государственной службы с практикой управления документами.

Мой комментарий: Этот доклад мне показался, пожалуй, наиболее интересным – прежде всего потому, что он обращает внимание на ту сферу экономической деятельности, которая не избалована вниманием специалистов в области управления документами и архивного дела, и в то же время весьма важна для развития экономики.

Питер и Майкл в своём докладе рассказали о «Сообществе специалистов по управлению документами» (Community of Records Management Professionals) – о его миссии, уставе и преимуществах как для членов сообщества, так и для государственного сектора и его сотрудников в целом, см. https://futureproof.records.nsw.gov.au/podcast/episode-78/  .

Кэтрин представила Кодекс наилучшей практики управления документами (Code of Best Practice for Recordkeeping), основанный на австралийской адаптации стандарта ИСО - стандарте AS ISO 15489.1:2017, см. https://futureproof.records.nsw.gov.au/podcast/episode-79/ (речь идёт о новой редакции методического документа, которая вскоре будет опубликована – Н.Х.). Она кратко рассказала об изменениях и их последствиях, а также объяснила важность внедрения этого Кодекса.

Презентации и подкасты выложены по адресу https://futureproof.records.nsw.gov.au/the-future-proof-podcast-series/ .

Как всегда, пожалуйста, не стесняйтесь обращаться к нам за дополнительной информацией о презентациях или делиться с нами своим опытом.

Ирене Чимин (Irene Chymyn)

Источник: сайт архивно-документационной службы штата Новый Южный Уэльс, Австралия
https://futureproof.records.nsw.gov.au/the-presentations-and-podcasts-from-the-records-managers-forum-held-28th-march-2018-are-now-available/

Штат Новый Южный Уэльс, Австралия: Пилотный проект применения машинного обучения в интересах управления документами, часть 2

(Окончание, с сокращениями – не приводятся примеры; начало см. https://rusrim.blogspot.ru/2018/04/1.html )

Этапы извлечения и классификации текста

1. Извлечение текста

Отобранные для анализа документы, чтобы быть пригодными для дальнейшего использования, должны допускать беспроблемное извлечение текстов. Такой подход был выбран в интересах повышения производительности и удобства дальнейшего манипулирования текстами на последующих этапах проекта. В обработку были взяты только 8784 файла из 12369 файлов, классифицированных как архивные документы постоянного хранения, поскольку их файловые форматы допускали простое извлечение текста.

После сортировки тестовой выборки, с использованием различных библиотек была разработана программа на языке Python для извлечения текста из файлов следующих типов: PDF, DOCX и DOC.

Извлеченный из документов текст затем был помещён в один общий .csv-файл, содержащий три столбца: имя файла (уникальный идентификатор), классификация (статья по перечню GA28) и, наконец, извлеченный текст.

2. Очистка данных

Мы использовали очень простой подход к очистке данных. Были использованы следующие меры: удаление форматирования документов, удаление «незначащих» слов (stop words), удаление ненужных документов и преобразование всех букв в нижний регистр.

3. Векторизация текста и выделение характерных признаков

Векторизация текста - это процесс преобразования текста в числовые векторы признаков. Признаком является уникальное качество, которое наблюдается в наборе данных. Используя эти признаки, мы формируем n-мерный вектор для представления каждого документа. Векторизация необходима, поскольку алгоритмы машинного обучения и «глубокого обучения» (deep learning) не могут работать напрямую с текстом. Необходимо преобразовать текст в числовые значения, которые алгоритм машинного обучения может понять и с которыми он может работать.

Методология, которую мы использовали для векторизации текста, называется подходом «мешка слов» (Bag-of-Words). Это простая модель, которая игнорирует положение слов в документах, обращая основное внимание на частоту их употребления. Каждое уникальное слово рассматривается как признак. Затем мы используем этот подход для представления любого документа в виде набора чисел фиксированной длины, равной числу уникальных слов, известного как «словарь признаков». Каждая позиция в этом наборе соответствует уникальному слову и заполняется счетчиком числа появлений этого слова в документе. В итоге формируется матрица, отражающая частоту появления терминов в массиве документов.

4. «Частота слова – обратная частота документа» (Term Frequency - Inverse Document Frequency, TF-IDF)

Мой комментарий: согласно Википедии (см. https://ru.wikipedia.org/wiki/TF-IDF ), TF-IDF  - «статистическая мера, используемая для оценки важности слова в контексте документа, являющегося частью коллекции документов или корпуса. Вес некоторого слова пропорционален количеству употребления этого слова в документе, и обратно пропорционален частоте употребления слова в других документах коллекции».

Матрица частоты появлений терминов в документах – хорошее, но при этом лишь базовое представление. Одна из главных проблем заключается в том, что будут большими значения счетчиков для часто используемых слов типа модальных глаголов, и они будут бесполезными для векторных представлений документов. Подход TF-IDF является альтернативным методом вычисления веса признака документа для векторного представления. Для вычисления веса по TF-IDF вычисляется частота появления термина (частота появления конкретного слова в документе), которая затем умножается на «обратную частоту документа» (логарифм обратной величины частоты, с которой данной слово встречается в документах тестовой выборки – Н.Х.) (это помогает снизить рейтинг слов, которые слишком часто встречаются в наборе документов и повысить вес уникальных / необычных слов).

Поэтому, как только мы создали словарь признаков и построили матрицу частоты появлений терминов в документах (document term matrix, DTM), мы применили подход TF-IDF к DTM, чтобы повысить вес уникальных слов.

5. Обучение и разделение данных на обучающие и тестовые

В пилотном проекте использовалось стандартное соотношение: 75% данных обучения к 25% данных тестирования. Для начала мы взяли 75% предварительно классифицированного как «архивные документы постоянного срока хранения» контента и использовали эти данные для обучения алгоритма, с тем, чтобы построить модель. По завершении обучения, эти алгоритм и модель были использованы для обработки 25% данных, вошедших в тестовую выборку. Это позволило нам оценить, насколько точной является модель и определить процент успешных прогнозов. Полученные нами результаты показаны ниже.

6. Обзор алгоритмов машинного обучения

Для построения нашей модели мы использовали два алгоритма машинного обучения: многокомпонентный «наивный байесовский алгоритм» (multinomial naïve Bayes algorithm) и «многослойный персептрон» (multi-layer perceptron). Эти алгоритмы были выбраны ввиду их широкого применения в приложениях подобного типа.

• Многокомпонентный наивный байесовский алгоритм является частью семейства упрощенных вероятностных классификаторов. Классификатор опирается на теорему Байеса, которая предполагает использование сильных предположений о независимости признаков.


• Многослойный персептрон - это контролируемый алгоритм обучения, который может обучаться аппроксимации нелинейной функции для целей выполнения классификации или регрессии.

Статистический анализ

Чтобы продемонстрировать результаты нашего внутреннего пилотного проекта, мы рассчитали матрицу ошибок (confusion matrix) и подготовили сводные таблицы результатов, позволяющие сравнить два используемых алгоритмов (таблицы в данном переводе не приводятся – Н.Х.).

Матрица ошибок представляет собой таблицу, в которой показано, насколько успешными были предсказания на основе модели классификации, т.е. корреляция между фактическим классом и классом, определённым с помощью модели. Одна ось матрицы ошибок - это предсказанный моделью класс (в нашем случае – статья перечня – Н.Х.), а другая - фактический класс. Размерность матрицы равна числу классов. Отметим, что показанные ниже на рис. матрицы ошибок являются репрезентативными, но не в точности те матрицы, что использовались для оценки результатов.

Матрицы ошибок содержат достаточную информацию для вычисления различных показателей качества работы метода, включая точность (precision) и полнота (recall – показывает, какую долю объектов «положительного» класса из всех объектов положительного класса нашел алгоритм – Н.Х.). Точность -  частота, с которой модель правильно прогнозирует «положительный» класс; в то время как полнота даёт ответ на следующий вопрос: какую долю всех возможных «положительных» меток модель правильно идентифицировала?

Нормализованная матрица ошибок при использовании многокомпонентного наивного байесовского алгоритма

Нормализованная матрица ошибок при использовании многослойного персептрона

Результаты

Нас порадовали полученные по итогам пилотного проекта статистические показатели, лучшим из которых была в 84% случаев успешная классификация с использованием алгоритма многослойного персептрона. Пилотный проект дал нам возможность сравнить два алгоритма и то, как они работали с очищенными и неочищенными данными. Результаты показывают, что эта технология способна помочь в классификации и отборе на архивное хранение и на уничтожение неструктурированных данных.

Обсуждение

Ниже перечислены соображения, ограничения и предположения о возможном использовании машинного обучения в интересах управления документами:

• Любая ошибка, допущенная в обучающих данных в ходе экспертизы ценности со временем будет в модели лишь усугубляться. Это также относится к любой систематической ошибке в обучающих данных;


• Для получения хороших результатов при обработке тестовых данных необходим большой обучающий набор правильно классифицированных данных;


• В случае использования облачных сервисов очень важно заранее понять все условия обслуживания, особенно в части защиты персональных данных физических лиц и прав собственности на данные;


• Ручная экспертиза использованного в проекте массива документов была проведена на уровне папок, при этом отдельные документы анализировались лишь выборочно. Модель же была способна проводить экспертизу ценности непосредственно на уровне отдельных документов, и гораздо быстрее;


• Для обработки модели желательно иметь достаточные вычислительные ресурсы на локальных серверах;


• Результаты проекта поразительные в том плане, что всего было написано всего лишь около 100 строк кода, благодаря наличию достаточного опыта и использованию правильного алгоритма;


• Можем ли мы создать «черный ящик машинного обучения» для классификации на основе перечня GA28, чтобы помочь органам государственной власти управлять административными документами?


• Знаем ли мы, какими были показатели успешности экспертизы ценности в бумажной среде при проведении экспертизы вручную, - и как они соотносятся с аналогичными показателями, полученными при использовании технологий машинного обучения?

Благодарности

Я хотел бы поблагодарить и признать работу, проделанную выпускником по направлению ИКТ Малаем Шармой (Malay Sharma), который по ротации оказался на нужном месте именно в нужное время.

Гленн Хампфри (Glenn Humphries),
координатор проекта «Электронные архивы штата» (Digital State Archives)

Источник: сайт архивно-документационной службы штата Новый Южный Уэльс, Австралия
https://futureproof.records.nsw.gov.au/case-study-internal-pilot-machine-learning-and-records-management/

Штат Новый Южный Уэльс, Австралия: Пилотный проект применения машинного обучения в интересах управления документами, часть 1

Данная заметка Гленна Хампфри (Glenn Humphries – на фото), координатора проекта «Электронные архивы штата» (Digital State Archives), была опубликована 20 марта 2018 года на сайте Управления государственных документов австралийского штата Новый Южный Уэльс, посвящённом инициативе «Выдержать проверку временем – защитить наше электронное будущее» (Future Proof – Protecting our digital future).

Мотивация

В 2017 году группа электронных архивов государственных архивов австралийского штата Новый Южный Уэльс начала исследовать применение машинного обучения/самообучения (machine learning) для управления документами. Первым результатом этого проекта стала опубликованная на блоге Future Proof аналитическая статья (см. https://futureproof.records.nsw.gov.au/machine-learning-and-records-management/ , перевод на русский язык здесь: https://rusrim.blogspot.ru/2017/09/blog-post_29.html - Н.Х.), в которой изучалось современное положение дел в этой сфере (на что способна технология и как она используется в управлении документами). Один из основных выводов этого отчета заключался в том, что, хотя машинное обучение потенциально способно улучшить работу по классификации и уничтожению/передаче электронных документов, масштабы её использования на практике очень малы, особенно в Новом Южном Уэльсе. В целях содействия её внедрению мы взяли на себя обязательство выполнить ряд внутренних и внешних пилотных проектов с целью дальнейшего изучения машинного обучения и демонстрации его возможностей в области управления документами.

Предлагаемое описание примера из практики документирует внутренний пилотный проект, который группа электронных архивов выполнила в ноябре-декабре 2017 года. Цель проекта заключалась в применении коробочного программного обеспечения для технологии машинного обучения для решения задачи классификации массива неструктурированных данных, в соответствии с положениями перечня документов с указанием сроков хранения и действий по их истечении. Результаты данного пилотного проекта в декабре 2017 года были представлены на «Форуме специалистов по управлению документами» (Records Managers Forum) (об этом я упоминала здесь: https://rusrim.blogspot.ru/2018/01/2017.html - Н.Х.).

Предварительная подготовка

Ограниченность ресурсов была одним из ограничений внутреннего пилотного проекта: не было бюджета, но (к счастью) нам выделили выпускника вуза по направлению ИКТ, имевшего недавний университетский опыт в области машинного обучения. Ввиду этого при подборе подходящих для использования в пилотном проекте технологий мы искали недорогие коробочные решения.

Первым из опробованных продуктов были облачные сервисы искусственного интеллекта (AI и Cognitive Services) в составе системы Microsoft Azure. Эта платформа имеет заранее встроенные алгоритмы и классификаторы, а также весьма удобный интерфейс - Machine Learning workbench («рабочий стол машинного обучения»).

Хотя данный вариант выглядел очень многообещающим, нам в конечном итоге пришлось от него отказаться из-за неопределенностей, связанных со сроками хранения и управлением загруженными на платформу данными (подробнее об этом см. здесь: https://rusrim.blogspot.ru/2018/02/blog-post_12.html - Н.Х.).

Хотя многие сервисы Microsoft Azure доступны локально в Новом Южном Уэльсе, сервисы искусственного интеллекта доступны только на серверах за пределами штата. Это означало для нас необходимость провести оценку риска с тем, чтобы удовлетворить требования, установленные в «Типовых правилах перемещения документов за пределы штата Новый Южный Уэльс для хранения и поддержки поставщиками услуг, располагающимися за пределами штата» (GA35, Transferring records out of NSW for storage with and maintenance by service providers based outside of the State, https://www.records.nsw.gov.au/node/649 ).

В число ключевых элементов такой оценки входили обеспечение того, чтобы хранящиеся в сервисе документы управлялись в соответствии с Законом о государственных документах штата (State Records Act) и стандартами штата; а также проверка договорных механизмов с целью обеспечения сохранения за штатом прав собственности и возврата всех документов по завершении проекта (см. руководство «Хранение государственных документов штата у поставщиков услуг за пределами Нового Южного Уэльса» - Storage of State Records with service providers outside of NSW, https://www.records.nsw.gov.au/node/521 ).

На момент проведения нами оценки риска, Центр доверия (Trust Center) фирмы Microsoft включил в условия использования интеллектуальных сервисов особые положения, которые ограничивали способность клиентов контролировать срок хранения и уничтожение загруженных на платформу данных. Поскольку в рамках внутреннего пилотного проекта предусматривалось использование массива закрытых для публики документов, переданных на гранение в архивы штата, и поскольку временные рамки нашего проекта не позволяли провести более детальную оценку риска, - мы решили отказаться от использования каких-либо облачных решений и вместо этого стали искать подходящее коробочное программное обеспечение, которое могло бы работать на локальных серверах.

Следует отметить, что фирма Microsoft недавно объявила об изменениях в условиях использования интеллектуальных услуг, в результате чего были убраны многие «особые» положения, и оценка риска, если бы она была проведена сегодня, могла бы дать более благоприятные результаты.

Учитывая поставленное нами ограничение в части использования для пилотного проекта локального решения, мы быстро остановились на решении Scikit-learn (см. https://en.wikipedia.org/wiki/Scikit-learn#Overview ) - бесплатной библиотеки с открытым исходным кодом для языка программирования Python, предназначенной для решения задач машинного обучения. Это простой и доступный набор инструментов, которые, как и Cognitive Services, включают в себя готовые средства классификации и алгоритмы. Нам повезло в том, что для работы с моделью у нас имелся компьютер с мощным процессором, большой оперативной памятью и SSD-диском

Методология

Цель проекта

Цель внутреннего пилотного проекта заключалась в том, чтобы протестировать алгоритмы машинного обучения на массиве документов, для которых мы перед этим вручную провели отбор на постоянное хранение и на уничтожение в соответствии с перечнем. С какой точностью мы могли бы ту же работу по классификации документов проделать в автоматическом режиме?

Массив документов

Документы, которые были выбраны для использования в рамках внутреннего пилотного проекта, были переданы в электронный архив штата в 2016 году одним из департаментов центрального правительства штата. Необычность данного массива документов заключалась в том, что он сохранял полную корпоративную структуру папок, извлеченную из решения Objective. В общей сложности данный массив содержит 30 гигабайт данных в 7561 папках, в которых находится 42,6 тысяч файлов.

В момент передачи в архив из массива не были удалены документы временного срока хранения (обычно мы требуем, чтобы нам передавались только документы, подлежащие постоянному архивному хранению). Совместно с департаментом мы вручную провели экспертизу ценности документов и их отбор на постоянное хранение или уничтожение (на уровне папок) в соответствии с типовым перечнем GA28 с указанием сроков хранения и действий по их истечении для административных документов (General Retention and Disposal Authority Administrative Records). Результатом этой ручной экспертизы папок стала передача в архив штата на постоянное хранение в общей сложности 12 тысяч файлов.

Для внутреннего пилотного проекта были рассмотрены следующие варианты:

• Использовать при тестировании все виды документов, которые, согласно GA28, подлежат передаче на постоянное государственное хранение (их всего 75). Папки, содержимое которых в число таких классов не попадает, оставить неклассифицированными;


• Использовать при тестировании только виды документов, которые, согласно GA28, подлежат передаче на постоянное государственное хранение и которые были отобраны в ходе ручной экспертизы ценности (всего 23). Папки, которые не соответствуют этим классам, исключить из тестового массива;


• Использовать при тестировании все статьи перечня GA28 (всего 686), выполнить полную проверку всех папок;


• Провести предварительную обработку массива документов, удалив из него все папки, охватываемые «Обычной административной практикой» (Normal Administrative Practice, NAP), например, дубликаты и неофициальные / частные документы.

В итоге было принято решение предварительно обработать массив документов, удалить все папки, охватываемые NAP, и использовать подмножество из 12 тысяч файлов, соответствующих 23 статьям перечня GA28, которые по итогам ручной экспертизы были отнесены к документам постоянного хранения. Дальнейшая подготовительная работа с тестовой выборкой включала перенос классификации уровня папок на уровень отдельных файлов, что было сделано вручную.

Суммарные сведения о массиве документов

• Полный массив – 42653 файлов


• Подпадает под NAP – 25643 файлов


• Включены в корпоративную номенклатуру дел – 17307 файлов


• Подлежат передаче на постоянное хранение – 12369 файлов


• Подлежат передаче на постоянное хранение, формат допускает извлечение текста (т.е. применимы в составе обучающей выборки) – 8784 файлов

(Окончание следует, см. http://rusrim.blogspot.ru/2018/04/2.html )

Гленн Хампфри (Glenn Humphries), координатор проекта «Электронные архивы штата» (Digital State Archives)

Источник: сайт архивно-документационной службы штата Новый Южный Уэльс, Австралия
https://futureproof.records.nsw.gov.au/case-study-internal-pilot-machine-learning-and-records-management/

Штат Новый Южный Уэльс, Австралия: 10 основных цифровых тенденций, влияющих на управление документами, информацией и контентом

Данная заметка Ирене Чимин (Irene Chymyn) была опубликована 12 марта 2018 года на сайте Управления государственных документов австралийского штата Новый Южный Уэльс, посвящённом инициативе «Выдержать проверку временем – защитить наше электронное будущее» (Future Proof – Protecting our digital future).

Недавно мы посетили выставку, на которой была представлена общая картина современных цифровых тенденций, и мы увидели, как эти тенденции связаны с развитием решений в области управления документами, информацией и контентом.

Некоторые из обсуждавшихся тенденций касались пользователей и того, как они используют – и требуют – технологии:

• Пользователи меняют способ применения информационных технологий (ИТ) – они требуют, чтобы эти технологии всегда были включены, подключены к сетям и предоставляли информацию в режиме реального времени;


• Пользователи также меняют модели проведения закупок. Теперь программные приложения предлагаются в Интернете, при этом используются модели на основе подписки, не требующие какой-либо помощи и поддержки от ИТ-службы. С точки зрения управления документами, государственным органам следует оценить свои деловые потребности, ценность и конфиденциальность своей деловой деятельности, а также создаваемых в её рамках документов, прежде чем закупать и внедрять какие-либо веб-приложения;


• Поставщики инвестируют средства в трансформацию традиционных приложений на локальных серверах в мобильные приложения (app-ification) с тем, чтобы привлечь пользователей и заручиться их поддержкой. Такая трансформация обеспечивает интуитивную понятность программного обеспечения и его доступность через мобильные устройства.

Модель развертывания систем для управления документами, информации или контентом смещается с локальных решений на собственной площадке к гибридным или же к чисто облачным. Этот сдвиг потенциально обещает сделать интеграцию документных систем с предоставляемым как услуга программным обеспечением менее сложной. Тем не менее, прежде чем переносить свои документные системы в облако, убедитесь, что Вы выполнили условия, установленные в Типовых правилах перемещения документов за пределы штата Новый Южный Уэльс GA35 (Transferring records out of NSW for storage with and maintenance by service providers based outside of the State, https://www.records.nsw.gov.au/node/649 ).

Очень большое внимание уделяется программному обеспечению для аналитики данных и тому, как развиваются такого рода приложения. В число этих приложений входят, в частности, те, которые

• Предоставляют функциональные возможности для визуализации данных, и в которых можно создавать графики, карты и информационные панели и манипулировать ими;


• Позволяют коллективно использовать идеи и знания для целей принятия решений и сотрудничества;


• Поддерживают доставку аналитики / отчетов в любом формате на любое устройство.

Автоматизация работы с метаданными и классификации в рамках управления документами

Мы внимательно следим за этой тенденцией, поскольку она потенциально способна изменить управление документами, каким мы его знаем. Идея заключается в том, что новые технологии способны автоматически и последовательно снабжать документы и информацию метаданными, помогающими вести поиск и проводить просмотр материалов, сгруппированных по заданным критериям (faceted browsing).

Использование технологий машинного позволит систематически и последовательно выполнять классификация документов, с установлением им сроков хранения, отсчитываемых от наступления событий-триггеров. Следует отметить, что архивно-документационная служба штата на прошлогоднем Форуме специалистов по управлению документами (Records Managers Forum) представила результаты собственного пилотного проекта по применению технологий машинного обучения (см. https://futureproof.records.nsw.gov.au/podcast/episode-76/ , см. также пост на моём блоге http://rusrim.blogspot.ru/2018/01/2017.html - Н.Х.).

Что это значит для нас и для Вас?

Попросту говоря, нам необходимо освоить новые знания и навыки; а с учётом того, насколько быстро развиваются технологии – каждому, по-видимому, необходимо стать специалистом по работе с данными, бизнес-аналитиком, специалистом по эргономике или же разработчиком программного обеспечения; и, конечно же, экспертом по правовым вопросам, способным интерпретировать положения и условия, связанные с закупкой программных приложений.

Ирене Чимин (Irene Chymyn)

Рисунок: Quantum Computing by Kevin Dooley Attribution (CC BY 2.0)

Источник: сайт архивно-документационной службы штата Новый Южный Уэльс, Австралия
https://futureproof.records.nsw.gov.au/top-digital-trends-2018/

Штат Новый Южный Уэльс, Австралия: «Запроектированное управление документами» - возможности для местных органов власти, часть 2

(Окончание, начало см. https://rusrim.blogspot.ru/2018/03/1.html )

Социальные сети

Социальные сети предоставляют местным органам власти прекрасную возможность для вовлечения жителей в обсуждение различных тем. Это взаимодействие может происходить в режиме реального времени и быть взаимным, позволяя органам власти своевременно информировать граждан, а гражданам - возможность для немедленной обратной связи.

Недавно проведенный мною анализ учетной записи в Twitter моего местного органа власти выявил дискуссии между местным советом и жителями по поводу игровых площадок, случаев незаконной парковки, ошибочно выписанных штрафов за неправильную парковку, резолюций, принятых на заседаниях совета, по поводу перепланировки аквапарка и предстоящих лекциях в библиотеке.

При использовании таких социальных сетей, как Twitter и Facebook, по умолчанию создаются документы. Эти сети также автоматически создают описывающие контекст метаданные, такие, как сведения о том, кто и когда создал документы.

Многие документы в учетных записях социальных сетей документируют деловую деятельность с низким уровнем риска и имеют короткие сроки хранения (например, твит-сообщения, рекламирующие проводимые в библиотеке мероприятия). Для таких типов документов подходящая стратегия управления документами может заключаться в том, чтобы оставить их в приложении социальных сетей и положиться на две вещи:

• Приложение по-прежнему будет существовать в краткосрочной и среднесрочной перспективе;


• Приложение само обеспечивает сохранение документов.

В то же время некоторые взаимодействия в социальных сетях могут потребовать иных стратегий, требующих больших самостоятельных усилий в части управления документами (например, обсуждение ошибочно выписанного штрафа за неправильную парковку). Местные органы власти штата Новый Южный Уэльс обязаны сохранять документы, касающиеся жалоб, требующих расследования или конкретного ответа, в течение 7 лет. Если местный совет управляет документами, связанными с расследованием и разрешением жалобы в специализированной системе, то лучшей стратегией может быть захват документов о соответствующем обсуждении в Twitter в эту систему управления жалобами и предложениями.

Архивно-документационная служба штата опубликовала рекомендации по управлению документами, возникающими при использовании социальных сетей (см.  https://www.records.nsw.gov.au/recordkeeping/advice/strategies-for-managing-social-media-information ) - сюда входит определение того, какие документы в социальных сетях Вам нужно хранить и в течение каких сроков, и разработка стратегии их захвата и сохранения. Наш общий совет следующий: если Вам документы и информация нужны, управляйте ими; если нет – не занимайтесь ими.

В органах местного самоуправления управление документами в социальных сетях может оказаться сложным делом, если должностные лица используют свои личные учетные записи для ведения деловой деятельности. Согласно законодательству штата, члены муниципального совета должны создавать и хранить документы по любой деловой деятельности, связанной с советом, которую они осуществляют. Если они используют свои личные учетные записи в социальных сетях для ведения существенной деловой деятельности, то муниципальному совету, возможно, потребуется извлечь эти документы из учётной записи и сохранить их в документной системе совета.

Использование личных учетных записей для ведения деловой деятельности организации - это проблема, который выходит за рамки использования социальных сетей и касается всех организаций, а не одних лишь муниципальных органов власти. Мы видели недавние примеры того, как министры в австралийской провинции Квинсленд и в Канаде столкнулись с неприятностями из-за использования личных учетных записей электронной почты для ведения государственных дел. И мы знаем, что многие организации рассматривают использование личных учетных записей электронной почты как риск для их корпоративной информации.

Некоторые организации пошли на запрещение своим сотрудникам использовать личные учетные записи электронной почты для рабочих целей. Другие придерживаются более прагматичного подхода, и вместо этого советуют сотрудникам копировать любые связанные с деловой деятельностью сообщения из их личных учетных записей в корпоративные системы.

Облако

Электронно-цифровая трансформация часто включает перемещение деловой деятельности в облачные системы. Организации внедряют облачные решения для управления взаимоотношениями с клиентами, облачные кадровые и финансовые системы. Организации перемещают в облако свою электронную почту. И многие организации отказываются от хранения документов на собственной площадке в пользу использования таких решений, как Microsoft Office 365, One Drive или Google Suite for Business.

Внедрение облачных сервисов является ключевым компонентом ИКТ-стратегии во многих организациях. Переход в облако позволяет упростить процесс закупок, способствует более эффективному ценообразованию, гибкости и масштабируемости, а также большей гибкости для организаций в плане потребления ими услуг.

Для пользователей облако также открывает возможность доступа к информации с различных устройств и из различных мест – им больше не нужно сидеть за своим столом в головном офисе, чтобы войти в систему. В местных органах власти мы видим, например, что те сотрудники, у которых разъездной характер работы (например, патрульные или ремонтники), сильно выигрывают от использования облачных систем, позволяющих им вводить данные «на ходу».

Использование облачных сервисов не отменяет и не уменьшает установленные законодательством обязанности муниципальных советов штата по созданию и хранению полных и точных документов о своей деятельности и по обеспечению безопасного хранения и долговременной сохранности этих документов. Существуют риски информационной безопасности, связанные с переходом в облако:

• Организации могут утратить контроль или права собственности на свои данные, уступив их провайдерам облачных услуг;


• Организациям могут оказаться не в состоянии получить доступ к своим данным, когда они им потребуются, или обеспечить их сохранность до тех пор, пока в них сохраняется потребность.

Архивно-документационная служба штата напоминает организациям о том, что им следует подумать о вопросах управления документами при закупке облачных сервисов. В первую очередь организациям необходимо реализовать соответствующие меры контроля и управления, обеспечивающие им непрерывный доступ к созданным и сохраняемым в облаке документам, и возможность экспорта документов в пригодные для использования и полные форматы по завершении проектов или контрактов.

Мы рекомендуем организациям задать ряд вопросов, прежде чем приступить к использованию облачных систем, особенно если эти системы будут поддерживать деловую деятельность высокой стоимости или высокого риска. Например:

• Может ли поставщик принять на себя обязательство хранить и обрабатывать Ваши данные в определенных юрисдикциях, приемлемых для Вашей организации (в которых, например, действуют правовые системы, совместимые с австралийской)?


• В какой форме данные могут быть экспортированы из системы, и какие метаданные могут быть экспортированы?


• Может ли поставщик дать заверения о том, что после окончания контракта он не сохранит у себя никаких копий данных?


• Может ли Ваша организация дать указания об уничтожении определенных данных в облаке, и может ли поставщик представить доказательства уничтожения, такие, как акты или свидетельства об уничтожении?


• Может ли поставщик дать заверения в том, что Ваши данные не будут использоваться в целях, не предусмотренных контрактом (например, для сопоставления с данными из баз данных, принадлежащим другим клиентам поставщика)?


• Будет ли поставщик консультироваться с Вашей организацией в случае, если какая-либо третья сторона захочет получить доступ к Вашим данным? Как будет осуществляться управление доступом третьей стороны к Вашим документам, например, если этого потребует государственный орган той юрисдикции, в которой хранятся документы?

Очень важно, чтобы организации идентифицировали информационные риски перед заключением контрактов на оказание облачных услуг, и чтобы организации разработали и применяли соответствующие стратегии смягчения рисков. Стратегии смягчения рисков могут включать:

• Включение в контракты положений, направленных на управление известными рисками;


• Периодический экспорт всех данных, которые документируют деловую деятельность высокой стоимости и/или высокого риска, в локальную систему, обладающую соответствующие функциональные возможности для управления документами;


• Мониторинг контрактных соглашений.

Роль оценки риска

Разумеется, подобный активный, «на опережение» (proactive) подход к вопросам управления документами требует инвестиций в виде рабочего времени, денег и людей. Организации следует разработать соответствующие политики и процессы, и внедрить соответствующие системы, условия хранения и меры безопасности.

Деловая ценность документов должна быть соизмерима с затратами на их сохранение. Приоритизация областей деловой деятельности высокой стоимости и высокого уровня риска, а также создаваемых ими документов, позволяет убедительно продемонстрировать ту отдачу, которую даёт организации надлежащее управление документами.

Архивно-документационная служба штата Новый Южный Уэльс побуждает организации уделять первоочередное внимание той работе, которую они выполняют для внедрения эффективного управления документами. В плане надлежащего управления документами, организациям следует обратить первоочередное внимание на те документы, которые документируют и поддерживают высокоприоритетные и высокоценные направления деятельности, и которые подвержены информационным рискам. Организациям следует:

• Знать, какие из их электронных документов имеют для них ключевое значение;


• Хранить эти документы в защищённых, хорошо управляемых системах;


• Обеспечить защиту и управление этими документами до тех пор, пока они нужны организации;


• Разработать стратегии миграции для информации, которая необходима в долгосрочной перспективе.

Ранее мы уже писали о направлениях деловой деятельности муниципальных властей высокого риска и/или высокой ценности для местных советов (см.  https://futureproof.records.nsw.gov.au/defining-high-risk-records/ ). Сосредоточение усилий по «запроектированному управлению документами» в этих областях муниципальным совета обеспечить создание и сохранение ключевых документов в течение всего периода времени, пока в них сохраняется потребность.

Эмма Харрис (Emma Harris)

Источник: сайт архивно-документационной службы штата Новый Южный Уэльс, Австралия
https://futureproof.records.nsw.gov.au/recordkeeping-by-design-opportunities-for-local-government/

Штат Новый Южный Уэльс, Австралия: «Запроектированное управление документами» - возможности для местных органов власти, часть 1

Заметка Эммы Харрис (Emma Harris – на фото) была опубликована 26 февраля 2018 года на сайте архивно-документационной службы австралийского штата Новый Южный Уэльс, посвящённом инициативе «Выдержать проверку временем – защитить наше электронное будущее» (Future Proof – Protecting our digital future).

Как мы уже отмечали ранее ( https://futureproof.records.nsw.gov.au/digital-transformation-in-nsw-government-recordkeeping-opportunities-and-risks/ ), «цифровая трансформация» является приоритетом в штате Новый Южный Уэльс. На уровне штат Стратегия электронного правительства Нового Южного Уэльса (NSW Digital Government Strategy, https://www.digital.nsw.gov.au/ ) нацелена на то, чтобы подход, предусматривающий «запроектированное» применение электронных технологий (digital by design) был «встроен» в деятельность всех учреждений государственного сектора штата.

Цель правительства штата заключается в том, чтобы взаимодействие людей с государственными органами и учреждениями, где это возможно, шло по электронным каналам. Четыре года назад 44% государственных транзакций осуществлялись по электронным каналам, и правительство хочет выйти на уровень 70% к 2019 году.

Органы местного самоуправления также включились в процесс цифровой трансформации, и многие местные советы рассматривают свои данные в качестве основного актива организации, способного стимулировать инновации и производительность труда. На прошлой неделе я выступала на конференции для специалистов по управлению информацией местных органов власти и говорила о возможностях в области управления документами и о рисках, связанных с цифровой трансформацией. Ниже приведены некоторые из высказанных мною мыслей:

Местные органы власти штата должны создавать и хранить полные и точные документы о своей деятельности. Они должны хранить эти документы до тех пор, пока это необходимо для удовлетворения законодательно-нормативных и деловых требований, а также ожиданий общественности. Некоторые документы они обязаны хранить постоянно в качестве архивных документов штата.

Однако переход на электронно-цифровые процессы не всегда сопровождается хорошим управлением документами. Будут ли документы пригодными для выполнения своих задач? Будут ли они полными и заслуживающими доверия? Будут ли организации в состоянии получить доступ и прочитать соответствующие документы по мере необходимости? Обеспечат ли организации защиту своих документов от несанкционированного доступа или уничтожения? И будут ли организации уничтожать те документы, которые им больше не нужны?

У организаций могли быть надежные процессы создания и хранения документов в то время, когда процессы были основаны на бумаге: сотрудники могли помещать заполненные бланки в бумажные дела и хранить дела в безопасных условиях до тех пор, пока не появится возможность их законно уничтожить. Но как организация будет вести учет электронных форм, представленных через её веб-сайт? Имеется ли у организации процесс захвата данных из представленных форм в электронную систему? Есть ли в этой системы достаточные средства контроля и управления для обеспечения аутентичности и надёжности данных? Сможет ли эта система обеспечить сохранность данных до тех пор, пока в этом сохраняется необходимость? Сможет ли она защитить данные от несанкционированного доступа и удаления? И что произойдет с данными тогда, когда организация будет переходить на использование новой системы?

Переход на электронно-цифровые способы работы открывает возможности для внедрения «запроектированного управления документами» (recordkeeping by design). При переводе процесса в электронную форму, организации могут определить, какие документы им необходимо создавать и сохранять. Затем организации могут разработать эффективные способы создания и хранения этих документов до тех пор, пока в этом сохраняется необходимость.

Чтобы разобраться, как это может работать на практике, давайте рассмотрим несколько примеров:

Деловые системы

Многие местные органы власти штата Новый Южный Уэльс были среди тех, кто первыми внедрял специализированные деловые системы для выполнения разнообразных функций, начиная от управления кадрами и финансового менеджмента и до управления активами, планирования и управления кладбищами.

При условии эффективного внедрения, такие системы в реальном времени предоставляют пользователям информацию, необходимую им для выполнения своих задач. Они также могут создать возможности для решения задач управления документами «за кулисами» - в результате пользователи могут просто использовать системы для выполнения своей работы, в твёрдой уверенности, что система обеспечивает создание и сохранение полных и точных документов.

Для внедрения подхода «запроектированного управления документами», организациям сначала необходимо определить, какие документы им нужно создавать и хранить. Существуют ли законодательные или иные требования в части создания конкретных документов, или в части хранения определенных документов в течение определенных периодов времени?

Рассмотрим в качестве примера предоставление услуг по уходу за детьми. У многих местных органов власти имеются учреждения, оказывающие такие услуги. Согласно законодательству штата, в настоящее время местные органы власти должны хранить определенные документы, относящиеся к уходу за детьми, включая документы по жалобам, до тех пор, пока ребенок не достигнет (или мог бы достичь) 25-летнего возраста.

Если мы подумаем о системе управления процессом рассмотрения жалоб:

• Способна ли система хранить защищённую от изменений и полную версию каждого документа по жалобам? В специализированной документной системе этот вопрос решается относительно просто. В других системах «документ» может представлять собой набор данных, отражающих суть каждой жалобы.


• Спроектирована ли система по принципу минимизации избыточности, так, что пользователи могут обновлять информацию, не сохраняя сведений о предыдущем состоянии и действиях? Если да, то для обеспечения сохранности неизменных и полных версий документов Вам может потребоваться периодическое проведение экспорта отчета о данных и сохранение его в качестве документа.


• Захватывает ли и сохраняет система основные метаданные для управления документами? В их число входит информация о деловом контексте, в котором были созданы и использовались документы, - например, сведения о том, кто и когда создал документы;


• Может ли система предотвратить нерегулярное, разовое (ad hoc) удаление данных? Если нет, то целостность документов может быть скомпрометирована.


• Обеспечивает ли система протоколирование и показ всех действий, выполняемых в ней? Сюда входят сведения о том, какие изменения были сделаны, когда и кем. Такого рода информация критически-важна для обеспечения подотчетности Вашей организация за работу с жалобами и обращениями.


• Поскольку документы необходимо хранить в течение длительных сроков, вполне вероятно, что они переживут систему. Какие функциональные возможности для экспорта документов имеются в системе? Способна ли она экспортировать данные и системные журналы аудита без ущерба для их качества и целостности?

Архивно-документационная служба штата опубликовала контрольный список для оценки деловых информационных систем (см. https://www.records.nsw.gov.au/recordkeeping/advice/checklist-for-assessing-business-systems ) - организации могут использовать этот контрольный список для того, чтобы определить, имеет ли конкретная система адекватные функциональные возможности для управления документами, а если нет, то какие меры по смягчению рисков требуется предпринять.

(Окончание следует, см. http://rusrim.blogspot.ru/2018/03/2_13.html )

Эмма Харрис (Emma Harris)

Источник: сайт архивно-документационной службы штата Новый Южный Уэльс, Австралия
https://futureproof.records.nsw.gov.au/recordkeeping-by-design-opportunities-for-local-government/

Штат Новый Южный Уэльс, Австралия: Архивно-документационная служба отказалась от сервисов искусственного интеллекта Майкрософт ввиду неподходящих условий использования

Заметка Рая Кроуже (Ry Crozier – на фото) была опубликована на австралийском сайте iTnews 31 января 2018 года

Архивно-документационную службу австралийского штата Новый Южный Уэльс (State Archives and Records NSW) отпугнули от использования в проводимом службой пилотном проекте сервисов искусственного интеллекта фирмы Майкрософт (Microsoft cognitive services, см. https://azure.microsoft.com/ru-ru/services/cognitive-services/ - Н.Х.) опасения относительно риска навсегда потерять контроль над своими данными.

В прошлом году служба сообщила о том, что планируют провести как внутри себя, так и в ряде органов государственной власти штата пилотные проекты с использованием технологий машинного обучения, с тем, чтобы определить, могут ли эти технологии быть использованы для автоматизации ряда операций в ходе классификации документов и их уничтожения/передачи на архивное хранение.

В настоящее время запущен внутренний пилотный проект на основе массива данных объемом 30 гигабайт, созданных ликвидированным ныне Национальный органом по лицензированию профессиональной деятельности (National Occupational Licensing Authority, NOLA, https://www.caf.gov.au/OccupationalLicensingReform.aspx ). Эти данные находились под юрисдикцией штата и были приняты на постоянное архивное хранение.

Однако планы по обработке данных с помощью инструментария машинного обучении и ИИ-сервисов, предлагаемого в системе Microsoft Azure, были отменены после того, как в ходе внутренней оценки риска были подняты два потенциальных «красных флажка».

Один из этих флажков был связан с положением, указанным в выложенных в Интернете условиях использования сервисов (см. https://www.microsoft.com/en-us/trustcenter/cloudservices/cognitiveservices ), согласно которому «сервисы когнитивных вычислений собирают и используют множество типов данных, таких как изображения, аудио- и видеофайлы и тексты, и все они могут быть сохранены компанией Microsoft в течение неопределенного срока в интересах улучшения продуктов и услуг Microsoft, не предоставляя пользователю средств для доступа или удаления сохраненных данных».

Специалист электронного архива штата Гленн Хамфри (Glen Humphries) в прошлом месяце сказал на форуме специалистов по управлению документами, что именно данное положение заставило службу пересмотреть свой выбор технологий.

По словам Хамфри, «У Microsoft есть инструментарий Azure для машинного обучения и действительно хорошие алгоритмы. Мы считали, что будет здорово воспользоваться этим инструментарием - до тех пор, пока я не начал оценивать риски, связанные с данными»».

«Когда углубился в документы, выложенные на сайтах Microsoft и ... [заметил], что компоненты машинного обучения входят в состав сервисов когнитивных вычислений Microsoft, в рамках которых «живут» все API-интерфейсы и алгоритмы, и там есть коротенькое положение, где говорится, что фирма может использовать контент и сохранять данные в интересах развития собственных продуктов.»

«Внезапно мне стало ясно, что мы собирались обрабатывать документы штата, а Microsoft, получается, собирается хранить их постоянно, - это  потеря права собственности. Риск слишком высок. Мы не можем на это пойти.»

Хамфри отметил, что отдельное положение в пользовательских соглашениях требует также получения согласия от каждого лица, сведения о котором присутствуют в наборе данных, прежде чем данные будут переданы в API-интерфейс решения Azure.

Это стало ещё одним препятствием для использования Azure, но Хамфри ясно дал понять, что «основным препятствием стало то, что они собирались удерживать у себя наши данные».

Вместо Azure служба решила использовать собственные вычислительные возможности. Хамфри сообщил, что по крайней мере часть компьютеров службы весьма мощные и «способны выполнять довольно сложные алгоритмы и обрабатывать данные с их помощью, поэтому мы полностью выполняем проект на собственной инфраструктуре».

Пилотный проект всё ещё находится в процессе развития. «Для нас это действительно ранние дни в данной области», - пояснил Хамфри.

Кроме того, архивно-документационная служба штата по-прежнему ищет партнера из числа органов власти для совместного выполнения проекта машинного обучения, в котором будет использована технология поставщиков с тем, чтобы понять, какую роль компьютерное обучение может сыграть в других структурах правительства штата.

Реструктуризация продолжается

Архивно-документационная служба штата в настоящее время проходит реструктуризацию, в ходе которой определенные направления деятельности вольются в другие деловые подразделения.

Одним из изменений станет то, что группа электронного архива, курирующая пилотные проекты машинного обучения, войдёт в состав корпоративного ИКТ-подразделения службы.

Руководитель группы электронного архива Ричард Лехейн (Richard Lehane) сказал, что группа будет «немного расширена с тем, чтобы ввести новые роли, одной из задач которых будет поиск решений, в которые правительство нуждается для лучшей поддержки управления документами в электронную эпоху».

«Машинное обучение очень хорошо сюда вписывается, поскольку у него есть большой потенциал для содействия работе по классификации и уничтожению/передаче на архивное хранение документов, особенно неструктурированных электронных документов, таких как электронная почта и сетевые диски», - подчеркнул Лехейн.

«Мы сейчас рассматриваем пару других электронных инициатив, включая концепцию использования социальных сетей для всех органов правительства штата.»

«Мы также проводим первоначальную работу, изучая вопрос создания единого хранилища электронных документов для всех органов правительства штата, задачей которого будет долговременное управление электронными документами, которые не подлежат передаче на постоянное архивное хранение».

Рай Кроуже (Ry Crozier)

Источник: сайт «IT News for Australian Business»
https://www.itnews.com.au/news/nsw-state-archives-turned-off-by-microsoft-cognitive-terms-481464