пятница, 21 сентября 2018 г.

Штат Виктория, Австралия: Автоматизированная экспертиза сообщений электронной почты – проверка концепции


Данная заметка была опубликован 8 августа 2018 года на сайте Управления государственных документов австралийского штата Виктория (Public Record Office Victoria, PROV).

Электронная переписка является важной частью ведения деловой деятельности (имеется в виду деятельность государственных органов штата – Н.Х.), и сообщения электронной почты считаются государственными документами в соответствии с Законом о государственных документах 1973 года (Public Records Act 1973). Электронные письма способствуют обмену идеями, принятию решений, а также поддерживают коллективную работу всё более территориально-разобщенных сотрудников. В сфере государственного управления электронные письма также являются источниками доказательств, необходимых для обеспечения подотчетности, поэтому нужно обеспечить их долговременную сохранность для будущего в качестве государственных документов.

Проблема

Письма не должны уничтожаться до тех пор, пока не будут определены их ценность и содержание, - однако в ходе своей работы сотрудники государственного сектора способны создавать сотни тысяч электронных писем, включая такие, которые не нужно захватывать. Большой объем сообщений даже в одной отдельно взятой учетной записи электронной почты способен затруднить выделение тех, что подлежат хранению.

Более двадцати лет регулярного создания резервных копий привело к появлению неподъёмного массива необработанной электронной почты органов правительства штата Виктория, включающего 67 тысяч лент и 28 петабайт контента. Доступ, поиск и извлечение электронных писем с целью анализа и использования в качестве свидетельств принятия решений могут оказаться сложным, дорогостоящим и трудоемким делом. Это компрометирует репутацию правительства в плане обеспечения прозрачности и подотчетности.

Проверка концепции

Вместе с поставщиком ИТ-решений для правительства штата - агентством CenITex, мы осуществляем проект, направленный на то, чтобы сделать хранилища электронной почты в системе Lotus Notes более доступными и лучше управляемыми. Проверка концепции (Proof of Concept, PoC) для Lotus Notes - это первый шаг.

Проверка концепции включает изучение возможностей применения инструмента для э-раскрытия для анализа и облегчения работы по отбору на уничтожение больших объемов электронных писем, в том числе следующее:
  • Первоначальная качественная и количественная оценка тестового набора сообщений электронной почты;

  • Выделение дубликатов в наборе данных;

  • Выделение в наборе данных документов, имеющих низкую и высокую ценность;

  • Связывание набора данных, из которого удалены дубликаты, с соответствующей контекстной информацией;

  • Ручной анализ результатов для определения степени точности автоматической обработки.
При обработке выборки, содержащей 4,6 миллиона электронных писем, мы обнаружили в ней 43% дублирования и 7% материалов низкой ценности.

Диаграмма слева показывает количество оригинальных (серый цвет) и дублетных (жёлтый цвет) сообщений в выборке. Диаграмма справа показывает долю ценных (голубой цвет) и малоценных (синий цвет) материалов в массиве оригинальных сообщений.

Как мы это сделали

Наша цель заключалась в том, чтобы легальным образом уменьшить объемы необработанной электронной почты, что в среде органов правительства штата Виктория означает соответствие указаниям по срокам хранения и действиям по их истечении (Retention and Disposal Authorities, RDA – аналог наших Перечней – Н.Х.).

Упомянутый выше инструмент был использован для выявления в выборке сообщений-дубликатов. Для того, чтобы выделить из оставшегося после удаления дубликатов массива малоценные электронные письма, мы проанализировали список тематик электронной переписки с тем, чтобы определить те, которые с разумной вероятностью связаны с появлением неактуальных, не относящихся к деловой деятельности электронных писем. Были отобраны и сохранены в качестве фильтров лучшие результаты, в число которых попали электронные письма, получаемые по обычной подписке, а также оповещения Google Alerts. Наличие признака пересылки Fwd: в поле темы письма также использовалось в качестве фильтра.

Затем мы попробовали второй подход к анализу оставшихся данных, выполнив поиск по ключевым словам.

Используя третий подход, мы смогли связать сообщения электронной почты с дополнительной контекстуальной информацией, что позволило группировать по областям ответственности внутри организации. Это позволяет нам оценивать электронные письма, отдавая приоритет тем из них, что подлежат долговременному хранению.

Полученные результаты

Применение инструмента э-раскрытия для выделения электронных писем на уничтожение, а также для оценки и установления приоритетов для остальных электронных писем оказалось успешным, с точностью в диапазоне 98% - 100%, причем до 50% сообщений в выборке выло выделено на потенциальное уничтожение. Данный инструмент позволил нам прикрепить дополнительные метаданные к каждому электронному письму выборки, что облегчило идентификацию электронных писем на высоком уровне, упрощая принятие в будущем решений относительно сроков хранения.

Данный инструмент э-раскрытия может помочь государственным органам в сокращении массивов необработанной электронной почты и в получении большей отдачи от сохраняемой электронной переписки, хотя перед использованием его для отбора на уничтожение рекомендуется провести ручное тестирование на выборке большего объёма. Обратите внимание, что такой инструмент может оказаться не по средствам для небольших государственных органов, которые, тем не менее, тоже сталкиваются с проблемой «завалов» необработанной электронной почты. Рекомендуется провести исследование резервных копий электронной почты в небольших государственных органов и, возможно, протестировать существующие бесплатные решения с открытым исходным кодом.

Дополнительную информацию можно получить, скачав файл “Victoria Government Email Machine Assisted Appraisal Final.pdf” с описанием нашей работы по проверке концепции, который доступен по адресу: http://www.prov.vic.gov.au/sites/default/files/files/Blog/Government%20recordkeeping/Victoria%20Government%20Email%20Machine%20Assisted%20Appraisal%20Final.pdf

Если Вы хотите получить ещё больше информации об этом проекте, не стесняйтесь обращаться к Дэвиду Брауну (David Brown), помощнику директора PROV по обслуживанию государственных органов, по адресу david.brown@prov.vic.gov.au

Источник: сайт PROV
https://www.prov.vic.gov.au/about-us/our-blog/email-machine-assisted-appraisal

Комментариев нет:

Отправить комментарий