Как часто проверять целостность электронных документов длительного хранения?

На листсерве специалистов по управления документами 31 января 2010 года был задан следующий интересный вопрос:

«Для среды долговременного хранения электронных документов, где для значительной части данных сроки хранения составляют 50 лет и более, и где документы перенесены из «производственной среды» на архивный сервер, - существуют ли документированные стандартные наилучшие практики или рекомендации авторитетных органов относительно того, насколько часто должна проводиться проверка этих документов на целостность, а также для иных целей управления?

Объём нашего «производственного» хранилища такого рода данных достигает 20 терабайт. Я сейчас пишу инструкции по использованию выбранного нами инструментария для архивации в «почти оперативном» (near-line) хранилище, и этот вопрос всплыл на поверхность.

Заранее благодарю,
Джим Муллен (Jim Mullen)»

На вопрос ответил Джон Лавджой (John Lovejoy), работающий в Национальных Архивах Австралии:

У Национальных Архивов Австралии имеется действующий электронный архив. Насколько мне известно, не существует «стандартных документированных наилучших практик» относительно того, насколько часто файлы должны проверяться.

В настоящее время мы ведём непрерывную проверку наших файлов на целостность. Мы используем инструмент под названием «Потоковая сверка контрольных сумм» (Rolling Checksum Checker), который начинает работать на одном конце файловой системы, по очереди считывает каждый файл, рассчитывает его контрольную сумму и сравнивает с контрольной суммой, вычисленной при поступлении этого файла на архивное хранение. Когда все файлы обработаны, процесс повторяется с начала.

Если выявляется проблема, то администратор получает извещение по электронной почте.

Поскольку какой-либо иной нагрузки на файловый сервер нет, то такая постоянная проверка не влияет на производительность.

Rolling Checksum Checker является частью нашего программного обеспечения Digital Preservation Recorder (ПО для обеспечения долговременной сохранности - дополнительную информацию можно найти на сайте http://dpr.sourceforge.net/ , см.рис.). Открытый исходный код этого средства проверки контрольных сумм доступен на данном веб-сайте.

Джон Лавджой (John Lovejoy)
1 февраля 2010 года

Оговорка: Я работаю на них (в области электронной архивации), но не всегда говорю от их имени.