Счётная палата США опубликовала руководство по оценке надёжности данных

16 декабря 2019 года Счётная палата США (Government Accountability Office, GAO) опубликовала любопытный документ GAO-20-283G «Оценка надёжности данных» (Assessing Data Reliability) объёмом 72 страницы, см. https://www.gao.gov/products/GAO-20-283G (прямая ссылка на PDF-файл: https://www.gao.gov/assets/710/703275.pdf ).

Содержание документа следующее:

Предисловие
1. Что означает «надёжность данных»
2. Принятие решения о необходимости проведения оценки надёжности данных
3. Определение сферы охвата оценки надёжности данных
4. Этапы сбора информации при проведении оценки надёжности данных
5. Принятие заключения о надёжности данных
6. Включение в отчёт надлежащих формулировок
7. Дополнительные соображения
Приложение I: Пример запросов на представление документации и вопросы к собеседованиям
Приложение II: Оценка надёжности данных, поступающих из органов статистики
Приложение III: Примеры тестов для данных
Приложение IV: Примеры формулировок при описании надёжности данных
Приложение V: Благодарности

Во введении отмечается следующее:

«Данные из внешних источников часто имеют решающее значение для аудита. Хотя эти данные являются лишь одним из видов доказательств, на которые полагаются аудиторы, для надлежащей оценки их надежности могут потребоваться большие технические усилия, чем для других типов доказательств.

Целью настоящего руководства является описание принципов, лежащих в основе оценки надёжности используемых в ходе аудита данных, а также шагов, связанных с проведением такой оценки.

Настоящее руководство согласуется с «жёлтой книгой» - «Стандартами государственного аудита 2018 года» (GAO-18-568G Government Auditing Standards - 2018 Revision, https://www.gao.gov/assets/700/693136.pdf ) - которая устанавливает  общепринятые государственные стандарты аудита (generally accepted government auditing standards, GAGAS) и заменяет руководство Счётной палаты «Оценка надежности компьютерно-обработанных данных» (GAO-09-680G, Assessing the Reliability of Computer-Processed Data, https://www.gao.gov/assets/80/77213.pdf ), выпущенное в 2009 году.

Настоящее руководство охватывает данные, обработанные с помощью вычислительной техники (далее по тексту - просто «данные»), которые являются результатом компьютерной обработки или ввода данных в компьютерную систему. Данные могут различаться по форме и могут размещаться в электронных файлах или в таблицах в опубликованных отчётах. Более подробное обсуждение типов данных, охватываемых данных руководством, содержится в разделе 1.

Различные критерии (tests) оценки достаточности и относимости применяются ко всем типам доказательств, независимо от того, являются ли они частью набора данных, с тем, чтобы определить, соблюдены ли установленные требования к доказательствам. Поскольку в случае данных оценка достаточности и относимости может потребовать более технического анализа, чем для других видов доказательств, может показаться, что в отношении таких данных установлены более жёсткие требования, чем для доказательств иных видов. На самом деле это не так.

Настоящее руководство предлагает гибкую, основанную на анализе риска концепцию оценки надежности данных, которая может быть адаптирована к конкретным обстоятельствам каждого задания на проведение аудита. Концепция позволяет структурировать планирование и отчетность, поощряя аудиторов:

• Использовать имеющиеся сведения о данных,


• Проводить аудиторскую работу лишь в объёме, необходимом для установления того, являются ли данные достаточно надёжными для целей аудита;


• Выносить свои суждения максимально профессионально, и


• Вовлекать в принятие ключевых решений соответствующих лиц, включая представителей руководства и заинтересованных сторон.

Основное внимание при оценке надёжности данных уделяется определению того, могут ли данные использоваться для намеченных целей аудита. Настоящее руководство должно помочь аудиторам сделать надлежащую доказуемую оценку наиболее эффективным способом.»

Мой комментарий: Не могу не отметить, что «для себя» американцы пока не собираются переходить на заслуженно осмеиваемый принцип «хайли лайкли» («весьма вероятно»), который наши так называемые западные «партнёры» широко применяют, когда дело касается России :)

Также в документе отмечается следующее:

«Хотя настоящее руководство в первую очередь относится к структурированным данным – данным, которые организованы в упорядоченные записи, в которых каждому полю назначен предопределенный тип данных (например числовые, текстовые, даты, и т.д.), - однако некоторые из предлагаемых принципов могут быть применимы при изучении неструктурированных данных, которые часто представлены в виде текстовой информации, которая не была организована в структурированный формат для целей анализа.»

Ключевая идея отчёта сформулирована следующим образом:

«Чтобы определить, являются ли данные достаточно надёжными для выполнения задания, аудиторы должны учитывать все связанные с аудитом факторы, а также проделанную оценочную работу. … Эти факторы включают в себя:

• Ожидаемая важность данных для итогового отчета,


• Наличие подтверждающих доказательств,


• Риск использования данных, и


• Результаты проделанной оценочной работы.

Сила подтверждающих доказательств и степень риска влияют на принятие решения о надёжности данных. Например, если подтверждающие доказательства являются убедительными и риск низок, то данные с большей вероятностью будут признаны достаточно надежными для целей аудита.

Если же подтверждающие доказательства слабы и риск высок, то повышается вероятность того, что данные будут признаны недостаточно надёжными или что их надёжность не будет установлена.

Если при тестировании данных не возникают вопросы и результаты соответствуют существующей документации, то данные с большей вероятностью будут признаны достаточно надёжными для целей аудита.»

Источник: сайт Счётной палаты США
https://www.gao.gov/products/GAO-20-283G
https://www.gao.gov/assets/710/703275.pdf