Показаны сообщения с ярлыком классификация. Показать все сообщения
Показаны сообщения с ярлыком классификация. Показать все сообщения

суббота, 3 октября 2026 г.

ИСО и МЭК: Завершается публичное обсуждение новой редакции стандарта ISO/IEC DIS 4213 «Измерение производительности для ИИ-задач классификации, регрессии, кластеризации и предоставления рекомендаций»

В конце июля 2026 года сайты Международной организации по стандартизации (ИСО) и Британского института стандартов (BSI) сообщили о начале публичного обсуждения новой, второй редакции стандарта ISO/IEC DIS 4213 «Информационные технологии - Искусственный интеллект - Измерение производительности для ИИ-задач классификации, регрессии, кластеризации и предоставления рекомендаций» (Information technology - Artificial Intelligence - Performance measurement for AI classification, regression, clustering and recommendation tasks) объёмом 61 страница основного текста, см. https://www.iso.org/standard/89455.html . 

Публичное обсуждение продлится до конца сентября 2026 года. Документ заменит действующие технические спецификации ISO/IEC TS 4213:2022 «Информационные технологии - Искусственный интеллект - Оценка производительности при классификации на основе машинного обучения» (Information technology - Artificial intelligence - Assessment of machine learning classification performance), см. https://www.iso.org/standard/79799.html 

Документ подготовлен подкомитетом SC42 «Искусственный интеллект» (Artificial intelligence), входящим в состав Объединенного технического комитета JTC1 «Информационные технологии» Международной организации по стандартизации (ИСО) и Международной электротехнической комиссии (МЭК).

В России действующая редакция документа была адаптирована как предстандарт ПНСТ 835-2023 (ISO/IEC TS 4213:2022) «Искусственный интеллект. Оценка эффективности моделей и алгоритмов машинного обучения в задаче классификации», см. https://protect.gost.ru/gost/details/8cda0cc1-63f7-4cd9-8360-d7e8d3863a8a ,  также мой пост 
http://rusrim.blogspot.com/2024/01/835-2023.html 

До 20 сентября 2026 года есть возможность индивидуально принять участие в публичном обсуждении данного стандарта на сайте Британского института стандартов (BSI) по адресу https://standardsdevelopment.bsigroup.com/projects/2024-01986  (при условии регистрации на сайте).


Страница обсуждения на сайте BSI

Во вводной части документа отмечается:

«По мере того, как исследователи из академических, коммерческих и государственных организаций и учреждений продолжают совершенствовать модели искусственного интеллекта, сформировалась общепринятая система показателей для количественной оценки этого совершенствования. Некоторые виды достижений в области искусственного интеллекта описываются в терминах повышения функциональной корректности (functional correctness – которую специалисты-практики в сфере ИИ также называют производительностью (performance)) по сравнению с современным уровнем или разумным эталонным уровнем.

Функциональная корректность может быть измерена для задач классификации, регрессии, кластеризации и выработки рекомендаций, выполняемых с использованием ИИ. Для этих задач выбор подходящей метрики зависит от варианта использования и ограничений предметной области. Кроме того, для систем машинного обучения (МО) выбранная метрика может отличаться от метрики, использованной во время обучения.

… В настоящем документе описаны методологии измерения производительности моделей ИИ для задач классификации, регрессии, кластеризации и предоставления рекомендаций.»

Содержание стандарта следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Общие принципы
6. Оценка функциональной корректности для выполняемых ИИ задач классификации 
7. Оценка функциональной корректности для выполняемых ИИ задач регрессии 
8. Оценка функциональной корректности для выполняемых ИИ задач кластеризации
9. Оценка функциональной корректности для выполняемых ИИ задач предоставления рекомендаций 
10. Статические тесты значимости для классификации
Приложение А: Иллюстрация функциональной корректности на примере мультиклассовой классификации
Приложение В: Пример ROC-кривой, полученной на основе результатов классификации
Приложение С: Сводная информация, получаемая из рейтинговых тестов 
Приложение D: Доля смертности по конкретным причинам с поправкой на случайность
Библиография

Источник: сайт ИСО / сайт BSI
https://www.iso.org/standard/89455.html 
https://standardsdevelopment.bsigroup.com/projects/2024-01986 


пятница, 17 июля 2026 г.

Размещение документа в классификационной схеме не означает его понимание

Данный пост колумбийского специалиста Джона Александра Гонсалеса Флореса (Jhon Alexander González Flórez, или Jhon A. Gonzalez F. – на фото), сотрудника управления проектов электронного документооборота в компании Grupo IB Consulting SAS, был опубликован 6 мая 2026 года в социальной сети LinkedIn.

Несколько дней тому назад в мой почтовый ящик пришло сообщение, явно отражающее обеспокоенность и даже раздражение.

Я искренне ценю это, поскольку что за этим тоном скрывалась реальная обеспокоенность, и это сообщение заслуживает честного ответа.

Коллега спросил, почему я настаиваю на том, что классификация документов «по поступлении» не всегда укрепляет контроль над документами, и почему я говорю, что во многих организациях управление документами свелось к сложно организованной переписке.

Во-первых, я признаю, что, возможно, ранее я выразился недостаточно ясно. Во-вторых, я понимаю тон письма, потому что разделяю скрывающийся за данных вопросом страх, Институциональный страх потерять контроль над информацией совершенно оправдан. Но именно поэтому я хочу глубже разобраться в этом вопросе.

 
Проблема не в классификации документов

Проблема заключается в убеждении, что сразу же проведенная классификация равнозначна пониманию документа - а это не одно и то же.

Когда документ поступает в организацию (регистрируется), регистрация его поступления ещё не означает понимания того, какое событие его породило, какова его правовая сфера действия, к каким другим действиям он относится, какие доказательства он дополняет или какие метаданные потребуются для обеспечения его долговременной сохранности.

Регистрация - это не то же самое, что понимание. И слишком ранняя классификация также является ошибкой.

В этом заключается исторически сложившаяся путаница, с которой многие организации до сих пор сталкиваются: «контроль над документами (управление документами)» в конечном итоге стал ассоциироваться с контролем над входящими документами - как будто контроль над каналом поступления документов эквивалентен контролю над доказательствами.

Однако документальные доказательства не возникают просто потому, что документ пересёк физический или электронный порог. Они возникают, когда имеются контекст, намерение, процедурная связь, валидация, прослеживаемость и институциональная способность для будущей реконструкции. До этого то, что существует – это всего лишь циркулирующая информация.

На что я в первую очередь хочу обратить внимание


Это не семантический, а архитектурный спор, который в техническом плане имеет очень специфические последствия.

Когда я говорю, что доказательства, контекст и прослеживаемость рассеяны по системам, критически-важным для выполнения организацией своей миссии, я не использую метафору - я описываю конкретное техническое состояние.

Доказательства - это не просто сохраненные PDF-файлы. Доказательство представляет собой структурированный набор свойств, позволяющих продемонстрировать, что документ является тем, чем претендует быть: 
  • целостность его контента, проверяемая с помощью хеш-функций (SHA-256, SHA-3); 

  • аутентичность, подтвержденная усиленной или усиленной квалифицированной электронной подписью, соответствующей таким стандартам, как XAdES, CAdES или PAdES; 

  • его непрерывная цепочка ответственного хранения от момента получения до конечного хранилища; и 

  • его метаданные, касающиеся его создания, передачи и получения, отслеживаемые в соответствии со стандартизированными схемами, такими как «Дублинское ядро» (Dublin Core), PREMIS или профили Соглашения AGN 001/2024 (или соответствующим стандартом или директивой страны происхождения). 

    Мой комментарий: Здесь упоминается Распоряжение Национальных Архивов Колумбии AGN № 001 от 29 февраля 2024 года «Об утверждении Единого соглашения об архивных функциях; об определении технических и правовых критериев его реализации в рамках Колумбийского государства; и об установлении иных положений» (Por el cual se establece el Acuerdo Único de la Función Archivística, se definen los criterios técnicos y jurídicos para su implementación en el Estado Colombiano y se fijan otras disposiciones, https://normativa.archivogeneral.gov.co/acuerdo-no-001-del-2024/ ).
Когда эти доказательства фрагментированы, рассеяны между системой ведения переписки, ERP-системой, системой управления контрактами и облачной платформой департамента, - ни одна из этих систем по отдельности не может обеспечить полноценную документальную доказательную базу. Доказательства существуют, но ни одна система сама по себе не может полностью их реконструировать.

Контекст - это не описание в свободной форме, содержащееся в текстовом поле. Это сеть структурированных взаимосвязей, которая соединяет документ с процессом, в результате которого он был создан, с ответственным административным подразделением, с серией документов, к которой он принадлежит, с делом, частью которого он является, а также с предшествующими и последующими действиями, которые придают ему юридическое и архивное значение. 

В соответствии со стандартом ISO 23081 и моделью метаданных для управления документами, контекст - это слой метаданных второго уровня, которые должен быть захвачены в момент создания документа, а не восстановлены спустя годы. 

Когда системы, критически-важные для выполнения миссии организации, захватывают только необходимые для их функционирования оперативные данные - без структурирования или экспорта контекста документа - этот контекст незаметно и необратимо теряется. Документ оказывается «осиротевшим», лишённым своей процедурной истории.

Прослеживаемость
— это не журнал операций доступа в базе данных. Это доказуемая способность в любой момент времени в будущем реконструировать каждое значимое событие, произошедшее с документом на протяжении всего его жизненного цикла: его создание, версии, рассылку, валидацию, авторизованные изменения, юридически обязательные согласования и окончательное уничтожение либо передачу на архивное хранение. 

В соответствии с функциональной моделью стандарта ISO 16175 и требованиями к аудиту стандарта ISO 30301, прослеживаемость должна быть структурированной, экспортируемой, связанной с документом посредством постоянных идентификаторов и независимой от системы, которая документ создала. 

Когда прослеживаемость оказывается в плену специфических журналов аудита и логов каждой критически-важной системы, организация может отслеживать только то, что происходило внутри каждой отдельной системы или хранилища. Она никогда не сможет ы полной мере и проверяемым образом реконструировать весь жизненный цикл документа.

Истинная «цена вопроса» не проявляется в день регистрации документа

«Цена вопроса» проявляется спустя годы, когда учреждение пытается реконструировать электронные документы, доказать аутентичность документов надзорному органу, провести миграцию с одной платформы на другую, провести передачу документов и/или обеспечить их долговременную сохранность в соответствии с такими моделями, как OAIS. Именно тогда становится истинная цена, которую приходится платить за использование зависимых архитектур (arquitecturas acopladas). И к тому времени, в большинстве случаев, будет уже слишком поздно.

Затем организации обнаруживают, что они сохранили архивные документы… но потеряли доказательства.

Это две совершенно разные вещи.

Так что же я на самом деле ставлю под сомнение?

Я не утверждаю, что контроль доступа не должен существовать. Конечно, он нужен. Я ставлю под сомнение идею о том, что серьезные усилия по архивированию могут завершиться в момент получения документа.

Когда управление документами сводится к управлению входящими документами, эта сфера деятельности рискует превратиться в изощрённую систему обработки корреспонденции, - в то время как принятие реальных решений, относящихся к доказательствам, контексту и прослеживаемости, остаётся рассеянными по основным деловым системам.

Вот здесь и начинаются основные институциональные проблемы.

Слово благодарности написавшему мне человеку

Именно такого рода противоречия нам и нужно открыто обсуждать. Не для того, чтобы создавать споры и напряжённость, а потому, что будущее управления документами зависит от того, насколько мы выйдем за рамки обсуждения одних лишь процедур и начнём говорить об архитектуре, доказательствах и подлинной жизнеспособности документов.

Я считаю, что именно здесь начинается настоящая ответственная цифровая трансформация.

Техническое примечание: Последствия для долговременной сохранности электронных документов

Распылённость доказательств, контекста и прослеживаемости по несвязанным друг с другом системам, являющимся критически-важными для выполнения миссии организации - это не проблема оперативного управления. Это архитектурный недостаток, непосредственно влияющий на долговременную жизнеспособность цифровых хранилищ.

Технический вывод очевиден: Жизнеспособное обеспечение долговременной сохранности невозможно при фрагментированных архитектурах документов. Обеспечение долговременной сохранности электронных документов (электронной сохранности) - это не слой, добавляемый в конце жизненного цикла, а свойство, которое должно быть запроектировано – начиная с архитектуры захвата, с метаданных, относящихся к созданию документа, и со стратегического управления критически важными системами. В отсутствие такого предварительного проектирования, то, что сохраняется, не является  верифицируемой институциональной памятью. Это просто накопление файлов с молчаливо установленным «сроком годности».

Управляет ли Ваша организация управляет документами - или доказательствами? Различие здесь гораздо существеннее, чем Вы думаете. Выскажите своё мнение в комментариях под этих постом или же напишите мне напрямую.

Джон Гонсалес (Jhon Alexander González Flórez)

Источник: LinkedIn
https://www.linkedin.com/pulse/radicar-es-comprender-jhon-a-gonzalez-f--2fyqe/ 

четверг, 19 июня 2025 г.

Разделение упорядочивания документов для целей их ведения и классификации для целей управления документами

Данный пост австралийского специалиста в области управления документами и информацией Карла Мелроуза (Karl Melrose – на фото) был опубликован 23 мая 2025 года на его блоге Meta-IRM (Мета-управление информацией и документами).

В эпоху кастодиального управления документами (когда документы находились под полным физическим и интеллектуальным контролем своих ответственных хранителей – архивистов и специалистов по управлению документами – Н.Х.) мы классифицировали документы - у нас был номер дела, и имелась система, в которой мы фиксировали классификацию дел.

В пост-кастодиальную эпоху (когда управление документами может осуществляться в отсутствии физического контроля над ними – Н.Х.) мы документы упорядочиваем, предоставляя сотрудникам структуру папок [в компьютерной среде – Н.Х.], и ожидаем, что они будут хранить документы в этой структуре. Схемы упорядочивания и классификация одинаковы.

Что получается в результате? Возникают документные системы, которые сотрудники не могут понять и отказываются использовать.

Мой комментарий: В данном посте Карл Мелроуз противопоставляет структуризацию документов для удобства деловой деятельности т.е. для сотрудников деловых подразделений, называя её «упорядочиванием»; и структуризацию документов для удобства управления ими в соответствии с правилами делопроизводства и архивного дела, в которой заинтересованы специалисты по управлению документами и архивисты, называя её «классификацией».

Я ещё ни разу не видел документной системы, которая не допускала бы разделения классификации и упорядочивания – но я почти никогда встречал систем, в которых бы такое разделение проводилось.

Мы [специалисты по управлению документами – Н.Х.] являемся представителями дисциплины, главной задачей которой является сохранение и управление доказательствами.

У нас есть масса доказательств того, что попытки заставить сотрудников вести документацию, упорядоченную не для их собственного удобства, а для целей управления документами терпят неудачу.

У нас также есть масса доказательств двух других закономерностей:

  • Когда сотрудникам дают систему, в которой документы упорядочены для поддержки их работы, они с радостью внедряют и используют её;

  • Когда сотрудникам не дают систему, в которой документы упорядочены для поддержки их работы, они создают огромный беспорядок.

Чем нам оправдать продолжение использования совпадающего с классификацией упорядочения, при наличии такой массы доказательств неудачности этого подхода?

Карл Мелроуз (Karl Melrose)

Источник: блог Meta-IRM
https://metairm.substack.com/p/separating-arrangement-for-record

среда, 7 мая 2025 г.

Утвержден классификатор ошибок форматно-логического контроля файлов электронных счетов-фактур

Федеральная налоговая служба России приказом от 17 апреля 2025 года № ЕД-7-26/293@ утвердила «Классификатор ошибок форматно-логического контроля файлов электронных счетов-фактур с реквизитами прослеживаемости (КОЭСФ)» и внесла изменения в приложения к приказу ФНС России от 15.12.2022 № ЕД-7-26/1205@

Это сделано «в целях обеспечения унификации электронного документооборота между хозяйствующими субъектами и налоговыми органами по телекоммуникационным каналам связи с использованием усиленной квалифицированной электронной подписи (технологические процессы 124.01.00.00.0050 «Прием, хранение, обработка и предоставление электронных счетов-фактур» и 121.00.00.00.0010 «Автоматизированный контроль за движением импортных товаров»)».

Приказ вступает в силу с 5 мая 2025 года.

Классификатор ошибок форматно-логического контроля файлов электронных счетов-фактур с реквизитами прослеживаемости (КОЭСФ) используется при формировании результатов приема электронных счетов-фактур с реквизитами прослеживаемости в технологических документах, используемых в рамках электронного документооборота между хозяйствующими субъектами и налоговыми органами, на основании положений законодательства Российской Федерации о налогах и сборах.

Объектами классификации в КОЭСФ являются ошибки, возникшие при приеме транспортного контейнера или выявленные при форматно-логическом контроле файлов электронных счетов-фактур с реквизитами прослеживаемости, поступивших от хозяйствующих субъектов.

Классификатор ошибок представляет собой перечень наименований объектов классификации и соответствующих им кодовых обозначений.

Актуальная версия КОЭСФ размещается на официальном сайте ФНС России в информационно-телекоммуникационной сети Интернет.

Источник: Консультант Плюс
https://www.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=503506

воскресенье, 17 ноября 2024 г.

ИСО и МЭК: Опубликованы новые технические спецификации ISO/IEC TS 12791:2024 «Борьба с нежелательной предвзятостью при выполнении задач классификации и регрессии с использованием алгоритмов машинного обучения»

В октябре 2024 года сайт Международной организации по стандартизации (ИСО) сообщил о публикации новых технических спецификаций ISO/IEC TS 12791:2024 «Информационные технологии - Искусственный интеллект – Борьба с нежелательной предвзятостью / систематическими отклонениями при выполнении задач классификации и регрессии с использованием алгоритмов машинного обучения» (Information technology - Artificial intelligence - Treatment of unwanted bias in classification and regression machine learning tasks) объёмом 24 страницы основного текста, см. https://www.iso.org/standard/84110.html и https://www.iso.org/obp/ui/en/#!iso:std:84110:en .

Документ подготовлен техническим подкомитетом SC42 «Искусственный интеллект» (Artificial Intelligence) Объединённого технического комитета ИСО/МЭК JTC1. О работе над ним я уже рассказывала здесь: https://rusrim.blogspot.com/2024/05/isoiec-ts-127912024.html

Во вводной части документа, в частности, отмечается:

«В настоящем документе описываются шаги, которые могут быть предприняты для устранения нежелательной предвзятости / необъективности во время разработки или использования ИИ-систем.

Данный документ основан на техническом отчёте ISO/IEC TR 24027:2021 «Информационные технологии – Искусственный интеллект (ИИ) – Предвзятость и необъективность в ИИ-системах и при принятии решений с использованием ИИ» (Information technology - Artificial intelligence (AI) - Bias in AI systems and AI aided decision making, см. https://www.iso.org/standard/77607.html ), и предлагает методы устранения предвзятости в соответствии с жизненным циклом ИИ-системы, как он описан в разделе 6 стандарта ISO/IEC 22989:2022 «Информационные технологии - Искусственный интеллект - Концепции и терминология искусственного интеллекта» (Information technology - Artificial intelligence - Artificial intelligence concepts and terminology, см. https://www.iso.org/standard/74296.html ), и в стандарте SO/IEC 5338:2023 «Информационные технологии – Искусственный интеллект – Процессы жизненного цикла систем искусственного интеллекта» (Information technology - Artificial intelligence - AI system life cycle processes, см. https://www.iso.org/standard/81118.html ).

Методы устранения предвзятости в данном документе не зависят от контекста.

Данный документ основан на типах предвзятости, описанных в техническом отчёте ISO/IEC TR 24027.

В настоящем документе описываются хорошие практики устранения нежелательной предвзятости, и он может помочь организации в устранении нежелательной предвзятости в системах машинного обучения (МО), которые выполняют задачи классификации и регрессии. Рассмотренные в этом документе методы применимы в отношении задач классификации и регрессии на основе машинного обучения. В данном документе не рассматривается применимость описанных методов за пределами указанных задач машинного обучения.

… В настоящем документе описывается, как устранять нежелательную предвзятость в ИИ-системах, которые используют машинное обучение для выполнения задач классификации и регрессии. В данном документе описаны методы смягчения, которые могут применяться на протяжении всего жизненного цикла ИИ-системы для устранения нежелательной предвзятости. Данный документ применим в организациях любого типа и размера.»

Содержание документа следующее:

Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Устранение предвзятости в ходе жизненного цикла ИИ-системы
6. Методы устранения нежелательной предвзятости
7. Устранение предвзятости в ходе жизненного цикла распределенной ИИ-системы
Приложение А (справочное): Карта процессов жизненного цикла
Приложение B (справочное): Потенциальное воздействие нежелательной предвзятости на различные типы конкретных пользователей
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/84110.html
https://www.iso.org/obp/ui/en/#!iso:std:84110:en

пятница, 6 сентября 2024 г.

Ключевая по важности роль классификации данных в деловой деятельности

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 14 августа 2024 года на блоге компании Formtek.

Классификация данных - необходимый процесс для любой организации, которая обрабатывает данные. Он включает в себя категоризацию информации по различным группам в зависимости от её содержания, степени конфиденциальности и важности. Такая систематизация - это не просто вопрос упорядочивания; она стратегически необходима для деловой деятельности и оказывает влияние на безопасность, исполнение законодательно-нормативных требований и на эффективность работы.

Сегодня коммерческие организации переполнены данными, и классификация этих данных является первым шагом к их пониманию и защите. «Классифицируя данные, организации могут расставить приоритеты в использовании своих ресурсов обеспечения безопасности, обеспечить исполнение нормативно-правовых требований и оптимизировать свои стратегии управления данными» (см. https://atlan.com/what-is-data-classification/ ). Это особенно актуально в отраслях, деятельность которых регламентируется строгими законами о защите персональных данных, таких как финансы и здравоохранение.

Важность классификации данных выходит за рамки соблюдения законодательно-нормативных требований. Она также играет ключевую роль в управлении рисками. Определяя, какие данные являются чувствительными (высококонфиденциальными), а какие нет, компании могут применять соответствующие меры безопасности. Это помогает предотвратить утечки данных, которые могут дорого обойтись как в плане финансовых потерь, так и ущерба для репутации.

С точки зрения полезности для оперативной деятельности, классификация данных способствует повышению эффективности. Она позволяет сотрудникам быстро находить и использовать правильные данные, тем самым экономя рабочее время и сокращая количество ошибок. Такой оптимизированный доступ к данным может значительно повысить производительность и улучшить процессы принятия решений в организации.

Будущее классификации данных тесно связано с достижениями в области технологий, в частности искусственного интеллекта (ИИ). Ожидается, что ИИ произведёт революцию в классификации данных посредством автоматизации этого процесса, сделав его более точным и эффективным. ИИ способен анализировать и классифицировать большие объемы неструктурированных данных ( https://www.datamation.com/trends/data-classification-trends/ ), а в настоящее время это трудоёмкая задача, выполнение которой чревато человеческими ошибками.

Использование ИИ для классификации данных - уже не просто прогноз; это уже происходит на практике. Организации начинают внедрять инструменты классификации на основе ИИ, и эта тенденция несомненно будет усиливаться по мере того, как технологии будут становится более зрелыми и доступными.

Классификация данных имеет ключевое значение для деловой деятельности, поскольку она обеспечивает упорядочивание данных, их безопасность и эффективное использование. Процесс классификации данных с интеграцией в него ИИ станет ещё более продвинутым, что ещё больше повысит способность коммерческих организаций управлять своими данными безопасным и эффективным образом.

Дик Вейсингер (Dick Weisinger)


Мой комментарий: Хочу подчеркнуть, что классификация – не самоцель. Польза от классификации будет лишь тогда, когда отдача от неё для деловой деятельности, для исполнения законодательно-нормативных требований и для сохранения корпоративной памяти существенно превысит затраты на сам процесс классификации.

К сожалению – особенно в государственном секторе – процесс классификации нередко никак не связан с решением основных задач организации, поскольку выстроен в соответствии с потребностями давно ушедших эпох. В этом случае можно потратить ресурсы и в результате не получить никакой полезной отдачи.

Далее, в современных условиях классификация по одному-двум признакам (скажем, по структурным подразделениям и по основным видам деятельности) нередко неэффективна или же эффективна для очень узкого круга задач. Во многих случаях имеет смысл применять более современные (соответственно, более сложные) подходы, которые, к сожалению, пока что мало используются (многие специалисты о них даже не знают).

Источник: блог компании Formtek
https://formtek.com/blog/the-critical-role-of-data-classification-in-business/

суббота, 18 мая 2024 г.

ИСО: Скоро будут опубликованы новые технические спецификации ISO/IEC TS 12791:2024 «Борьба с нежелательной предвзятостью при выполнении задач классификации и регрессии с использованием алгоритмов машинного обучения

Согласно информации, опубликованной в апреле 2024 года на сайте Международной организации по стандартизации (ИСО), в ближайшее время ожидается официальная публикация новых технических спецификаций ISO/IEC TS 12791 «Информационные технологии - Искусственный интеллект – Борьба с нежелательной предвзятостью / систематическими отклонениями при выполнении задач классификации и регрессии с использованием алгоритмов машинного обучения» (Information technology - Artificial intelligence - Treatment of unwanted bias in classification and regression machine learning tasks), см. https://www.iso.org/standard/84110.html .

Документ подготовлен техническим подкомитетом SC42 «Искусственный интеллект» (Artificial Intelligence) Объединённого технического комитета ИСО/МЭК JTC1.

Во вводной части документа, в частности, отмечается:

«В настоящем документе описаны методы смягчения, которые могут применяться на протяжении всего жизненного цикла ИИ-системы для устранения нежелательной предвзятости.

В данном документе описывается, как устранять нежелательную предвзятость в ИИ-системах, которые используют машинное обучение для выполнения задач классификации и регрессии.

Данный документ применим в организациях любого типа и размера.»

Содержание документа следующее (взято из финального проекта технических спецификаций):

Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определения
4. Сокращения
5. Устранение предвзятости в ходе жизненного цикла ИИ-системы
6. Методы устранения нежелательной предвзятости
7. Устранение предвзятости в ходе жизненного цикла распределенной ИИ-системы
Приложение А (справочное): Карта процессов жизненного цикла
Приложение B (справочное): Потенциальное воздействие нежелательной предвзятости на различные типы конкретных пользователей
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/84110.html

суббота, 30 марта 2024 г.

Как классификация с использованием возможностей искусственного интеллекта может произвести революцию в управлении данными

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 9 февраля 2024 года на блоге компании Formtek.

Данные - это источник жизненной силы любой организации, но управление ими может оказаться непростой задачей. Данные приходят в различных форматах, из различных источников и разного качества; они часто содержат чувствительную или конфиденциальную информацию, которую необходимо защищать и использовать надлежащим образом. Как же организациям обеспечить хорошую организацию, доступность и безопасность своих данных?

Одним из возможных решений является использование методов классификации на основе искусственного интеллекта для автоматизации процесса категоризации и разметки данных. ИИ-классификация - это процесс использования ИИ-систем для назначения данным предопределенных категорий или меток на основе закономерностей и особенностей, выявленных с использованием исторических данных ( https://sloanreview.mit.edu/article/how-ai-is-improving-data-management/ ).

ИИ-классификация способна помочь организациям в управлении данными несколькими способами:

  • Сокращение объёмов ручного труда и количества человеческих ошибок, связанных с классификацией данных, которая может быть трудозатратной и подверженной ошибкам;

  • Повышение точности и согласованности классификации данных, что может повысить качество и надёжность данных;

  • Способствование более быстрому и простому выявлению и извлечению данных, что может повысить производительность и эффективность работы пользователей данных;

  • Способствование стратегическому управлению данными и исполнению законодательно-нормативных требований, обеспечивая использование данных в соответствии с применимыми законами, политиками и стандартами.

ИИ-классификация уже внедряется некоторыми ведущими организациями и учреждениями. Например, компания Google недавно реализовала на своей платформе Workspace новую функциональную возможность, которая использует ИИ для автоматической классификации и разметки данных на основе их чувствительности и конфиденциальности. Эта функциональная возможность помогает пользователям платформы Workspace защищать свои данные и соблюдать требования законодательства о защите персональных данных, такого как «Общие правила защиты персональных данных» (General Data Protection Regulation, GDPR, https://eur-lex.europa.eu/legal-content/EN/TXT/?qid=1532348683434&uri=CELEX:02016R0679-20160504 ) Евросоюза и Закон штата Калифорния (США) о защите неприкосновенности частной жизни потребителей (California Consumer Privacy Act, CCPA, https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=201720180AB375 ).

ИИ-классификация потенциально способна произвести революцию в управлении данными и в полной мере раскрыть деловой потенциал данных для организаций. Используя ИИ для автоматизации и оптимизации классификации данных, организации могут сэкономить время и ресурсы, повысить качество и безопасность данных, а также улучшить процессы принятия решений и инноваций на основе данных.

Дик Вейсингер (Dick Weisinger)


Источник: блог компании Formtek
https://formtek.com/blog/how-ai-powered-classification-can-revolutionize-data-management/

суббота, 30 декабря 2023 г.

США: Публичное обсуждение проекта руководства NIST IR 8496 по классификации данных

Данная новость была опубликована 15 ноября 2023 года на сайте американского Национального института стандартов и технологий (NIST).

Американский Национальный центр компетенции по вопросам кибербезопасности (National Cybersecurity Center of Excellence, NCCoE) при Национальном институте стандартов и технологий (NIST) опубликовал для публичного обсуждения проект отчёта NIST IR 8496 «Концепции классификации данных и соображения по улучшению защиты данных» (Data Classification Concepts and Considerations for Improving Data Protection) объёмом 17 страниц, см. https://csrc.nist.gov/pubs/ir/8496/ipd (прямая ссылка на PDF-файл: https://nvlpubs.nist.gov/nistpubs/ir/2023/NIST.IR.8496.ipd.pdf ). Публичное обсуждение документа продлится до 9 января 2024 года.

В аннотации на документ отмечается следующее:

«Классификация данных - это процесс, который организация использует для характеризации своих активов данных с помощью постоянных меток, с тем, чтобы этими активами можно было правильно управлять.

Классификация данных жизненно важна для защиты данных организации в больших масштабах, поскольку она даёт возможность реализовывать требования по обеспечению кибербезопасности и защиты персональных данных применительно к информационным активам организации.

В настоящей публикации определяется базовая терминология и объясняются фундаментальные понятия и концепции классификации данных, формируя тем самым общий язык, которым могут пользоваться все.

Данная публикация также может помочь организациям улучшить качество и эффективность своих подходов к защите данных благодаря лучшему пониманию вопросов классификации данных и принятию их во внимание в сценариях использования в деловой деятельности и при выполнении миссии организаций (таких, как безопасный обмен данными, мониторинг и отчетность об исполнении законодательно-нормативных требований, архитектура с нулевым доверием и большие языковые модели).»

Содержание документа следующее:

1. Введение
2. Предыстория
3. Функции классификации данных
Литература
Приложение А: Список обозначений, сокращений и акронимов
Приложение B: Глоссарий

Комментируя 16 ноября 2023 года эту новость в своём посте в социальной сети LinkedIn, британский специалист в области управления документами и защиты персональных данных Лючия Стефан (Lucia Stefan – на фото) написала следующее:

«Несмотря на тенденцию называть всё на свете «данными», в отчёте не удалось избежать ненавистного слова «документ» (document - также переводится как элемент контента, файл – Н.Х.), под которым понимается контейнер для неструктурированных данных, представленных в различной форме (текст, видео, изображение и т.д.).

Современные стандарты ИСО продвигают именно термин «документ», а не «документированная информация» (documented information).

Фактически, в отчёте полностью избегают слова «информация». Мне интересно, что думают об этом документе апостолы стратегического управления информацией (information governance). Похоже, что существует негласный конфликт между сторонниками терминов «данные» и «информация» в сфере всего, что касается управления активами знаний.»

Со своей стороны, я вижу следующие недостатки в публикации:

  • Предельно примитивное (и даже в этом случае не вполне корректное) представление о жизненном цикле данных, уместное лишь в отношении наименее ценных данных. Жизненный цикл данных, в представлении авторов публикации, включает 4 этапа: выявление (!) актива данных (даже не создание/получение!), использование (в т.ч. по иному назначению), сохранение и уничтожение/передача;

  • Крайне спорное и в какой-то степени бредовое (см. упоминание «физической модели» в определении структурированных данных, строки 515-516) представление о том, что следует считать структурированными (по сути, для авторов это базы данных), полуструктурированными (сюда попали данные в форматах XML и JSON!) и неструктурированными данными;

  • Неверное истолкование понятия «стратегическое управление данными» (data governance) – как «действия, которые организация должна выполнить, чтобы обеспечить правильное управление её активами данных» (и чем это отличается от «просто» управления данными?!);

  • Игнорирование других профессий и групп, также заинтересованных в классификации данных, информации, документов и знаний (и активно осуществляющих её в своих целях), таких, как деловые подразделения, юридическая служба, ИТ, ИБ, управление документами и контентом, стратегическое управление информацией, управление знаниями и многие другие, - что, несомненно, никак не способствует сотрудничеству представителей различных информационных профессий;

  • Примитивное представление о том, как следует проводить классификацию. Показательным примером является следующее утверждение (строки 364-365): «В идеале классификация данных может быть осуществлена на основе имеющихся метаданных, таких как имя файла, расширение файла, автор, дата создания и местоположение». Даже если не хочется анализировать контент, для осмысленной классификации всё же требуется куда больше метаданных (я даже не буду поднимать вопрос о том, кого эти люди собираются считать «автором» на основе метаданных).

  • Примитивное представление о происхождении данных, сводящееся к вопросу о том, «кем или чем был создан актив данных» (см. стр. 505-506). На самом деле под «происхождением» понимается история создания и дальнейшей эволюции, использования и ответственного хранения информационного актива, достаточно детальная для того, чтобы пользователь данных мог судить об их аутентичности, целостности и надёжности.

Ну что же, оказывается, и NIST порой может выпускать халтуру …

Источник: сайт NIST / сайт LinkedIn
https://csrc.nist.gov/News/2023/open-for-public-comment-draft-nist-ir-8496
https://www.linkedin.com/posts/luciastefan_nist-ir-8496-ipd-activity-7131190178869641216-rDIl?utm_source=share&utm_medium=member_desktop

среда, 22 ноября 2023 г.

Искусственный интеллект - будущее управления документами

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 12 октября 2023 года на блоге компании Formtek.

Искусственный интеллект (ИИ) трансформирует способы и методы, которые коммерческие компании, государственные органы и учреждения используют для управления своими документами. ИИ способен улучшить и оптимизировать потоки работ и рабочие процессы управления документами посредством автоматизации обработки документов, извлечения данных и их проверки.

По крайней мере три федеральных органа исполнительной власти США - Государственный департамент, Министерство юстиции и Центры по контролю и профилактике заболеваний (Centers for Disease Control and Prevention) – уже опробовали или в настоящее время тестируют модели и алгоритмы машинного обучения, помогающие искать информацию в хранилищах, содержащих миллиарды государственных документов.

Представители ряда федеральных органов исполнительной власти также отдельно протестировали разрабатываемый ИИ-прототип под названием «Помощник при исполнении запросов на основании Закона о свободе доступа к государственной информации» (FOIA Assistant, см. https://www.nbcnews.com/news/us-news/federal-agencies-testing-ai-foia-concerns-rcna97313 ), разрабатываемый финансируемой из федерального бюджета исследовательской группой в качестве возможной модели, обеспечивающей обработку рекордно большого количества новых запросов и пока что увеличивающихся объёмов не выполненных в срок запросов.

Последствия внедрения ИИ в управлении документами могут быть весьма существенными. ИИ способен помочь организациям повысить эффективность оперативной работы, сократить затраты и наладить оптимизированные процессы. Поскольку технологии продолжают развиваться, можно будет ожидать и дальнейших улучшений в потоках работ и рабочих процессах управления документами.

Благодаря своей способности автоматизировать обработку документов, извлекать данные с высокой точностью и автоматически проверять их в ходе рабочих процессов, ИИ действительно трансформирует способы и методы, которые коммерческие компании, государственные органы и учреждения используют для управления своими документами.

Дик Вейсингер (Dick Weisinger)

Источник: блог компании Formtek
https://formtek.com/blog/ai-the-future-of-records-management/

суббота, 2 сентября 2023 г.

Классификация данных по степени конфиденциальности - фундаментальный фактор, способствующий стратегическому управлению данными

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 21 июля 2023 года на блоге компании Formtek.

Мой комментарий: Хотя этот пост в целом посвящен классификации по степени конфиденциальности / секретности, однако всё тоже самое можно было бы сказать и об иных осмысленных способах классификации данных! :)

Классификация данных — это процесс организации структурированных и неструктурированных данных по категориям, который может основываться на метаданных, на содержимом файлов и/или на типе данных. Корректная классификация данных важна для надлежащего решения вопросов управления рисками, раскрытия информации в рамках судебных споров и расследований, соблюдения законодательно-нормативных требований, безопасности и стратегического управления данными. Классификация особенно полезна для отслеживания, выявления и извлечения данных.

Классификация выполняется посредством разработки политики, определяющей категории и используемые для классификации критерии. Кроме того, для различных по степени секретности / конфиденциальности материалов должны быть установлены процедуры обеспечения безопасности и обработки. Политика будет определять, какие лица и группы имеют право доступа к различным типам данных.

Классификацию можно проводить на очень высоком уровне - например, распределяя все данные по трём категориям:

  • Конфиденциальные

  • Для служебного пользования и

  • Публичные

Однако классификация также может быть гораздо более детальной. Обычно создается схема метаданных, определяющая различные способы идентификации, группировки и маркировки данных для целей поиска и извлечения.

Вице-президент компании N-able Стефан Восс (Stefan Voss, https://www.linkedin.com/in/stefanvoss1/ ) считает, что «классификация данных помогает организациям снизить риски и улучшить в целом исполнение законодательно-нормативных требований и уровень безопасности. Она также помогает сдерживать расходы и повышать прибыльность за счёт снижения затрат на хранение и большей прозрачности выставления счетов» ( https://www.computerweekly.com/feature/Data-classification-What-it-is-and-why-you-need-it ).

Дик Вейсингер (Dick Weisinger)

Источник: блог компании Formtek
https://formtek.com/blog/data-classification-a-fundmental-enabler-of-data-governance/

пятница, 7 апреля 2023 г.

Фикция классификации документов сотрудниками деловых подразделений

Данный пост австралийского специалиста в области управления документами и информацией Карла Мелроуза (Karl Melrose – на фото) был опубликован 17 января 2023 года на его блоге Meta-IRM (Мета-управление информацией и документами).

Вот кое-что, с чем я регулярно сталкиваюсь и что, по моему мнению, заслуживает определённого обдумывания.

В какой-то момент нам приходится признать, что мы не доверяем сотрудникам, занимающимся классификацией документов (т.е. их упорядочиванием и, прямо или косвенно, установлением им сроков хранения – Н.Х.).

В данный момент существует сильное движение, направленное на то, чтобы «сделать Microsoft 365 соответствующим законодательно-нормативным требованиям».

Витают (подразумеваемые) надежды на то, что если только мы (специалисты по управлению документами – Н.Х.) сможем обеспечить соответствие данного продукта установленным требованиям, то сможем поднять степень захвата (документов в документные системы – Н.Х.) до уровня, при котором сможем спокойно спать по ночам.

Есть, однако, одна проблема.

Я регулярно общаюсь с представителями государственных органов, и они сообщают, что степень захвата (capture rate) у них составляет 10–20% - цифра, которая становится типичной в ряде секторов (степень захвата показывает долю материалов, захватываемых в соответствующие законодательно-нормативным требованиям системы управления документами, способные управлять жизненным циклом документов).

Затем разговор переходит к вопросам уничтожения либо передачи на постоянное архивное хранение фактически захваченного контента. Так вот, эти органы уничтожение не проводят. Почему? Потому, что не верят в то, что их сотрудники правильно классифицировали свой контент.

Государственные органы слишком обеспокоены тем, что сотрудники могли неправильно классифицировали какие-то материалы или же могли свалить кучу контента в одно дело, которое легко найти - так что они не будут заниматься уничтожением.

Microsoft 365 не может решить проблему, связанную с тем, что мы не можем доверить сотрудникам выполнение классификации их документов.

Никакие «корзины» здесь не помогут (отсылка к методу укрупнённой классификации документов по срокам хранения, известному как метод «больших корзин» - Н.Х.).

Так почему же мы всё ещё применяем всё те же способы выполнения работы? Глупо продолжать делать одно и то же, и ожидать при этом каких-то иных результатов.

Неужели мы верим то, что одним прекрасным утром все вдруг проснутся - и начнут думать так же, как мы?

Что заставляет нас продолжать действовать подобным образом?

Карл Мелроуз (Karl Melrose)

Источник: блог Meta-IRM
https://metairm.substack.com/p/the-fiction-of-people-classifying

суббота, 27 августа 2022 г.

Что категории Вашей классификационной схемы говорят о нацеленности Вашей программы управления документами

Данный пост австралийского специалиста в области управления документами и информацией Карла Мелроуза (Karl Melrose – на фото) был опубликован 01 августа 2022 года на его блоге Meta-IRM (Мета-управление информацией и документами)

Классификация — это то, что мы делаем каждый день, даже не задумываясь об этом.

  • Еда.

  • Опасность.

  • Друг.

Всё это мы делаем не задумываясь, - и то, как мы классифицируем вещи, определяет то, как мы действуем. Однако классификация не работает без категорий (рубрик):

  • Еда - это категория вещей, которые мы можем съесть.

  • Опасность - это категория вещей, от которых нам следует держаться подальше.

  • Друг - это категория людей, которых мы знаем, которые нам нравятся и которым мы доверяем.

У управления документами есть свой собственный подход к категориям.

У нас есть категории, связанные с хранением - и когда мы их используем, это говорит о том, что наша программа управления документами нацелена на обеспечение сохранности в течение установленных сроков.

Когда мы используем деловые функции, виды деятельности и деловые операции/транзакции (function – activity - transaction, FAT), это говорит о том, что наша программа управления документами ориентирована на нашу организацию.

У управления документами есть огромная проблема с вовлечением и действиями конечных пользователей.

Многие ли люди, когда входят в документную систему, видят там нечто такое, что говорит им: «Это для вас»?

Карл Мелроуз (Karl Melrose)

Источник: блог Meta-IRM
https://metairm.substack.com/p/what-do-your-categories-say-your

суббота, 5 февраля 2022 г.

ИСО и МЭК: Опубликованы технические спецификации ISO/IEC TS 38505-3:2021 «Стратегическое управление данными – Часть 3: Рекомендации по классификации данных»

В декабре 2021 года сайт ИСО сообщил о публикации технических спецификаций ISO/IEC TS 38505-3:2021 «Информационные технологии - Стратегическое управление данными – Часть 3: Рекомендации по классификации данных» (Information technology - Governance of data - Part 3: Guidelines for data classification) объёмом 17 страниц основного текста, см. https://www.iso.org/standard/56643.html и https://www.iso.org/obp/ui/#!iso:std:56643:en . Документ подготовлен техническим подкомитетом SC40 «Управление ИТ-сервисами и стратегическое управление ИТ» (IT service management and IT governance) Объединённого технического комитета ИСО/МЭК JTC1.

В аннотации на документ отмечается следующее:

«Настоящий документ дополняет существующие международные стандарты стратегического управления ИТ (ISO/IEC 38500) и стратегического управления данными (ISO/IEC 38505-1).

Он разработан в качестве практического руководства для организаций (включая их органы стратегического управления и руководство), которое им позволит:

  • Обеспечить постоянный надзор над своим портфелем данных,

  • Понимать деловой контекст данных, их ценность, чувствительность и связанный с данными риск, и

  • Применять соразмерные и уместные механизмы, обеспечивающие защиту данных и их использование только в установленных целях, соответствующих обязательствам организации.»

Содержание документа следующее:

Предисловие
Введение
1. Область применения
2. Нормативные ссылки
3. Термины и определение
4. Основания
5. Роли и ответственность
6. Концепция классификации данных
7. Руководящие принципы
Библиография

Источник: сайт ИСО
https://www.iso.org/standard/56643.html
https://www.iso.org/obp/ui/#!iso:std:56643:en