Трансформирующая сила подготовки данных в эпоху порождающего (генеративного) искусственного интеллекта

Данная заметка Дика Вейсингера (Dick Weisinger – на фото) была опубликована 22 августа 2024 года на блоге компании Formtek.

Порождающий (генеративный) ИИ (generative A, GenAI) становится фактором, который меняет правила игры во многих областях. В сфере инженерии данных порождающий ИИ революционизирует способ обработки и управления данными. Хотя влияние порождающего ИИ, несомненно, глубоко, оно также заново напоминает вековую истину: подготовка данных всегда была важнейшим компонентом успешных инициатив в области данных.

Порождающий ИИ - это не просто «модные» алгоритмы; это эффективность и точность. Автоматизируя повторяющиеся задачи, генерируя код и оптимизируя перемещение данных, порождающий ИИ становится бесценным инструментом для инженеров данных, занимающихся организацией сложных конвейеров обработки данных. Данный симбиоз порождающего ИИ и человеческого опыта открывает новую эру автоматизации, когда созданные ИИ шаблоны легко интегрируются с индивидуализированным кодом, освобождая инженерам данных время для того, чтобы сосредоточить своё внимание на таких тонких аспектах, как логика трансформаций.

Влияние порождающего ИИ на инженерию данных уже ощущается в различных отраслях. Рассмотрим пример из практики, в котором порождающий ИИ был интегрирован в жизненный цикл данных клиента ( https://fractal.ai/transforming-data-engineering-with-genai/ ): создание таблиц, перемещение данных и генерация тестовых примеров стали автоматизированными, что привело к сокращению времени и усилий на 50%. Благодаря возможностям порождающего ИИ аналитики смогли выполнять сложные задачи анализа данных с большей эффективностью. В финансовом секторе порождающий ИИ ускоряет регрессионное тестирование, избегая ручной работы при генерации тестовых данных и обеспечивая безопасность данных во время передачи.

Интеграция порождающего ИИ в инженерию данных имеет далеко идущие последствия и приводит к значительным сдвигам в отрасли:

• Гибкость и эффективность: Порождающий ИИ повышает гибкость, давая инженерам данных возможность быстро адаптировать конвейеры обработки в ответ на меняющиеся потребности деловой деятельности. Повышение эффективности проходит сквозь всю экосистему данных, оптимизируя использование ресурсов и сокращая время на выработку нужных знаний и представлений.
  
  
• Запросы на естественном языке: Отдача от порождающего ИИ охватывает запросы на естественном языке, сокращая разрыв между техническим жаргоном и языком деловых пользователей. Представьте себе, например, что порождающий ИИ правильно интерпретирует запрос «Покажите мне тенденции продаж за второй квартал 2024 года» и предоставляет нужную информацию.
  
  
• Масштабируемость: По мере того, как объемы данных продолжают стремительно расти, критически важным становится масштабируемость порождающего ИИ. Он легко обрабатывает большие наборы данных, оптимизируя скорость обработки и использование ресурсов, а также способствуя тому, чтобы инженерия данных шла в ногу с постоянно растущими объёмами данных.

В будущем мы можем ожидать следующее:

• Более «умные» (интеллектуальные) конвейеры данных: Благодаря порождающему ИИ продолжится совершенствование процессов перемещения, преобразования и оркестровки данных. Конвейеры будут динамически адаптироваться, обучаясь на основе закономерностей и оптимизируя себя для достижения максимальной эффективности.
  
  
• Этичный ИИ: По мере того, как порождающий ИИ будет становиться всё более распространённым, в практику инженерии данных будут интегрироваться этические соображения. Выявление необъективности / предвзятости, защита неприкосновенности частной жизни (персональных данных) и справедливость станут неотъемлемыми компонентами инициатив по работе с данными на основе порождающего ИИ.
  
  
• Бесперебойное сотрудничество: Инженеры данных и порождающий ИИ будут беспрепятственно сотрудничать, используя сильные стороны друг друга для преодоления сложностей, обеспечения качества и надёжности данных и для извлечения новых знаний и идей из данных.

Дик Вейсингер (Dick Weisinger)

Источник: блог компании Formtek
https://formtek.com/blog/the-transformative-power-of-data-preparation-in-the-genai-era/

Минстрой: О возможности использования информационно-удостоверяющего листа при разработке проектной документации

Департамент цифрового развития Министерства строительства и жилищно-коммунального хозяйства Российской Федерации в своем письме от 13 мая 2024 года №12128-ОГ/00 высказал свою позицию о возможности использования разработчиками проектной документации информационно-удостоверяющего листа при разработке проектной документации в формате XML-схем.

В соответствии с разъяснениями, полученными от Федерального автономного учреждения «Главгосэкспертиза России», согласно пункту 7 «Требований к формату электронных документов, представляемых для проведения государственной экспертизы проектной документации и (или) результатов инженерных изысканий и проверки достоверности определения сметной стоимости строительства, реконструкции, капитального ремонта объектов капитального строительства», утвержденных приказом Минстроя России от 12 мая 2017 г. №783/пр, представляемые электронные документы подписываются с использованием усиленной квалифицированной электронной подписи (УКЭП) лицами, обладающими полномочиями на их подписание в соответствии с законодательством Российской Федерации, а в случаях, предусмотренных пунктом 6 Требований, лицами, уполномоченными на представление документов для оказания услуг.

Проектная документация, сформированная в форме электронного документа, подписывается лицами, участвующими в ее разработке, осуществлении нормоконтроля и согласовании, а в случае невозможности обеспечения их УКЭП - на отдельные документы в составе проектной документации оформляется информационно-удостоверяющий лист (ИУЛ) на бумажном носителе, содержащий наименование электронного документа, к которому он выпущен, фамилии и подписи не обеспеченных электронной подписью лиц, дату и время последнего изменения документа.

Такой ИУЛ сканируется в соответствии с пунктом 6 Требований, и сформированный по результатам сканирования электронный документ подписывается лицом, уполномоченным на представление документов для оказания услуг, с использованием УКЭП.

Действующее законодательство не устанавливает исключения к Требованиям в случае подписания документации, подготовленной с использованием xml-схем. На основании изложенного, в случае представления на экспертизу проектной документации, разработанной в формате xml, такая проектная документация подписывается электронными подписями ответственных лиц, или предоставляется ИУЛ, оформленный в соответствии с пунктом 7 Требований.

Ведомство также сообщило, что в соответствии с Положением о проведении государственной экспертизы проектной документации и государственной экологической экспертизы проектной документации по принципу «одного окна», утвержденным постановлением Правительства Российской Федерации от 20 декабря 2021 г. №2366, для проведения государственной экспертизы и экологической экспертизы по принципу «одного окна» заявление, проектная документация, представляемые документы и материалы направляются в Учреждение в форме электронных документов, подписанных заявителем усиленной квалифицированной электронной подписью.

Источник: Консультант Плюс
https://www.consultant.ru/cons/cgi/online.cgi?req=doc;base=LAW;n=484408

Эндрю Уорланд: Краткая история электронных систем управления документами и контентом, а также связанных с ними стандартов, часть 2

(Продолжение, начало см. http://rusrim.blogspot.com/2024/09/1_086532472.html )

Австралийская система серий документов

Питер Скотт (Peter Scott), Иэн Маклин (Ian McLean) и другие сотрудники Архивного управления Австралийского Содружества (Australian Commonwealth Archive Office, CAO – первоначальное название Национальных Архивов Австралии – Н.Х.) в 1966 году опубликовали «Серии документов Содружества» (Commonwealth Record Series, CRS). Этот документ включал диаграмму (см. https://timsherratt.org/shed/crs/crs_diagram.html - Н.Х.), показывающую связь между организациями, агентствами, лицами, сериями и объектами, которая очень похожа на модели взаимосвязи сущностей и визуализации данных.

Хотя система серий CRS предложила очень полезный способ понимания взаимосвязей между различными сущностями, связанными с документами, однако критический анализ этой модели, проведенный Национальными Архивами Австралии в 2022 году, показал, что «существует тенденция навязывать аналоговые представления при работе с электронными документами, в результате чего богатый источник данных фактически оказывается невидимым» (Источник: «Переосмысление системы серий документов Содружества» (Re-imagining the Commonwealth Record Series), Национальные Архивы Австралии, 2022 г., см. https://www.researchgate.net/publication/363243818_Reimagining_the_Commonwealth_Record_Series_System/fulltext/636c889137878b3e8799b664/Reimagining-the-Commonwealth-Record-Series-System.pdf )

Аналоговый подход к управлению электронными документами окажет влияние на развитие систем управления документами и контентом.

Первое сообщение электронной почты

Рэй Томлинсон (Ray Tomlinson, умер в 2016 г.) и его команда в 1971 г. разработали первую систему электронной почты и отправили первое электронное письмо. (Источник: https://en.wikipedia.org/wiki/Ray_Tomlinson ).

Как мы увидим, электронная почта впоследствии окажет глубокое влияние на управление документами начиная с 1980-х годов.

1970-е годы — Реляционные базы данных и ранние системы управления контентом

Реляционные базы данных и специализированные системы управления контентом начали появляться в начале 1970-х годов.

1970 — Появляется концептуальная модель реляционных баз данных

В 1970 году, через год после написания внутреннего отчёта по той же теме в период его работы в фирме IBM, Э. Ф. Кодд (E.F. Codd) опубликовал научную статью под названием «Реляционная модель для больших коллективно используемых банков данных» (Relational Model for Large Shared Data Banks). Говорят, что фирма IBM изначально не проявила особого интереса, но под давлением своих клиентов решила разработать такую модель, но не на основе предложенного Коддом языка «Alpha», а с использованием нереляционного языка под названием «SEQUEL». Позднее это название было изменено на SQL (Structured Query Language – «язык структурированных запросов»), поскольку название SEQUELуже являлось торговой маркой другой компании. (Источник: «Хронология истории баз данных» (A timeline of database history), https://www.quickbase.com/articles/timeline-of-database-history ).

Понятие систем управления реляционными базами данных, или СУБД (Relational Database Management Systems, RDBMS) стала признанным термином в это десятилетие. (Источник: Хронология истории базы данных).

1973 — Рождение Plato Notes, предшественника Lotus Notes

История Lotus Notes началась в 1973 г. под именем Plato Notes, которая была разработана Лабораторией компьютерных исследований в области образования (Computer-based Education Research Laboratory, CERL) при Университете Иллинойса в 1973 г. В конце 1970-х годов элементы системы Plato Notes были разработаны для ПК Рэем Оззи (Ray Ozzie). Эта работа была подхвачена компанией Lotus Development Corporation, и в 1984 г. решение стало называться Lotus Notes.

1973 — Создан миникомпьютер фирмы Wang Laboratory

Компания Wang Laboratories была основана в США в 1951 году. Она выпустила микрокомпьютер Wang 2200 в 1973 году, а затем выпускала Wang VS начиная с 1977 года. Его программное обеспечение Wang WP, хотя оно и не обязательно позиционировался на рынке как система управления документами и контентом, позволяло организациям создавать и «сохранять» документы и контент.

1974 — Появление реляционной базы данных Ingres

Реляционная база данных Ingres, разработанная в Калифорнийском университете в Беркли (University of California Berkeley, UBC), была выпущена в 1974 году. Она использовала язык запросов, известный как QUEL, и привела к созданию таких систем, как Ingres Corp., MS SQL Server, Sybase, PACE фирмы Wang и Britton-Lee. (Источник: Хронология истории базы данных).

1974 — Основана компания Compulink Management Center – создатель решения Laserfiche

Компания Compulink Management Center была основана в США в 1974 году. В 1987 году она создала Laserfiche, первую систему управления графическими образами документов на базе операционной системы DOS.

1974 — Фирма IBM создаёт System R

В 1974 г. исследовательский центр IBM в Сан-Хосе разработал реляционную систему управления базами данных (СУБД), основанную на модели Э. Ф. Кодда. Она получила название System R. System R была выпущена в продажу в 1977 году

1976 — Основана компания Micro Focus

Компания Micro Focus была основана в Великобритании в 1976 году. Её первым программным продуктом было решение для микрокомпьютеров CIS COBOL. Компания вышла на рынок электронных систем управления документами и контентом в 2017 году, см. ниже.

1977 — IBM выпускает реляционную базу данных System R

В 1977 году IBM выпустила реляционную базу данных System R. Эта база данных использовала язык запросов SEQUEL и способствовала разработке SQL/DS, IBM DB2 (см. ниже в информации о 1983 г.), Allbase, Oracle и Non-Stop SQL. (Источник: Хронология истории баз данных).

1978 — Создан Технический комитет Международной организации по стандартизации (ИСО) TC 171

В 1978 году недавно созданному техническому комитету ИСО TC 171 было поручено разработать стандарты приложений для управления контентом. При этом из сферы деятельности технического комитета явно исключалось всё, что было связано с управлением документами.

Мой комментарий: Причиной такого ограничения было то, что вопросами управления документами уже занимался технический подкомитет ИСО TC46/ SC11. Это разграничение формально сохраняется до сих пор, однако оба заинтересованных технических комитета нередко его нарушают (маскируя это использованием иной терминологии).

1979 — IBM выпускает решение для IBM 5520

Согласно статье в Википедии, «Административная система IBM 5520» (IBM 5520 Administrative System), выпущенная в 1979 году, «была системой для распространения текстов, электронного контента и обработки данных», которая включала некоторые рудиментарные функциональные возможности для управления контентом (как и IBM 8100). В статье отмечается, что одним из побудительных факторов выпуска этой системы была конкуренция со стороны таких компаний, как Wang. (Источник: https://en.wikipedia.org/wiki/IBM_5520 ).

(Продолжение следует)

Эндрю Уорланд (Andrew Warland)

Источник: блог Эндрю Уорланда
https://andrewwarland.wordpress.com/2021/02/11/a-brief-history-of-electronic-document-and-records-management-systems-and-related-standards/

Арбитражная практика: Суд признал недействительными документы, послужившие основанием для выдачи сертификата ключа УКЭП

Использование «левых» УКЭП в мошеннических действиях, к сожалению, стало регулярно упоминаться в судебной практике.

Арбитражный суд города Москвы в марте 2022 года рассмотрел дело №А40-235476/21-58-1710, в котором оспаривалось получение средств создания подписи на генерального директора компании, которые использовались для заключения договоров поставки на электронной торговой площадке.

Суть спора

В период с апреля по июнь 2021 года к обществу ООО «ПромТорг» был предъявлен ряд исковых заявлений, поступивших от 7 компаний. В процессе рассмотрения данных дел истцу стало известно о том, что эти компании участвовали в качестве поставщиков в торговых процедурах, размещенных на торговой площадке «b2b-center», организатором которого был акционерное общество «Центр развития экономики».

Суд учёл, что в ходе рассмотрения дела №А60-263 54/2021 по иску ООО «Компания ИмПарт» о взыскании с общества долга в сумме более 883. тыс. руб., общество АО «Центр развития экономики» предоставило сведения об ЭЦП, выданной неустановленному лицу обществом ООО «Удостоверяющий центр «Столица». В качестве получателя ЭЦП был указан генеральный директор общества.

Для справки: По данному делу обществом «ПромТорг» был заявлен встречный иск к обществу «Компания ИмПарт» о признании недействительными договора поставки и приложений к нему, доверенности на получение грузов, УПД/товарной накладной, как подписанными неуполномоченными (неустановленными) лицами. В иске было указано на то, что общество «ПромТорг» никаких договоров с обществом «Компания ИмПарт» не заключало и не подписывало, товар от истца не получало, в связи с чем оснований для оплаты и взыскания с ответчика стоимости указанного товара не имеется.

Вместе с тем, общество не участвовало в закупках на каких-либо электронных площадках, и не имело ни личного кабинета, ни электронной цифровой подписи для участия в тендерах и размещения документации на электронных площадках.

Согласно сведениям с официального сайта единой информационной системы в сфере закупок в информационно-телекоммуникационной сети Интернет https://zakupki.gov.ru, организация ООО «ПромТорг» не содержится в реестре участников закупок.

Генеральным директором общества является гражданин, который был назначен на должность в октябре 2020 года на основании решения единственною участника общества.

Заявление о выдаче ЭЦП в ООО «Удостоверяющий центр «Столица» истец не направлял, ответчик с обществом по вопросу проверки данных либо запроса данных, либо проверки личности единоличного исполнительного органа, не связывался.

О том, что неустановленными лицами от имени общества были совершены мошеннические действия по приобретению товара у ряда компаний, которые участвовали в торговых процедурах, ответчику стало известно 31.03.2021 года после получения на официальную почту компании письма по электронной почте «Претензия ООО «СтальТранс» по оплате».

С конца марта 2021 года на электронную почту и телефон общества, а также на личный телефон генерального директора общества стали поступать звонки и письма с требованиями об оплате поставленного в адрес общества товара от различных фирм-поставщиков.

Узнав о данных обстоятельствах, в апреле 2021 года истец направил по электронной почте в адрес удостоверяющего центра заявление об отзыве электронного ключа.

Истец указал, что спорный договор в форме заявления на регистрацию и изготовление квалифицированного сертификата ключа проверки электронной подписи был заключен для дальнейшего участия неустановленных лиц от имени истца в торговых площадках и осуществления закупок товара в своих интересах.

Указанные обстоятельства послужили основанием для обращения в суд с настоящим иском.

ООО «ПромТорг» просило признать недействительными:

• Заявление на регистрацию и изготовление квалифицированного сертификата ключа проверки электронной подписи юридического лица;
  
  
• Квалифицированный сертификат ключа проверки электронной подписи, выданный удостоверяющим центром;
  
  
• Электронную подпись ООО «ПромТорг» на имя гражданина, изготовленную удостоверяющим центром.

Позиция Арбитражного суда города Москвы

Арбитражный суд г. Москвы отметил, что законом №63-ФЗ предусмотрено создание и выдача сертификата ключа проверки электронной подписи, под которым понимается электронный документ или документ на бумажном носителе, выданные удостоверяющим центром либо доверенным лицом удостоверяющего центра и подтверждающие принадлежность ключа проверки электронной подписи владельцу сертификата ключа проверки электронной подписи.

Суд подчеркнул, что доводы ответчика, изложенные в отзыве на исковое заявление, документально не подтверждены, не опровергают изложенные истцом обстоятельства. Истцом в дело представлены доказательства, которые в совокупности подтверждают заявленные требования.

Так, истцом на обозрение суда был представлен оригинал паспорта генерального директора общества, который не соответствует паспорту, предоставленному в удостоверяющий центр для регистрации ЭЦП.

Поскольку истцом не подписывались документы, послужившие основанием для выдачи сертификата ключа ЭЦП и составления соответствующих документов, фактически позволивших неустановленным лицам осуществлять от имени юридического лица юридически значимые действия, при реальном отсутствии на то законных оснований, в отсутствии возражений ответчика, свидетельствующих об одобрении и совершении именно истцом и его уполномоченными лицами действий, направленных на заключение договора и получение сертификата ЭЦП, а равно доказательств, подтверждающий действие аккредитации ответчика на момент выдачи сертификата и ключа ЭЦП и на момент подписания документов, арбитражный суд признал заявленные исковые требования подлежащими удовлетворению.

Суд признал недействительными:

• Заявление на регистрацию и изготовление квалифицированного сертификата ключа проверки электронной подписи юридического лица;
  
  
• Квалифицированный сертификат ключа проверки электронной подписи, выданный удостоверяющим центром «Столица»;
  
  
• Электронную подпись общества на имя директора, изготовленную удостоверяющим центром «Столица».

Девятый арбитражный апелляционный суд в апреле 2022 года оставил без изменения решение Арбитражного суда г. Москвы, а апелляционную жалобу - без удовлетворения.

Источник: Официальный сайт Верховного Суда Российской Федерации / Электронное правосудие по экономическим спорам
http://www.arbitr.ru/