ETL процесс на базе платформы 1С Предприятие

В течение многих лет ключом к успеху любого бизнес-решения были данные. Выбор правильного инструмента для извлечения данных из разрозненных источников и их преобразования перед загрузкой в целевое место назначения имел решающее значение. Многие организации боролись с этим процессом, добавляя новые инструменты, поскольку ограничения в выбранных инструментах становились очевидными. При выборе инструментов департаменты часто работали в изолированном пространстве, что в сочетании со слияниями и поглощениями привело к тому, что инструменты ETL не были интегрированы. В дополнение к увеличению затрат на обслуживание и обучение, использование различных инструментов может привести к фрагментации метаданных, что превращает соответствие в огромную рутинную работу. Решения, реализованные на платформе 1С:Предприятие развивались вместе с развитием бизнеса в России, поэтому они содержат в себе российские практики управления бизнесом, что является одной из главных причин использовать данные продукты как основу для реализации ETL процесса. В этой статье содержится обзор необходимых возможностей интеграции данных и объясняется, почему они важны.

Первым этапом реализации ETL процесса является разработка процесса извлечения данных [1]. В общем случае на предприятии заказчика можно выявить следующие способы извлечения данных:

• Извлечение данных из заполненного вручную шаблона;

• Интеграция с СУБД;

• Извлечение данных из csv данных, полученных по FTP соединению;

• Извлечение данных из файла, полученного по почте;

• Интеграция с Excel файлом расположенном в файловой системе;

• Интеграция с API поставщика данных;

Для информационного обеспечения ETL процесса разрабатывается концепция создания и тестирования среды проекта.

Среда разработки представляет из себя два сегмента:

• Интранет (LAN 1)

• Сеть между серверами (БАМ 2) системного архитектора, системных и сетевых администраторов

На серверах сегмента не установлены антивирусные мониторы, подсеть изолирована брандмауэром от сервера терминалов.

Рисунок 1. Среда разработки ЕТБ процесса Сеть между серверами не предполагает доступа конечных пользователей

Конечными пользователями являются все пользователи за исключением.

Интрасеть защищена корпоративным брандмауэром, рассчитана на пользователей всех уровней. Терминальный сервер-подключен к интрасети одним интерфейсом, другим - к межсерверной сети через брандмауэр.

Данный сервер предназначен:

• для работы конечных пользователей через толстые и тонкие клиенты 1С;

• для публикации внешних сервисов;

• для подключения внешних пользователей по веб-ссылке (тонкие и веб-клиенты).

Последовательность развертывания среды представляет из себя следующие этапы:

• Предоставляются серверы с установленной ОС;

• Серверы подключены к сети в соответствии со схемой;

• В операционной системе Windows есть доступ через RDP;

• Cервер с ОС Linux доступен по протоколу SSH из сети LAN 2.

Следующим этапом разработки ETL процесса является определение порядка загрузки данных [2]. Общим подходом является запуск регламентного задания раз в сутки в согласованное время, которое последовательно обрабатывает все интеграции по загрузке транзакционных данных за один день.

Для работы с динамически изменяемыми данными создается механизм анализа изменений в случае повторной загрузки данных за один и тот же период. В этом случае в движениях по регистрам будут отражаться только изменения.

Для загрузки мастер-данных используется следующий подход:

Поиск ссылочных типов осуществляется по ключевому полю. При этом, если элемент справочных данных не найден, он будет создаваться с минимальным набором данных, который включает в себя значение ключевого поля и специальный признак, означающий, что элемент является черновиком.

Во время загрузки транзакционных данных инициализируется событие по созданию черновых элементов НСИ, этот процесс сопровождается записью в очередь на обработку по заполнению данными каждого элемента данными систем источников (их может быть несколько). Очередь на обработку по заполнению данными справочников обрабатывается отдельным регламентным заданием, которое запускает необходимые интеграции.

Для обновления изменившихся элементов реализуется регламентное задание. Для реализации извлечения данных с использованием прямого подключения к СУБД можно использовать два способа:

1. Подключение с использованием ODBC;

2. Реализовать особый объект конфигурации, который называется внешним источником данных.

В данной статье описан второй способ, т.к. он является более гибким, прозрачным и управляемым. Внешние источники данных - это прикладные объекты конфигурации. Они позволяют работать с внешними базами данных, не основанными на 1С:Предприятии [3]. Благодаря этим объектам конфигурации информацию из внешних баз можно использовать внутри прикладного решения так же, как будто бы она хранится в самой информационной базе. хранилище данный информационный приемник

Внешний источник может получать данные из ODBC-источников в операционных системах Windows и Linux, причем при работе с СУБД Microsoft SQL Server, IBM DB2, PostgreSQL и Oracle Database обеспечиваются полные возможности языка запросов. Кроме этого внешние источники данных позволяют подключить к прикладному решению многомерные источники данных, такие как:

Microsoft Analysis Services;

Oracle Essbase;

IBM InfoSphere Warehouse.

При работе с другими СУБД некоторые конструкции языка запросов могут не работать, т.к. они ограничены возможностями того ODBC-драйвера, который используется.

Таблицы внешнего источника данных можно описать вручную, или с помощью конструктора [4]. Конструктор, используя строку соединения, может подключится к внешней базе данных и предоставить список таблиц, доступных для добавления во внешний источник.

Таблицы внешних источников используются в конфигурации точно так же, как и таблицы любых других объектов конфигурации.

Для извлечения данных с помощью WEB API используется механизм Web - сервисов. Данная технология является одним из механизмов платформы, используемых для интеграции с другими информационными системами. Он является средством поддержки SOA (Service-Oriented Architecture) - сервис-ориентированной архитектуры, которая является современным стандартом интеграции приложений и информационных систем.

Прикладное решение 1С:Предприятия 8 может являться как поставщиком веб-сервисов, так и потребителем веб-сервисов, опубликованных другими поставщиками [5].

После настройки Web сервиса появляется возможность использовать его как обычный объект конфигурации.

Главным преимуществом такого подхода при интеграции является простота его реализации, к недостаткам можно отнести низкую степень управляемости такого процесса, т.к. приемник данных не имеет прямого доступа к данным.

Для большинства языков программирования подход к загрузке из CSV файлов является одинаковым. Это связано с тем, что CSV файл является обычным текстом, в котором строки разделены символами переноса строки, а значения - запятыми.

Таким образом, чтение CSV файла сводится к механизму разбиения строк и значений по разделителям.

Для платформы 1С:Предприятия наиболее общим подходом является использование функции СтрРазделить и дальнейшая обработка в цикле [6].

Для загрузки из Excel файлов существует несколько подходов, наиболее общим из которых является использование Excel драйвера. Данный способ имеет множество преимуществ, основным из которых является высокая производительность, однако, чаще всего, установка Excel на сервере предприятия оказывается экономически нецелесообразной. В связи с этим выбирается другой способ загрузки Excel файла - NativeXLSX.

Данный способ позволяет организовать импорт из файла типа XLSX в таблицу значений. При этом учитывается, что XLSX-файл - это некий контейнер, который можно распаковать средствами 1С в набор XML-файлов.

Путем чтения этих XML-файлов представляется возможность обрабатывать следующие типы данных: строковые значения; индексы строковых значений, числовые значения, формулы; информация об изображениях; стили форматирования.

В данном случае объект типа Документ DOM образуется как результат чтения nocmpoume MeMDOM объекта 4menueXML - источника данных XML.

В дальнейшем осуществляется обход дочерних узлов Документа DOM, чтение их значений и различных атрибутов.

Механизмы обмена данными позволяют создавать территориально распределенные информационные системы обменивающиеся данным в офлайн режиме, без постоянного соединения. С помощью этих механизмов можно осуществлять интеграцию не только между различными информационными базами 1С:Предприятия, но и строить сложные гетерогенные информационные системы, включающие, наряду с решениями на платформе 1С:Предприятие, еще и внешние приложения.

Платформа обеспечивает работу двух механизмов обмена данными: Механизм распределенных информационных баз Универсальный механизм обмена данными

Оба эти механизма используют ряд средств технологической платформы, которые разработчик может применять как по отдельности, так и в различных комбинациях, в зависимости от конкретной решаемой задачи. Такой подход позволяет обеспечить гибкость механизмов обмена и их настраиваемость на решение как можно большего круга задач [7].

Основная настройка обмена данными происходит в интерфейсе программы предприятия. К преимуществам данного подхода можно отнести относительную простоту реализации, т.к. разработка планов обмена является задачей разработчиков приложения источника, однако данный способ требует значительных трудозатрат в случае необходимости внесения изменений. Элементы справочников, для которых выполнены все необходимые интеграции на этапе загрузки данных, попадают в интерфейс согласования ответственным за НСИ.

Работа ответственного производится в специально разработанном интерфейсе, в котором возможно выполнить следующие действия:

Дозаполнить и скорректировать информацию элементов справочников; Подобрать значения из классификаторов;

Согласовать элемент справочной информации, после чего он становится корректным элементом, т.е. снимается метка «Черновой элемент»

Некоторые информационные системы являются источниками избыточного количества мастер-данных, которые могли возникнуть вследствие особенностей или ограничений системы [8]. Важной особенностью, которую необходимо учитывать при разработке ETL процесса является возможность реализовать загрузку данных в подсистемы ручного учета для помощи первоначального заполнения и возможно последующего использования.

В данной статье был описан подход и особенности реализации ETL процесса на базе платформы 1С: Предприятие. В первой части работы дана характеристика необходимой технологической основы, выявлены особенности сетевой характеристики и сформированы рекомендации по оснащению сетевым оборудованием. Следующие тезисы описывают способы реализации выгрузки данных, а именно с помощью:

Прямого доступа к СУБД;

Использования WEB-API;

Из файлов форматов Excel и CSV;

А также с использованием стандартного форма XML в рамках работы процесса обмена данными.

Для реализации возможности трансформации данных была описания концепция инструмента подтверждения и нормализации данных, использование которого замыкает реализацию процесса извлечения, трансформирования и загрузки данных.

Примечание: Исследование выполнено по гранту Президента РФ по государственной поддержке ведущих научных школ №НШ-5449.2018.6 «Исследование цифровой трансформации экономики».

The research was supported by grant of President of Russian Federation according to state support of leading scientific schools (grant №NSh-5449.2018.6).

Список использованной литературы