08.04.2016|  Алексей Скоферца

Инструменты интеграции: загрузка данных в системы бюджетирования и финансовой консолидации Oracle Hyperion

Обобщенно, схема интеграции систем выглядит следующим образом:

ETL-инструменты решают следующие задачи: 

• Загрузка данных из источника.

Импорт в ETL-систему может осуществляться из нескольких источников данных. ETL-система, построенная на одном инструменте, может стать единой точкой входа для разных систем, являющихся источниками данных.  

• Проверка исходных данных на корректность по различным, заданным заранее, критериям.   

Проверятся могут как финансовые данные, так и аналитические признаки данных (мета-данные). В результате проверки можно принудительно менять загружаемые данные или выводить соответствующее сообщение. При этом загрузка может быть либо остановлена, либо продолжена с применением автоматической замены данных.  

• Преобразование данных из терминов системы-источника в термины системы-получателя на основе таблиц меппинга.   

Таблицы меппинга задаются и поддерживаются администратором системы или бизнес-пользователем с соответствующими правами. При отсутствии правил меппинга по части загружаемых данных, загрузка останавливается. Также, можно задать правила проверки, о которых было сказано выше, для автоматического исправления таких ошибок.  

• Математические операции с данными в процессе их преобразования.  

Такими операциями могут быть как простейшие математические действия: агрегация по правилам меппинга, суммирование по аналитикам, вычитание; так и более сложные, например, распределение данных. Все подобные преобразования можно увидеть из системы-получателя воспользовавшись функцией детализации. 

• Детализация из системы-получателя в ETL-систему до уровня загружаемых данных. 

В результате с помощью ETL инструмента набор исходных данных из потока разрозненных фалов с различной структурой и аналитиками преобразуются в удобный для импорта в систему бюджетирования (или отчетности) формат, при этом загруженные данные сохраняют преемственность (аудиторский след) достаточную для отслеживания источника их возникновения. 

В качестве источника данных могут выступать: 

• Различные учетные системы; 
• Excel-файлы; 
• Файлы с разделителями (файлы, подготовленные на стороне системы-источника); 
• Реляционные базы данных. 

Предлагаемые ETL-инструменты:

Oracle Financial Data Quality Management (FDM) 

Мощный ETL-инструмент, который лицензируется отдельно от остальных продуктов Oracle. Доступно множество готовых адаптеров, с помощью которых осуществляется подключение к системам-источникам и системам-получателям. FDM входит в состав Oracle Planning and Budgeting Cloud Service и в этом случае не требует отдельного лицензирования. 

В процессе преобразования доступны математические операции с данными, проверка корректности данных, автоматическое исправление типовых ошибок в исходных данных с помощью настраиваемых правил. 

Пользователями инструмента могут являться бизнес-пользователи. Они могут не только запускать все процедуры интеграции, но и изменять меппинг справочников. Взаимодействие с FDM происходит в веб-интерфейсе. Графический режим прост и удобен в использовании. 

Oracle Data Integrator (ODI) 

Инструмент позволяет загружать в систему-источник не только финансовые данные, но и мета-данные. 

Лицензия на данный ETL-инструмент входит в лицензию на Oracle Hyperion Planning. Таким образом, для загрузки данных в Hyperion Planning можно использовать ODI без дополнительной покупки лицензий на ETL-инструмент. 

В процессе преобразования доступны математические операции с данными, проверка корректности данных, автоматическое исправление типовых ошибок в исходных данных с помощью настраиваемых правил. 

Основными пользователям являются администраторы автоматизированных систем. Меппинг справочников в ODI настраивается либо в таблицах вне системы, либо путем написания кода. Это, а также общая архитектура этого ETL-инструмента делают сложным использование его бизнес-пользователями. 

Собственные решения по интеграции систем 

Собственные интеграционные решения отличаются наличием только тех функций, которые покрывают текущие потребности проекта интеграции. При этом, то, что доступно в готовых инструментах в качестве стандартной функциональности, может быть достаточно сложно реализуемо собственными силами. 

Наши решения позволяют загружать как финансовые, так и мета-данные. Загрузка мета-данных позволяет синхронизировать справочники системы-источника и системы-получателя. Таким образом решается проблема разобщенности справочников двух систем. 

Как правило, собственные решения базируются на связке «Реляционная база данных» + MS Excel, где реляционная база данных является хранилищем данных, участвующих в трансформации, а Excel – источник информации о сопоставлении справочников двух систем и правил преобразования данных.