СПб +7 (812) 677-56-90
МСК +7 (495) 647-50-46

СПб +7 (812) 677-56-90
МСК +7 (495) 647-50-46

СПб +7 (812) 677-56-90
МСК +7 (495) 647-50-46

27.10.2015

Решение по управлению мэппингами на базе Microsoft Master Data Services

В общем случае, такие таблицы могут храниться в обычной реляционной базе данных и поддерживаться администратором системы, но на практике подобный подход оказывается не самым удобным и действенным. Дело в том, что за настройку мэппинга должны отвечать не технические специалисты, а функциональные пользователи, которые сразу могут проверить внесенные в систему изменения и, при необходимости, исправить логические ошибки правил преобразования. Кроме того, для эффективной работы необходимы удобные разграничения прав доступа, а также веб-интерфейс для тех пользователей, которые по каким-либо причинам не могут использовать дополнительное программное обеспечение. 

Компания Oracle предлагает очень удобный инструмент, решающий описанные выше задачи и предлагающий множество дополнительных возможностей по работе с финансовыми данными – Oracle Financial Data Quality Management. По большей части, данный продукт заточен на многопользовательский режим обработки информации, когда каждый пользователь отвечает за трансформацию своей области данных. В некоторых случаях использование столь продвинутого инструмента не целесообразно, например, когда необходимо просто выгрузить данные из подсистемы планирования во внешнее хранилище и произвести их трансформацию по таблицам соответствия.

В такой ситуации, на наш взгляд, идеально на роль решения по управлению мэппингами претендует программное обеспечение от компании Microsoft – Master Data Services. Работа с ним возможна двумя способами: через веб-интерфейс, либо через специальную надстройку для Microsoft Excel, что может быть весьма удобно в случае, когда необходимо произвести массовую загрузку или изменение метаданных.

В качестве примера рассмотрим ситуацию, когда необходимо выгрузить данные из системы бюджетирования, реализованной на базе Oracle Hyperion Planning, во внешнюю систему отчетности. Предположим, что различается только один справочник – «Статьи». В источнике имеется дополнительное поле «Тип расходов», в зависимости от которого должны срабатывать различные правила перекладки. Таким образом, мы имеем классический пример составного мэппинга, когда сочетание двух полей источника («Статья» и «Тип расхода») определяет одно поле целевой системы.

Для начала определим справочник статей источника – Oracle Hyperion Planning:
map1.png

Далее внесем справочник типов расхода Oracle Hyperion Planning: 

map2.png

Теперь очередь справочника статей целевой системы. Отметим, что справочники могут как заполняться вручную, так и автоматически загружаться с помощью специальных таблиц импорта. Еще более правильным вариантом с точки зрения организации процесса станет первичное ведение всех справочников в инструменте Microsoft – Master Data Services (тем более, что он предоставляет широкие инструменты для проверки данных) и настройка автоматических процедур выгрузки справочников во все смежные системы. 

Заполним вручную справочник статей DWH:

map3.png
Теперь все готово для заполнения таблицы соответствия по статьям. Каждой паре Статья-Тип расхода системы источника мы сопоставляем одну из статей целевой системы. Поле «Код» автоматически заполняется инкрементальным способом, а все остальные поля представляют собой выпадающие списки из ранее составленных справочников, что исключает возможность «человеческой» ошибки при настройке мэппинга. 

В данном случае к каждому соответствию можно дополнительно указать знак операции: 
map4.png

Для каждого объекта Master Data Services можно дополнительно настроить правила проверки данных, чтобы исключить логические ошибки. Например, проверка на уникальность пары Oracle Hyperion Planning «Статья» – Oracle Hyperion Planning «Тип расходов», которая необходима для корректного преобразования исходных данных: 

map5.png

Удобство предложенного решения заключается еще и в том, что пользователь, который настраивает таблицы соответствий, сразу же может оценить их корректность, не прибегая к дополнительным инструментам – достаточно стандартного продукта Microsoft Excel, в котором он в удобной табличной форме может получить отчет по данным в формате целевой системы, после всех операций мэппинга и агрегации данных. При этом в отдельных таблицах пользователь может наблюдать все ошибки преобразований и сразу же вносить корректировки в модель.

В финальные отчетные таблицы попадают только корректные записи:

map6.png