Data Management

Data Integratie

Data integratie is het proces van data verzamelen, combineren en structureren met als doel om vanuit samengestelde data nieuwe inzichten te verkrijgen.

In de meest elementaire vorm is het gebruik van Excel om data te verzamelen een eerste begin. Modernere organisaties die geautomatiseerd en met hogere frequentie deze data verzameling willen actualiseren, kiezen voor gespecialiseerde ETL/ELT software en databases.

ETL/ELT

Conceptueel vindt data integratie plaats in drie stappen:

Extract

Het uit de systemen halen van de data, door gebruik te maken van diverse koppelingen.

Transform

Het uit elkaar rafelen van de systeem-specifieke structuur om deze om te vormen tot een nieuwe uniforme structuur. Coderingen in de data worden moeten worden doorgrond en begrijpelijk gemaakt, en vaak is het nodig de data te "vertalen".

Load

Alle omgevormde data bij elkaar worden gezet in een nieuwe structuur in een database of data warehouse, klaar voor gebruik door rapportage- en analysetools.

Afhankelijk van waar de transformaties plaatsvinden spreken we van ETL of ELT. Bij ETL is er sprake van een separate engine voor transformaties, bij ELT wordt de kracht van de database gebruikt om deze transformaties uit te voeren.

Programmatuur

Data Integratie programmatuur kan men handmatig maken met scripts, maar vaak worden er producten gebruikt die de productiviteit verhogen. Dit wordt bereikt door het modelleren van metadata, zodat de programmatuur zelf kan worden gegenereerd. Bovendien maak je de programmatuur op deze manier onafhankelijk van "de hand" van de individuele programmeur.

Full Orbit heeft veel ervaring met het ontwikkelen van ETL/ELT programmatuur en bijbehorende methodieken om data te structureren, zoals Inmon, Kimball en Data Vault.