Eine Data Warehouse-Beladung ist ein oft unterschätztes Problemfeld: inkonsistente Daten in unterschiedlichen Formaten müssen von heterogenen Datenquellen geladen, harmonisiert und zentral gespeichert werden. Die Gefahr, schnell den Überblick über den Beladungsprozess zu verlieren erhöht das Projektrisiko, während mangelnde Protokollierung und Transparenz für neue potenzielle Fehlerquellen sorgen.
Unter den am Markt erhältlichen Produkten ist es schwierig, ein Werkzeug zu finden, mit dem individuelle ETL-Projekte, schnell, einfach und effizient umgesetzt werden können.
Genau hier setzen wir mit unserem CuBIKit an:
- durch die volle Integration in die Microsoft SQL Server Integration Services (SSIS-Architektur). Es können alle SSIS-Funktionalitäten verwendet und mit den CuBIKit Komponenten kombiniert werden.
- mit modularem Aufbau mit aufeinander abgestimmten Komponenten
- durch die zentrale Sammlung von Metadaten als Grundlage für automatische Schemapflege, Beladung, Transformation und Protokollierung
- mit dem Fokus auf Datenqualität & Dokumentation
- mit unserem intuitivem CuBIKit Designer zur grafischen Konfiguration der Lösung
- durch Aufspüren und Abfangen von Daten- und Eingabefehlern mit unserer praxiserprobten Check-Engine
Welche Komponenten enthält CuBIKit?
- Datentransferkomponente
- Basierende auf den Metadaten können Daten aus mehreren Quellen harmonisiert, transformiert und transportiert werden.
- Eine Filterung der Quelldaten kann dynamisch basierend auf SSIS Variablenwerten durchgeführt werden (z.B. Zeitfenster für die Beladung von historischen Datenwerten).
- Bei Änderungen an den Metadaten kann eine automatisierte Schemapflege der Zielobjekte durchgeführt werden.
- Quellobjekte können in Gruppen und sogenannte Steps (=Datentransfer zwischen einer Quelle und einem Ziel) zusammengefasst und unabhängig voneinander beladen werden.
- Derzeit werden als Datenquellen SQL Server und Oracle unterstützt - der Einsatz von CuBIKit ist jedoch nicht auf diese beiden Systeme eingeschränkt und kann auf Kundenwunsch auf weitere System erweitert werden!
- Historisierungskomponente
- Historisiertes Beladen von Daten. CuBIKit unterstützt derzeit Slowly Changing Dimensions (SCD) vom Typ 1 und Typ 2.
- Die Systemspalten (Gültigkeitszeitstempel usw.) können frei gewählt und an die eventuell vorhandenen Infrastrukturkonventionen angepasst werden.
- Designerunterstützung zur Definition des Tabellenmappings und der Historisierungseinstellungen.
- CuBIKit Designer
- Stellt eine grafische Verwaltung der CuBIKit Metadaten zur Verfügung
- Automatisierter Schemaimport von SQL Server und Oracle Datenquellen. Änderungen an den Quellobjekten können synchron mit den Metadaten gehalten werden.
- Die Vereinheitlichung von Konventionen (z.B. Namens- oder Datentypkonventionen) wird durch den konsequenten Einsatz von Intellisense und der Wiederverwendung von bereits vorhanden Definitionen unterstützt. Der Einsatz dieser Konventionen in CuBIKit Projekten kann durch Routinen im Designer überprüft und auf Verstöße hingewiesen werden.
- CuBIKit Metadaten
- Die Metadaten stellen die zentrale Basis für alle CuBIKit Komponenten dar. Mit diesen Informationen wird der gesamte Datenfluss in CuBiKit Projekten definiert und dokumentiert.
- Mit Hilfe der Metadaten kann der Datenfluss in einem CuBIKit Projekt sehr einfach analysiert werden. Typische Fragestellungen hierbei sind:
- Aus welchen Datenfeldern setzt sich dieser Wert im Data Warehouse zusammen? Welche Datentransformationen wurden im Rahmen der Beladung durchgeführt? -> Data Lineage
- Welche weiteren Datenobjekte sind durch eine Aktion (z.B. Umbennung einer Tabellenspalte) betroffen? -> Impact Analysis
Präsentation von CuBIKit auf der Microsoft BI Konferenz 2010
Falls sie weitere Informationen wünschen oder mit uns Kontakt aufnehmen wollen, wenden sie sich bitte an
office@cubido.at.
CuBIKit Screenshots
Konfiguration im CuBIKit Designer:
Konfiguration der SSIS Komponente (Beispiel):