Data Warehouse Automation und Life Cycle Management mit AnalyticsCreator

AnalyticsCreator: Auf einen Blick

10x schnellerer Aufbau eines State-of-the-Art Data Warehouse: Der hohe Automatisierungsgrad senkt die Entwicklungszeit und Komplexität dramatisch und reduziert das Risiko von Fehlern in der Datenstruktur oder dem Datenfluss (ETL)
Dauerhafter Nutzen: Auch alle späteren Änderungen und Erweiterungen am Data Warehouse können einfach und sicher mit dem AnalyticsCreator implementiert werden
Keine Herstellerabhängigkeit: Als Output generiert AnalyticsCreator Standard SQL-Code für die Erstellung des kompletten Data Warehouse für den MS SQL Server inkl. der notwendigen SSIS-Packages für den kompletten ETL-Prozess. Für den Betrieb des Data Warehouse ist AnalyticsCreator nicht mehr notwendig.
Abbildung des kompletten Lebenszyklus des Data Warehouse: Von der Definition der Datenquellen über die verschiedenen Ebenen der Transformationen und Data Cleansing bis zur Erstellung des DWH nach auswählbaren Methoden, z.B. Kimball oder Data Vault 2.0.
Mehr als 15 Jahre Erfahrung und Best Practises: In die Generierung des Data Warehouse über AnalyticsCreator fließen mehr als 15 Jahre Erfahrung mit komplexen Data Warehouse Projekten und unzählige Best Practises ein.
Grafische Modellierung: Die Modellierung des ETL-Prozesses und aller notwendigen Datendefinitionen erfolgt grafisch und über Konfigurationsmasken. Kein händisches Codieren von SQL o.ä.
Wiederverwendbarkeit und einfache Wartung über Makros: Häufig benötigte SQL-Snippets, z.B. für Transformationen, Formatierungen oder Bereinigungen können als parametrierbare SQL-Makros erstellt und überall per Mausklick verwendet werden.
Historisierung per Mausklick: Im Quellsystem nicht historisierte Dimensionen und Kennzahlen in einem manuell erstellten Data Warehouse zu historisieren, ist eine zeitraubende Herausforderung. AnalyticsCreator erledigt das per Mausklick.
Vereinfachter Datenzugriff über Metadaten-Konnektoren: Metadaten-Konnektoren bieten ein vordefiniertes Datenmodell für eine Datenquelle und ermöglichen dadurch eine sehr einfache und intuitive Verwendung. Für bekannte Systeme wie SAP oder MS Dynamics werden diese mitgeliefert, können aber auch selbst definiert werden.
Hohe Transparenz und keine Notwendigkeit von Spezialisten: Durch die grafische Modellierung bleiben auch sehr große Modelle übersichtlich und für Erweiterungen werden keine teuren SQL Server und Data Warehouse Spezialisten benötigt.
Reduziertes Risiko bei Data Warehouse Aufbau und Wartung: Als Data Warehouse Entwickler arbeitet man im AnalyticsCreator auf einem abstrahierten Level mit reduzierter Komplexität, was das Projektrisiko und den Aufwand deutlich senkt.
Validierung vor Deployment: Vor dem Deployment des Data Warehouse auf dem SQL Server wird das komplette Modell auf Konsistenz und Durchgängigkeit geprüft. Auf diese Weise entsteht ein robustes und performantes Data Warehouse.
Data Warehouse nach anerkannten Methoden: Die Generierung des Data Warehouse aus dem konfigurierten Datenmodell erfolgt mit wenigen Mausklicks und erzeugt wahlweise Code für Methoden wie Kimball, Data Vault 2.0 oder Inmon.
Unterstützung der EU-DSGVO: Personenbezogene Daten können automatisch anonymisiert werden
Breite Unterstützung von Datenquellen: z.B. SAP, Oracle, MS SQL, CSV, ODBC, MS Dynamics, uvm.
Schneller ROI: Durch die dramatisch verkürzten Entwicklungszeiten und den langfristigen Nutzen bringen nicht nur Erstentwicklungen, sondern auch klassische Redesign-Projekte einen schnellen ROI.

Mit dem Data Warehouse steht und fällt das BI- oder Planungsprojekt

Der Aufbau eines Data Warehouse macht 60-80% des Gesamtaufwandes in einem BI-Projekt aus, bei einem Planungsprojekt etwas weniger. Dies schließt die Anbindung der Datenquellen, Definition der Staging-Ebenen und den kompletten ETL-Prozess ein, bis zur Definition der Dimensionen und Fakten als Ergebnis und Grundlage für die Implementierung der Auswertungen.

Ein professionell modelliertes und nach anerkannten Methoden aufgebautes Data Warehouse ist die Grundlage für eine verlässliche und solide Datenbasis (Single Point of Truth). Bei der manuellen Entwicklung eines Data Warehouse werden unzählige Zeilen an SQL-Codes geschrieben und Datenflüsse über die SQL Server Integration Services (SSIS) definiert. Nur sehr erfahrene und damit teure Spezialisten schaffen dies in einer akzeptablen Zeit und Qualität. Schleichen sich hier Fehler ein, dann droht Akzeptanzverlust bei den Anwendern, wenn z.B. die Zahlen nicht stimmen oder die Performance schlecht ist.

Unterstützung des kompletten Data Warehouse Life Cycles

Mit AnalyticsCreator bieten wir ein Tool an, welches den kompletten Entwicklungsprozess des Data Warehouse von der Definition der Datenquellen, über die verschiedenen Staging-Ebenen inkl. der ETL-Prozesse komplett grafisch unterstützt. Als Ergebnis wird ein Data Warehouse Modell wahlweise nach Kimball oder Data Vault generiert, welches robust, performant und konsistent ist.

Vordefinierte Metadaten-Konnektoren, z.B. für SAP oder MS Dynamics, vereinfachen die Modellierung enorm, da sich der Entwickler nicht mit kryptischen Feldnamen oder unbekannten Beziehungen zwischen den Tabellen herumschlagen muss, sondern mit sprechenden Feldnamen und vordefinierten Beziehungen arbeiten kann. Für die Datenintegration mit SAP wird der Theobald-Konnektor unterstützt, d.h. es werden entsprechende SSIS-Packages für Theobald generiert.

Historisierung und Persistierung auf Knopfdruck

Eine Historisierung beliebiger Dimensionen und Fakten kann im AnalyticsCreator mit einem Mausklick aktiviert werden. Dabei kann bis auf Spaltenebene gesteuert werden, ob diese historisiert werden sollen. Bei einer manuellen Data Warehouse Entwicklung kann dies Tage und Wochen dauern und bedeutet einen enormen Mehraufwand für die Wartung.

Gleiches gilt für die Persistierung rechenintensiver SQL-Sichten. Wenn die Daten im Data Warehouse z.B. nur einmal nachts aktualisiert werden, dann kann die Performance beim Zugriff auf rechenintensive SQL-Sichten deutlich gesteigert werden, wenn diese in einem nachgelagerten Schritt persistiert, also als physische Tabellen zwischengespeichert werden. Auch dies wird mit wenigen Mausklicks eingerichtet.

Ergebnis basiert auf Standards

Der generierte Output besteht aus Standard SQL Code für den MS SQL Server für alle notwendigen Tabellen, Sichten, Stored Procedures und SSIS-Packages. Bei Bedarf können sogar Cubes und Dimensionen für ein tabulares oder dimensionales SQL Server Analysis Services (SSAS) Modell erzeugt werden. Für die Verwendung des generierten Data Warehouse ist der AnalyticsCreator nicht mehr notwendig, da es sich um ein reines Design Time Tool handelt (kein Vendor Lock-in).

Dauerhafter Nutzen

Dennoch empfiehlt es sich, den AnalyticsCreator auch für alle späteren Änderungen und Erweiterungen einzusetzen, da auch hier der Fokus auf einer schnellen und fehlerfreien Implementierung liegt. Egal ob nur neue Felder integriert werden müssen oder komplett neue Datenquellen angeschlossen werden, der AnalyticsCreator bietet dem Kunden einen dauerhaften Nutzen. Durch die Konsistenzprüfung vor dem Deployment wird sichergestellt, dass sich keine Fehler im Datenmodell oder in den ETL-Prozessen befinden. Vordefinierte Makros vereinfachen die Wartung zusätzlich, z.B. für Data Cleansing, Transformationen, etc.

Nutzen für Entwickler

Nutzung von Standard-Methoden

Data Vault 1.0 und 2.0, Kimball, Inmon, Hybrid, und eigene Definitionen.

Komplexität reduzieren

Heterogene Daten, moderne Design Standards und komplexe Anforderungen sind bei Analytics-Projekten üblich. AnalyticsCreator reduziert diese Komplexität enorm.

Bestehende Datenmodelle wiederverwenden

Verwenden Sie bereits bestehende Metadatenbeschreibungen von vielen Quellsystemen wie SAP, MS Dynamics, etc.

Erweiteren Sie Ihre Fähigkeiten

Lernen Sie von erfolgreichen Modellierungsansätzen, typischen Branchenlösungen und vordefinierten Quelldaten-Konnektoren.

Weniger manuelle Codierung

Verwenden Sie Ihre Zeit, um die Lösung auf ein höheres Level zu heben und versinken Sie nicht in Lines of Code.

Jede Datenquelle, jedes Frontend

Binden Sie beliebige Datenquellen an und verwenden Sie beliebige BI-Tools mit dem generierten Data Warehouse.

Nutzen für Entscheider

Reduzierung des Risikos

Machen Sie Schluss mit dem Albtraum von Endlosprojekten. Durch die reduzierte Komplexität und schnellere Implementierungszeiten sinkt auch das damit verbundene Projektrisiko deutlich.

Bleiben Sie unabhängig

Das Ergebnis gehört Ihnen. Auch wenn die Subscription für AnalyticsCreator abgelaufen ist, können Sie das generierte Data Warehouse uneingeschränkt weiter nutzen oder manuell anpassen.

Sparen Sie Zeit und Geld

Durch die Standardisierung und Automatisierung erreichen Sie ultra-schnelle Ergebnisse in höchster Qualität.

Compliance und Transparenz

Sie haben auf jeder Ebene der Datenverarbeitung volle Kontrolle über den Datenfluss und die Berechnung der Kennzahlen. Eine grafische Abbildung und automatische Dokumentation sorgt für maximale Transparenz.

Bestehende Investitionen schützen

Bestehende Data Warehouse und BI-Lösungen können nahtlos integriert, bzw. weiterverwendet werden. Beim Data Warehouse sollte ein Redesign für den maximalen Nutzen in Betracht gezogen werden.

Höchste Qualität erhalten

AnalyticsCreator verbessert die Datenqualität und die Nachverfolgung von Änderungen durch Historisierung und Versionierung. Standardisierung sichert ein gleichbleibend hohes Qualitätsniveau der Ergebnisse.

Typische Einsatzbereiche

Erstmaliger Aufbau eines neuen Data Warehouse

Kunden, die ein Data Warehouse erstmalig aufbauen müssen, weil z.B. die Einführung einer BI-Lösung geplant ist, können mit AnalyticsCreator sofort einen hohen Nutzen erzielen. Der teure und zeitraubende Erfahrungsaufbau entfällt. Stattdessen profitiert der Kunde von Anfang an von der hohen Qualität und der reduzierten Komplexität durch AnalyticsCreator.

Redesign eines bestehenden Data Warehouse

Besteht bereits ein Data Warehouse, dann ist dieses oftmals historisch gewachsen und es wurden im Laufe der Zeit viele Rucksäcke angebaut und der Überblick ist oftmals verloren gegangen. Besonders schwierig wird es, wenn Personen nicht mehr zur Verfügung stehen, die das Data Warehouse manuell entwickelt haben. Die Wartung und Erweiterung kann dann zum Albtraum werden. Hier bietet sich ein Redesign mit AnalyticsCreator an.

Erstellen eines Prototyps

Wenn für bestimmte Anforderungen schnell ein kleines Data Warehouse aufgebaut werden muss, um Machbarkeiten zu validieren o.ä., dann kann die Zeit zum Aufbau des hierfür erforderlichen Data Warehouse auf ein Bruchteil des normalen Aufwands gesenkt werden. So bleiben Prototypen bezahlbar.

Erfüllung von Compliance-Anforderungen

Besonders in größeren Organisationen trifft man immer öfters auf die Anforderung, dass Data Warehouses aus Gründen der Transparenz, Nachvollziehbarkeit, Wartbarkeit und Risikominimierung nur noch über Data Warehouse Automation Tools aufgebaut werden dürfen, die den kompletten Lebenszyklus abdecken. Diese Anforderung erfüllt AnalyticsCreator zu 100%.