Data Warehouse & Data Marts
Wer sich mit dem Thema Big Data auseinandersetzt, trifft früher oder später auch auf das Data Warehouse, oder auch das Datenlager. In Ihrer Funktion unterscheiden sich die beiden Begrifflichkeiten nicht. Bei einem Data Warehouse handelt es sich um eine optimierte Zentrale von Daten für Analysezwecke. In einem Data Warehouse werden verschiedene unabhängige Daten aus Quellsystemen integriert. Die Daten werden themenorientiert und historisch analysiert, wie etwa bei einem Vergleich von dieser und letzter Woche oder der letzten beiden Geschäftsjahre.
Die Daten werden dauerhaft gespeichert, so können aus vergangenen Historien Daten wichtige Erkenntnisse für die aktuelle Situation eines Unternehmens analysiert und aufbereitet werden. Durch diesen Prozess entsteht eine komplette Sicht auf sonst uneinheitliche auf verschiedene Datenbanken verteilte Daten.
Der Zweck eines Data Warehouse ist es, Analysen bereitzustellen, die als betriebswirtschaftliche Entscheidungshilfen genutzt werden können. Möglich ist dies, da relevante Daten aus mehreren Datenquellen zusammengestellt und logische Verbindungen zwischen all diesen Daten hergestellt werden. Mit dem Data Warehouse sind dazu schon alle Daten gesammelt und geordnet zentral abgelegt und es muss nicht erst für eine Analyse mit der Datensammlung begonnen werden.
Wofür wird ein Data Warehouse benötigt?
Durch die verschiedenen Analysen, die durch die Nutzung eines Data Warehouse möglich sind, werden Schwachstellen innerhalb der verschiedenen Prozesse eines Unternehmens schnell aufgedeckt und können durch Gegenmaßnahmen optimiert werden. Das hat den Vorteil das die jeweiligen Prozesse den Unternehmensanforderungen entsprechen. Anpassungen werden mit einem Data Warehouse vereinfacht und lassen sich schnell implementieren. Zudem wird durch das Zusammenführen und Auswerten der Daten eine Übersicht der verschiedenen Prozesse gewährleistet, die daraus gewonnenen Informationen können von zentraler Bedeutung für die Wettbewerbsfähigkeit und die strategische Ausrichtung eines Unternehmens sein.
Mit durch die Analysen gewonnene Marketinginformationen kann zum Beispiel die Effizienz der Verkäufer gesteigert werden und eine zeitnahe und effektive Reaktion auf Trends und Kundenbedürfnisse wird mithilfe eines funktionierenden Data Warehouse Systems begünstigt.
Data Warehouse
Die 4 Teilprozesse des Data Warehouseing
Die Datenbeschaffung im Bereich des Data Warehouse nennt sich Data Warehousing und wird in 4 Teilprozesse unterteilt. In die Beschaffung der Daten, die Datenhaltung, die Datenversorgung und die Datenauswertung.
Data Warehousing
Der ETL-Prozess
Im ETL- Prozess werden Daten aus verschiedenen Quellen heterogen zusammengeführt. Hier müssen Sperrzeiten der Daten minimiert und die Qualität gesichert werden. Damit die Daten trotz eventueller Änderungen der Quellen vollständig im Data Warehouse gehalten werden können.
Die Extraktion
Hier werden Ausschnitte der Daten aus den Quellen extrahiert und für den nächsten Schritt der Transformation bereitgestellt.
Die Extraktion muss regelmäßig durchgeführt werden, um immer aktuelle Daten bereit zu halten. Dies kann sowohl synchron oder asynchron mit den Quellsystemen geschehen. Bei einer synchronen Extraktion wird jede Änderung des Quellsystems sofort an das Data Warehouse weitergegeben. Das unterstützt das Real-Time Data Warehousing, da die Daten bei Bedarf sofort verfügbar sind.
Die asynchrone Extraktion ist in drei Methoden definiert.
Periodisch: In der Quelle werden in regelmäßigen Abständen Auszüge von häufig abgefragten Daten erstellt
Ereignisgesteuert: Bei bestimmten Ereignissen wird ein Auszug erstellt. Wie zum Beispiel bei Änderungen innerhalb der Datenquelle
Anfragegesteuert: Auszüge werden erst nach Anfrage bereitgestellt
Die Transformation
Da die Daten aus unterschiedlich strukturierten Quellen stammen, müssen sie in ein einheitliches Datenschema umgewandelt werden. Die Transformation besteht hauptsächlich daraus, dass die Daten den vorgegebenen Zielstrukturen angepasst werden.
Das Laden
Die Daten werden aus dem Arbeitsbereich in das Data Warehouse eingebracht. Während des Ladens soll die Datenbank gar nicht oder nur kurz blockiert werden. Zusätzlich können Änderungen erfasst und eine Versionshistorie angelegt werden. So kann auf Daten zurück gegriffen werden die zu früheren Zeitpunkten gültig waren
ETL Prozess
Was sind Data Marts?
Bei einem Data Warehouse ist es möglich, Teildatenbestände zu speichern, diese Speicherungen werden als Data Mart bezeichnet. Sie werden für einen oder mehrere Gründe als Kopie gehalten.
Sicherheit durch die Abgrenzung weiterer Nutzer und dadurch erlangten Zugriffsschutz
Eigenständigkeit in der Anwendung und Unabhängigkeit von anderen Organisationsabteilungen.
Notwendigkeit von bestimmten Datenstrukturen, die in dieser Form nicht im Data Warehouse vorhanden sind.
Bessere Leistung
Worin liegen die Vorteile eines Data Warehouses?
Durch die schnelle Bereitstellung aller benötigten Daten. Innerhalb weniger Minuten kann auf benötigte Daten zugegriffen werden.
Durch das Data Warehousing werden Daten aus mehreren Quellen in eine gemeinsame Struktur umgewandelt. So lassen sich Doppelungen und ungenügende Daten identifizieren und können entfernt werden.
Daten aus verschiedenen Quellen werden miteinander synchronisiert. Dies verbessert die Qualität der Daten.
In jedem Data Warehouse können Historische Daten abgespeichert werden. Dies ermöglicht den Blick auf verschiedene Zeitphasen. Auf Basis dieser Daten können Prognosen getroffen werden die Unternehmensentscheidungen unterstützen.
Die Unterschiede eines Data Warehouse und Big Data
Häufig werden das Data Warehouse und Big Data miteinander verwechselt oder gleichgestellt, doch es gibt einige Unterschiede dieser beiden Begrifflichkeiten. Die Datenqualität in einem Data Warehouse muss korrekt und verlässlich sein. Dies ist wichtig, da in einem Data Warehouse eine große Anzahl an Daten vorhanden ist. Bei Big Data ist die Datenqualität nicht relevant und von der Konzeption abhängig, also ob die Daten z.B. für wirtschaftliche Zwecke wie Wirtschaftsprüfungen oder ein Risikomanagement in der Logistik benötigt werden.
Ein weiterer Unterschied zwischen Data Warehouse und Big Data findet sich im Umgang mit Lücken in den verschiedenen Datensätzen. Die historischen Daten in einem Data Warehouse werden mit dem ETL-Prozess lückenlos transformiert und bereitgestellt. Fehlende Zeiträume werden hier durch Dummies gefüllt. Bei Big Data sind die Datensätze aufgrund der hohen Flexibilität und Performance im Normalfall nicht lückenlos, was eine Verarbeitung und Bereitstellung der Daten aber nicht beeinträchtigt.
Auch im Bereich der Datenmodelle gibt es Unterschiede. In der Informatik dienen diese dazu, die Struktur der im System zu verarbeitenden Daten zu finden oder festzulegen . Im Data Warehouse sind diese Datenmodelle vollständig umsetzbar. Auch hier ist es wieder abhängig von der Konzeption Im Normalfall aber aufgrund der Flexibilität, die mit Big Data einhergeht, nicht notwendig.
Data Lineage, auch Datenherkunft genannt, beschreibt den umgekehrten Weg der Daten, also aus welcher Quelle stammen die bereits aggregierten Daten. Hier verhält es sich sowohl im Data Warehouse als auch bei Big Data so wie bei den Datenmodellen. Die Unterschiede beider Begrifflichkeiten liegen also vor allem in der Struktur und Vollständigkeit der Daten. Ein Data Warehouse benötigt für die am Ende entstehenden Auswertungen feste Strukturen, in denen vollständige Daten vorliegen. Lücken werden, wenn nötig, mit Dummies gefüllt, um einen vollständigen Datensatz zu erhalten. Big Data kann aufgrund seiner Flexibilität auch ohne starre Strukturen nutzbringende Auswertungen erzeugen und ist im Umgang flexibler einsetzbar.
Data Warehouse im Unternehmen
Das Data Warehouse kommt bereits in vielen Branchen zum Einsatz und ist dort zu einem wichtigen Bestandteil geworden. Die Vorteile, die sich aus der Nutzung eines Data Warehouse ergeben, hat der Investmentsektor für sich erkannt. Er profitiert Kunden- und Markttrendanalysen von einem Data Warehouse. Auf dem Aktienmarkt beispielsweise spielen die Analysen eine entscheidende Rolle, da auch nur kleine Kurs-Schwankungen zu großen finanziellen Verlusten führen können. Die durch die Analysen möglich gemachten Prognosen können eventuelle Schwankungen voraussagen. Auch Banken, Versicherungsunternehmen und Handelsunternehmen benötigen stets genaue Daten und profitieren von einem Data Warehouse.
Nicht nur im Investmentsektor spielt das Data Warehouse eine wichtige Rolle. Ist Ihnen schon einmal aufgefallen, dass die Auswahl von Artikeln wie Nahrungsmittel, Drogerieartikel und anderen Produkten sich je nach Wohnort oder Bundesland unterscheiden, obwohl es sich um eine große Einzelhandelskette handelt? Manches Mal betrifft dies schon zwei Standorte innerhalb einer Stadt. Auch im Einzelhandel ist das Data Warehouse nicht mehr wegzudenken. Hier werden sie hauptsächlich für das Marketing und den Vertrieb genutzt. Artikel, Werbeangebote und Kauftrends werden analysiert und machen spezialisierte regionale Angebote möglich.
Eine weitere große Branche, die vom Data Warehouse und den Analysen profitiert, ist das Gesundheitswesen. Auch hier wird die Eigenschaft der Prognosen genutzt. Behandlungsberichte und Daten von Forschungslaboren und Versicherungsanbietern können untereinander ausgetauscht werden, um in den jeweiligen Analysen Übereinstimmungen und Ähnlichkeiten zu finden. Dies bietet auch den Krankenversicherungen den Vorteil Risiken Ihrer Versicherten besser einschätzen zu können und Preisanpassungen in Zusatzversicherungen wie z.B. Zahnversicherungen, vor zu nehmen.
Ebenso wie die bereits genannten Brachen, profitiert die Baubranche von einem Data Warehouse System. Wer gerne alle Zahlen im Blick hat, nutzt bei Renovierungen, Umzügen oder Umbauten meist eine Kalkulationstabelle. So bleiben alle Kosten im Blick und am Ende weiß man, wie viel Geld ausgegeben wurde. Im größeren Stil und mithilfe eines Data Warehouse nutzen Baufirmen die gleiche Technik. Hier werden vor allem die Daten gesammelt, die mit den Käufen der benötigten Materialien generiert wurden. Auf Basis dieser Daten können finanzielle Entscheidungen getroffen werden. Ist eine Baustelle abgeschlossen, werden die gesammelten Daten visualisiert und geben einen Überblick über die Gesamtausgaben.
Data Warehouse in der Cloud
Obwohl das herkömmliche Data Warehouse, das EDW (Enterprise Data Warehouse) keine Cloud-Funktionalität mitbringt, wird die Cloud für große Dateisysteme immer wichtiger. Während alte EDWs noch mit einer Cloud nachgerüstet werden, bringen moderne Data Warehouse Lösungen Cloud Funktionalitäten mit. Die Vorteile, die aus einem Data Warehouse Cloud System entstehen, sind viele. Zuerst kann durch die Cloud von überall mit einem Internetzugang auf das Data Warehouse zugreifen, es müssen nicht mehr spezielle Software oder Lösungen für die Vernetzung der einzelnen Data Warehouse Teile geschaffen werden. Die Standortfreiheit ermöglicht es auch, mehrere Standorte oder Filialen mit einem System anzuschließen, anstelle eines Systems je Standort. Des Weiteren wird durch die Cloud der ETL Prozess vereinfacht, Dateien und Formate sind nicht mehr festgeschrieben und können variieren. Auch Dummie-Daten, die bei unvollständigen Datensätzen entstehen, entfallen, da über die Cloud keine Datenlücken vorhanden sind. Auch die Skalierung des Data Warehouse Systems ist deutlich einfach. Wo früher noch umständlich neue Hardware angebracht und Datenbanken zusammengeflickt werden mussten, reicht heute ein Anruf beim Serverdienstleister, der mehr Serverkapazität freistellt.
Ein vernetztes Data Warehouse mit Ihrem ERP System
Ein Data Warehouse bringt schon viele Vorteile mit sich. Nur ist das Data Warehouse komplett unnütz, wenn Sie nicht auf Ihre Daten zugreifen können. Für den Zugriff und den Datenaustausch zwischen dem Data Warehouse und Ihrem ERP System sorgt eine Schnittstelle. Über diese werden Daten gesendet und übertragen. Schnittstellen können in vielen Formen genutzt werden. Neben Schnittstellen, die manuell ausgelöst werden und Excel- bzw. .csv Dateien übertragen gibt es auch vollautomatische Schnittstellen. Diese Schnittstellen ermöglichen dem Data Warehouse und Ihrem ERP System Daten in Echtzeit aneinander zu übertragen. Durch diese Schnittstellen sparen Sie sich Zeit und Aufwand, wenn Sie Daten aus den beiden Systemen abrufen oder übertragen möchten.
