In der Vergangenheit war im Unternehmensumfeld ein zentrales Data Warehouse ein sehr wichtiger Baustein, um die notwendigen Berichtsanforderungen bedienen zu können. Für ein „normales“ Data Warehouse waren Quellen, aber auch die Datenspeicherung als relationale Strukturen und in unserem Projekten das Data Warehouse (DWH) im SQL Server abgebildet.
Die Datenlandschaft verändert sich...
In den letzten Jahren jedoch sind die Anforderungen an das unternehmensweite Berichtswesen sehr stark in die Breite gegangen – neben den klassischen DWH-Quellen wie ein ERP- oder CRM-System wurde der Bereich der IoT (Internet of Things), aber auch zahlreiche andere Quellen in den Unternehmen als auswerterelevant eingestuft. Diese Systeme unterscheiden sich in vielerlei Hinsicht, sei es in der Geschwindigkeit der Datenerzeugung / Speicherung (geschäftsfallbezogen bis zu Daten im Millisekundenbereich bei IoT Anwendungen), in den Strukturen (relational und strukturiert bis zu semistrukturierten Daten bzw. auch Audio- oder Videodaten), aber auch hinsichtlich der Möglichkeiten zur Datenverarbeitung (Datenbanken, Dateien, Datenstreams oder Programmierschnittstellen). Miteinhergehend hat sich die Menge an zu verarbeitenden Daten verändert. Von teilweise einigen Gigabytes für ein DWH bis nun Daten im Terabyte-Bereich für neue Analyseplattformen.
Aber nicht nur die Datenquellen haben sich geändert, auch die Fähigkeiten der Personen für die Datenaufbereitung: Vom klassischen SQL-Entwickler geht die Schere nun bis Python & R sowie einer Vielzahl anderer Technologien. Auch die Anforderungen zur Datenanalyse haben sich verändert: Vom Blick in den Rückspiegel („was haben wir verkauft?“) geht der Blick nun in die Zukunft – mit Machine Learning und Data Science wollen wir nun wissen „wie wir in Zukunft mehr verkaufen können“.
Und genau dieses breite Schema heißt es nun abzudecken, …
- … um möglichst alle relevanten Datenquellen auswerten zu können
- … um die Datenaufbereitung und -analyse im heterogenen Team zu ermöglichen
- … um die Dateninseln im Unternehmen zentral aufzubereiten und auswerten zu können
- … um betriebswirtschaftliche Kennzahlen mit Daten aus der Produktion zu verknüpfen
- … um Datenströme mit Stammdaten in gemeinsamen Auswertungen zu analysieren
- … um klassische Business Intelligence mit Analytics zu verknüpfen
Wie kann man als Unternehmen diese Anforderungen unter einen Hut bringen?
Genau diese Frage stellen mir unsere Kunden sehr oft: „Wie soll das möglich sein und auf welchen Technologien sollen wir unsere zukünftige Datenlandschaft aufbauen?“
Vor zwei Jahren wäre die Antwort noch gewesen: Da nehmen wir diesen und jenen Azure Service und bauen eine Datenintegration und
-auswerteplattform. Mit Azure Synapse Analytics steht aber mittlerweile eine integrierte Analyticsplattform zur Verfügung, welche die Aufgaben der Datenintegration, Datenspeicherung und Datenauswertung unter einem Dach vereint. Microsoft hat hier nicht eine komplette Neuentwicklung gestartet, sondern integriert bewährte Technologien in Synapse Workspaces. So wurde aus dem ehemaligen Azure SQL Datawarehouse der Synapse Dedicated SQL Pool, die Datenintegration übernehmen die Synapse Pipelines (Azure Data Factory) und die Datenspeicherung basiert auf Azure Data Lake Storage Technologie. Für die Datenanalyse steht mit dem SQL Serverless Ansatz ein neue Technologie und für die verteilte Analyse von großen Datenmengen eine Apache Spark basierte Analytics Runtime zur Verfügung.
Erfahren Sie mehr über Azure Synapse Analytics!
Sie möchten mehr darüber erfahren? Und Azure Synapse Analytics in Action sehen? Ein Gefühl bekommen, wie die einzelnen Teile miteinander interagieren und zusammenspielen?
Melden Sie sich heute noch für den virtuellen Azure Synapse Launch Event am 18. März 2021 an!
Gemeinsam mit Microsoft Österreich stellen wir den aktuellen Stand der Synapse Analytics Welt vor. Die Zukunft der (Microsoft) Analytics stellt uns Jovan Popovic vom Synapse Produktteam in einer NDA (non-disclosure agreement)-only Session vor!
