Kontext

Im Rahmen einer unternehmensweiten Dateninitiative wurde eine skalierbare Enterprise Data Platform aufgebaut und kontinuierlich weiterentwickelt. Ziel war die Integration und Konsolidierung heterogener Unternehmensdaten, um eine zentrale und zuverlässige Datenbasis für Business Intelligence, Reporting, Analytics und datengetriebene Entscheidungen bereitzustellen.

Die Plattform verarbeitet große Datenmengen aus unterschiedlichen operativen Systemen und stellt diese über strukturierte Data-Warehouse- und Datamart-Schichten für Fachbereiche und Management bereit.

Architektur und Plattformdesign

Verantwortlich für die Architektur, Implementierung und Weiterentwicklung einer skalierbaren Data-Warehouse-Plattform auf Basis von Microsoft SQL-Server.

Die Plattform basiert auf einer mehrschichtigen Enterprise Data Architecture, die eine standardisierte, automatisierte und hoch skalierbare Datenintegration ermöglicht.

Architektur-Layer:

• Landing Layer – Aufnahme der Rohdaten aus operativen Systemen
• Staging Layer – Historisierung und Verarbeitung von Delta- und Full Loads
• Integration Layer – Datenstandardisierung, Business-Logik und Datenharmonisierung
• Datamart Layer – Bereitstellung analytischer Datenmodelle für Reporting und BI

Ein unternehmensintern entwickeltes DWH-Framework automatisiert zentrale Integrationsprozesse, Standardisierungen und Datenverarbeitungslogiken über alle Architekturebenen hinweg.

Datenintegration

 Integration einer großen Anzahl heterogener Datenquellen, u. a.:

• Microsoft SQL Server
• Oracle-Datenbanken
• SAP / SAP SuccessFactors
• Abacus ERP
• Dataverse
• SharePoint
• MS Access
• Flat Files
• Drittanbieter-Applikationen und APIs

Die Integration erfolgt über ETL-Prozesse, OData-Schnittstellen, API-basierte Datenzugriffe und Python-basierte Transformationsprozesse.

Verantwortlichkeiten

Enterprise Data Architecture

• Definition und Umsetzung der Enterprise-Data-Warehouse-Architektur
• Aufbau einer skalierbaren Datenplattform für Business Intelligence und Analytics
• Architekturdesign für hochvolumige Datenintegration und Datenverarbeitung

Data Integration und ETL-Plattform

• Entwicklung und Implementierung komplexer ETL-Prozesse mit SSIS und T-SQL
• Integration heterogener Unternehmenssysteme in eine zentrale Datenplattform
• Entwicklung von Datamarts und analytischen Datenstrukturen

Data Platform Performance & Scalability

• Optimierung der Plattform für große Datenvolumina und hohe ETL-Workloads
• Performance-Tuning von SQL-Server, ETL-Prozessen und analytischen Abfragen
• Nutzung von Query Store, Monitoring und Workload-Analysen

Framework Engineering

• Erweiterung und Optimierung eines unternehmensweiten ETL-Frameworks
• Automatisierung von Integrationsprozessen und Datenverarbeitung
• Verbesserung der Wartbarkeit, Stabilität und Skalierbarkeit der Plattform

Enterprise System Integration

• Integration komplexer Unternehmenssysteme wie SAP, ERP-Systeme und Drittanbieterplattformen
• Entwicklung von OData- und API-basierten Integrationen
• Umsetzung der Integration von SAP SuccessFactors-Daten in das Enterprise DWH

Data Migration und Transformation

• Umsetzung komplexer Datenmigrationen zwischen ERP-Systemen
• Entwicklung von Python-basierten Transformations- und Integrationsprozessen

Advanced Data Processing

• Entwicklung automatisierter OCR- und AI-basierter Datenextraktionsprozesse zur Integration unstrukturierter Dokumente (PDF)
• Integration extrahierter Daten in Data-Warehouse- und Datamart-Strukturen

Data Platform Operations

• Monitoring der ETL-Prozesse, Datenpipelines und Plattformperformance
• Stabilisierung und Optimierung der Data-Warehouse-Prozesse
• Einführung strukturierter Deployment- und Versionsmanagementprozesse

Governance und Dokumentation

• Erstellung technischer Architektur- und Betriebsdokumentationen
• Sicherstellung von Datenqualität, Nachvollziehbarkeit und Plattformstabilität

Technologien

Microsoft SQL-Server • T-SQL • SSIS • Python • SAP • Oracle • Dataverse • SharePoint • OData • ETL-Frameworks • SVN • Fabric • Databricks

Ergebnis

Bereitstellung einer skalierbaren Enterprise Data Platform, die eine konsistente und performante Datenbasis für Business Intelligence, Analytics und datengetriebene Unternehmensentscheidungen schafft.

Die Plattform ermöglicht die Integration großer Datenvolumina aus heterogenen Systemen, unterstützt komplexe Analyseanforderungen und bildet die Grundlage für eine moderne datengetriebene Unternehmensarchitektur