Projektbeschreibung

Unterstützung eines unternehmensweiten Datenmigrationsprogramms zur Überführung großer Versicherungsdatenbestände in ein neues Zielsystem. Der Schwerpunkt lag auf der Entwicklung und Optimierung hochperformanter ETL-Prozesse auf Basis von Microsoft SQL-Server und SSIS, um große Datenvolumina zuverlässig und effizient zu migrieren.

Die Migration erforderte die Umsetzung komplexer Business-Mappings, Datenvalidierungen und Transformationslogiken, die in enger Abstimmung mit den Fachbereichen umgesetzt wurden. Aufgrund der sehr großen Datenmengen wurde eine parallelisierte ETL-Architektur implementiert, um die Verarbeitungsgeschwindigkeit und Skalierbarkeit der Datenmigration sicherzustellen.

Die Umsetzung erfolgte in einem größeren, parallel arbeitenden Entwicklerteam innerhalb einer gemeinsamen SQL-Server-Umgebung. Deployment und Integrationen wurden unter kontrollierten Release-Prozessen durchgeführt, um die Stabilität der Plattform sicherzustellen.

Verantwortlichkeiten

ETL-Architektur und Datenmigration

• Entwicklung komplexer SSIS-Pakete für die Migration großer Datenvolumina
• Implementierung parallelisierter Datenverarbeitungsprozesse zur Performance-Optimierung
• Entwicklung und Umsetzung komplexer Datenmappings gemäß Business-Vorgaben
• Integration und Verarbeitung von CSV-basierten Datenquellen

Data Integration und Transformation

• Entwicklung von ETL-Datenflüssen mit SSIS-Dataflow-Komponenten
• Implementierung von Lookup-, Merge-Join-, Union-All- und Data-Conversion-Transformationen
• Umsetzung von Business-Logik mittels Derived Columns und SQL-Transformationen
• Entwicklung von Mapping-Tabellen und Transformationslogiken

Performance-Optimierung

• Performance-Tuning von SSIS-Pipelines und SQL-Abfragen
• Optimierung der Datenflussarchitektur und Streaming-Verarbeitung
• Entwicklung von stream basierten ETL-Prozessen für hochvolumige  Datenverarbeitung

Datenmodell- und Datenbankanpassungen

• Erweiterung bestehender Tabellenstrukturen und Datenbankobjekte
• Entwicklung von SQL-Skripten zur Datenanpassung und Transformation
• Optimierung von Tabellenstrukturen und Datenbank-Performance

Deployment und Betrieb

• Integration und Deployment von SSIS-Paketen in Test- und  Produktionsumgebungen
• Nutzung von Umgebungsvariablen und Konfigurationsmechanismen für ETL-Prozesse
• Unterstützung von Release- und Deploymentprozessen

Analyse und Zusammenarbeit mit Fachbereichen

• Analyse von Datenstrukturen und Mappings
• Abstimmung der Transformationslogik mit Business-Stakeholdern
• Erstellung von Testdaten, Validierungen und Dokumentationen

Technologien

Microsoft SQL Server • SSIS • T-SQL • ETL • Data Migration • PowerShell • CSV Processing • Jira • Enterprise Data Integration • Fabric • Databricks