Projektbeschreibung
Die Unternehmensdaten wurden über SSIS-basierte ETL-Prozesse extrahiert, transformiert und in ein Enterprise Data Warehouse auf Microsoft SQL-Server integriert. Darauf aufbauend wurde eine umfassende Reportinglösung mit SQL-Server Reporting Services (SSRS) implementiert.
Ein zentraler Schwerpunkt des Projekts lag auf der Performance-Analyse und -Optimierung der SQL-Server-Plattform. Hierfür wurde ein dediziertes Monitoring-System entwickelt, das auf Basis von SQL-Server-Systemtabellen und Query-Store-Daten eine kontinuierliche Analyse der Datenbank-Performance ermöglicht.
Zu diesem Zweck wurden zwei spezialisierte Monitoring-Datenbanken aufgebaut:
- Near-Time-Monitoring-System zur kontinuierlichen Analyse der aktuellen Datenbank-Performance
- Performance-Reporting-System zur langfristigen Analyse von Workloads, Abfragen und Systemmetriken
Durch die automatisierte Analyse der Systemdaten konnten kritische Abfragen identifiziert, optimiert und kontinuierlich überwacht werden, wodurch die Stabilität und Performance der Plattform nachhaltig verbessert wurde.
Verantwortlichkeiten
Data-Warehouse-Architektur & ETL
Konzeption und Implementierung eines Enterprise Data Warehouse auf Microsoft SQL-Server
- Entwicklung von ETL-Prozessen mit SSIS zur Integration von Firmen Daten
- Entwicklung von Load-Prozeduren und Transformationslogiken mit T-SQL
- Implementierung von Staging-, Integrations- und DWH-Schichten
- Modellierung von Data-Vault-basierten Datenstrukturen
Reporting-Plattform
- Entwicklung einer Reportinglösung auf Basis von SQL-Server Reporting Services (SSRS)
- Bereitstellung operativer und analytischer Reports zur Auswertung von Firmen-Daten
SQL-Server-Performance-Engineering
- Entwicklung eines Near-Time-Monitoring-Systems zur Analyse der SQL-Server-Performance
- Aufbau einer Reporting-Datenbank zur Analyse von Query Store und Systemmetriken
- Performance-Analyse und Optimierung von SQL-Abfragen, Datenbanklogiken und Workloads
Performance Tuning
- Performance-Optimierung von SQL-Server-Instanzen und komplexen Datenbankabfragen
- Performance-Tuning von SSIS-Pipelines und ETL-Prozessen
- Identifikation und Optimierung kritischer Datenbankabfragen anhand von Query-Store-Analysen
Zusammenarbeit mit Fachbereichen
- Abstimmung von Datenmodellen und Reportinganforderungen mit Business- Stakeholdern
- Umsetzung der Anforderungen in skalierbare Datenmodelle und ETL-Prozesse
Technologien
Microsoft SQL Server • T-SQL • SSIS • SSRS • Query Store • Data Vault • ETL • Performance Monitoring • Data Warehouse