Projektbeschreibung
Konzeption und Implementierung einer Enterprise-Data-Warehouse-Plattform zur der Unternehmens Daten. Ziel des Projekts war der Aufbau einer skalierbaren Datenplattform zur Bereitstellung von Management-Reports, operativen Auswertungen und Systemanalysen.
Die Unternehmens Daten wurden über SSIS-basierte ETL-Prozesse extrahiert, transformiert und in ein Microsoft-SQL-Server-Data-Warehouse integriert. Auf dieser Grundlage wurde eine Reportinglösung auf Basis von SQL-Server Reporting Services (SSRS) entwickelt, um relevante Kennzahlen und Analysen für operative und strategische Entscheidungen bereitzustellen.
Ein weiterer zentraler Bestandteil des Projekts war die Entwicklung eines automatisierten SQL-Server-Performance-Monitoring-Systems. Hierfür wurden zwei dedizierte Monitoring-Datenbanken aufgebaut, die auf SQL-Server-Systemtabellen und Query-Store-Daten basieren:
- Near-Time-Monitoring-System zur kontinuierlichen Analyse aktueller Datenbank-Workloads
- Performance-Reporting-System zur langfristigen Analyse von Systemmetriken, Abfragen und Performance-Trends
Die automatisierte Auswertung der Systemdaten ermöglichte die Identifikation und Optimierung kritischer SQL-Abfragen sowie die kontinuierliche Verbesserung der Datenbank- und ETL-Performance.
Verantwortlichkeiten
Data-Warehouse-Architektur & Datenmodellierung
- Konzeption und Aufbau eines Enterprise Data Warehouse auf Microsoft SQL-Server
- Modellierung der Datenstrukturen basierend auf Data-Vault-Architekturprinzipien
- Implementierung von Staging-, Integrations- und Data-Warehouse-Schichten
ETL & Datenintegration
- Entwicklung von ETL-Prozessen mit SQL-Server Integration Services (SSIS)
- Implementierung von DWH-Load-Prozeduren und Transformationslogiken mit T-SQL
- Integration und Verarbeitung von Firmen Daten im Data Warehouse
Reporting & Analytics
- Entwicklung einer Reportingplattform mit SQL-Server Reporting Services (SSRS)
- Bereitstellung analytischer Reports zur Auswertung von System- und Betriebsdaten
SQL-Server Performance Engineering
- Entwicklung eines Near-Time-Monitoring-Systems auf Basis von SQL-Server-Systemtabellen und Query Store
- Aufbau einer Performance-Reporting-Datenbank zur Analyse von SQL-Server-Workloads
- Analyse und Optimierung kritischer SQL-Abfragen und Datenbanklogiken
Performance Tuning
- Performance-Optimierung von SQL-Server-Instanzen und Reporting-Workloads
- Optimierung komplexer SSIS-ETL-Prozesse
- Identifikation und Behebung von Performance-Engpässen in Datenbankabfragen
Business Integration
- Analyse fachlicher Anforderungen und Abstimmung mit Business-Stakeholdern
- Umsetzung der Anforderungen in skalierbare Datenmodelle und ETL-Prozesse
Technologien
Microsoft SQL-Server • T-SQL • SSIS • SSRS • SSAS • Query Store • Data Vault • ETL • Performance Monitoring • Data Warehouse