Projektbeschreibung

Im Rahmen dieses Projekts wurde eine skalierbare Datenplattform zur Erfassung und Verarbeitung von Betriebsdaten aus privaten Photovoltaikanlagen aufgebaut und betrieben. Die von den Anlagen erzeugte Energie wird in das öffentliche Stromnetz eingespeist. Die Systeme der Anlagen werden periodisch abgefragt, wobei große Mengen an Mess- und Betriebsdaten über eine verteilte Architektur mit mehreren SQL-Server Instanzen in eine zentrale Datenplattform übertragen und für analytische Auswertungen bereitgestellt werden.

Aufgrund des stark wachsenden Datenvolumens wurde die bestehende Datenarchitektur grundlegend optimiert. Insbesondere erfolgte die Migration der Datenhaltung von Row Store auf columnstore-basierte Strukturen, um eine signifikante Verbesserung der Performance bei Data-Warehouse- und Analyseprozessen zu erreichen.

Ein weiterer Schwerpunkt lag auf der Performanceanalyse und Optimierung der SQL-Server Infrastruktur. Hierfür wurde ein umfassendes Performance-Monitoring der Datenbankinstanzen aufgebaut, welches die Grundlage für eine Neudimensionierung der Serverarchitektur bildete. Nach der technischen Bewertung wurde die Infrastruktur zu einem externen Hosting-Provider migriert, wobei sämtliche Datenbankinstanzen, Objekte und Daten erfolgreich übertragen und in Betrieb genommen wurden.

Neben der operativen Administration der SQL-Server Landschaft verantwortete ich auch die Weiterentwicklung der Datenverarbeitungslogik und Datenarchitektur basierend auf neuen Business-Anforderungen.

Verantwortlichkeiten und Leistungen

Datenarchitektur und Performanceoptimierung

• Migration der Datenarchitektur von Row Store zu columnstore-basierten Datenstrukturen zur Verarbeitung großer Datenvolumina
• Implementierung partitionierter Tabellenstrukturen und Archivstrategien
• Analyse und Optimierung komplexer T-SQL-Abfragen und Datenverarbeitungsprozesse
• Entwicklung performanter Stored Procedures und Funktionen für Datenverarbeitung und Datenmigration

Data Warehouse und Datenverarbeitung

• Entwicklung von ETL-Logiken zur Integration und Transformation großer Datenmengen
• Transformation und Aktualisierung historischer Daten gemäß neuen Business- und   Analyseanforderungen
• Entwicklung automatisierter Prozesse zur Migration operativer Daten in Data-Warehouse-Strukturen

SQL-Server Administration und Betrieb

• Administration und Betrieb mehrerer Microsoft SQL-Server Instanzen in einer produktiven Datenplattform
• Implementierung eines umfassenden SQL-Server Performance- und Systemmonitorings
• Analyse von Wait-Events, Execution Plans und Systemressourcen zur Identifikation von Performanceengpässen
• Optimierung von Indexstrategien, Serverkonfigurationen und Datenbankparametern

Infrastruktur und Migration

• Planung und Umsetzung der Migration der SQL-Server Infrastruktur zu einem externen Hosting-Anbieter
• Migration sämtlicher Datenbanken, Instanzen und Datenbankobjekte auf die neue Serverumgebung
• Unterstützung bei der Neudimensionierung der Datenbankserver auf Basis realer Workload-Analysen

Betrieb und Governance

• Implementierung und Betrieb einer Backup- und Recovery-Strategie
• Überwachung von Serverlogs, SQL-Agent Jobs, Systemressourcen und Fehlerzuständen
• Erstellung und Pflege der technischen System- und Betriebsdokumentation