Aufgaben
- Entwurf, Entwicklung und Optimierung skalierbarer Datenarchitekturen sowie moderner Data-Pipelines auf Basis von Python, Databricks und Apache Spark
- Konzeption und Umsetzung von Datenmodellen für analytische und operative Anwendungsfälle in einem komplexen Unternehmensumfeld
- Planung und Durchführung von Datenmigrationen zwischen verschiedenen Datenbanksystemen und Plattformen
- Entwicklung, Wartung und Optimierung von ETL-/ELT-Prozessen zur Verarbeitung großer Datenmengen
- Sicherstellung einer hohen Datenqualität sowie Implementierung von Quality Gates und Monitoring-Konzepten
- Enge Zusammenarbeit mit Data Scientists, Analytics-Teams und Fachbereichen zur Bereitstellung hochwertiger Datenprodukte
- Erstellung technischer Konzepte und Architekturartefakte für die squadübergreifende Nutzung
- Bewertung und Einführung neuer Technologien und Methoden im Bereich Data Engineering
- Aktive Teilnahme an Workshops, Teamrunden und Abstimmungen vor Ort mit relevanten Stakeholdern
Profil
- Fundierte Erfahrung als Data Engineer mit Schwerpunkt auf Python, Databricks und Spark/PySpark
- Fundierte Kenntnisse in Datenmodellierung und Datenmigration sowie m it relationalen Datenbanksystemen (RDBMS)
- Sehr gute SQL-Kenntnisse sowie Erfahrung im Umgang mit großen Datenlandschaften
- Praktische Erfahrung mit Alembic zur Steuerung und Verwaltung von Datenbankmigrationen vom Vorteil
- Kenntnisse in Azure-basierten Datenplattformen, insbesondere Databricks und angrenzenden Cloud-Technologien
- Verständnis moderner Data-Engineering-Konzepte, Datenarchitekturen und Best Practices
- Strukturierte und konzeptionelle Arbeitsweise mit hoher Eigenverantwortung
- Studium mit informationstechnischem Schwerpunkt oder vergleichbare Berufserfahrung im Data-Engineering-Umfeld
- Bereitschaft zur regelmäßigen Zusammenarbeit und Teilnahme an Workshops und Teamterminen vor OrtErfahrung mit mindestens einer Programmiersprache, bevorzugt Python, Typescript
- Erfahrung in Datenbankentwicklung und Datenmodellierung, idealerweise mit Databricks/Spark und AzureSQL
- Konzeptionelle Kenntnisse über Daten und Analysen, z. B. Dimensionsmodellierung, ETL, Berichterstattungstools, Data Governance, Data Warehousing, strukturierte und unstrukturierte Daten
Benefits
- Abwechslungsreiche Tätigkeit in einem renommierten Unternehmen
- Dynamisches und innovatives Marktumfeld
- Eine übertarifliche Bezahlung
