Projektportal
Projektdetails
Aufgaben
+ Erstellung eines PoC bzgl. der Ablösung von ETL Prozessen durch PySpark Prozesse
Anforderungen
Must-haves
+ Erfahrung mit PySpark, insbesondere Batch-Datenverarbeitung
+ Kenntnisse in Spark-Infrastruktur innerhalb von AWS EKS on EC2
+ Fundierte Python und SQL Kenntnisse
+ Erfahrung mit Datenmodellen, ETL-Prozessen
Nice-to-haves
+ Terraform Kenntnisse
+ Apache Iceberg Erfahrung
+ Fundierte Kenntnisse bzgl. Monitoring und Logging im Kontext PySpark