Projektdetails

Aktuell sind wir auf der Suche nach einem Infrastructure Engineer für den Betrieb einer On-Premise KI Plattform.

Beim Aufbau und Betrieb einer vollständig On-Premise betriebenen KI-Plattform suchen wir einen erfahrenen Experten im Bereich AI Platform Operations. Der Fokus liegt auf dem zuverlässigen Betrieb der KI-Infrastruktur, der Verwaltung des Inferenz-Stacks sowie der Kapazitätsplanung für GPU-basierte Workloads.

Zu Ihren Aufgaben gehören:
+ Eigenverantwortlicher Betrieb und Überwachung der KI-Inferenzplattform einschließlich Model Orchestrator
Dynamisches Laden, Entladen und Verwalten von KI-Modellen unter Berücksichtigung von GPU- und VRAM-Ressourcen
Monitoring,
+ Analyse und Optimierung der GPU-Auslastung sowie der Systemperformance
+
Planung und Durchführung temporärer Benchmark- und Lasttest-Szenarien mit zusätzlichen Modellen und erhöhtem VRAM-Bedarf

+ Verwaltung und Pflege lokaler KI-Modelle (GGUF) sowie der zugehörigen Inferenzumgebung
+
Betrieb und Wartung des KI-Technologie-Stacks, insbesondere llama.cpp, whisper.cpp, OpenAI-kompatibler APIs und LangGraph

+ Administration und Betrieb der Vektordatenbank Qdrant im Kontext von Retrieval-Augmented Generation (RAG)
Kapazitätsplanung und Skalierungsmanagement für den Ausbau der GPU-Infrastruktur
+
Optimierung von Queue-, Batch- und Scheduling-Prozessen zur effizienten Ressourcennutzung
+
Steuerung und Integration von Hersteller-Releases und Container-Images
+
Überwachung und Absicherung der definierten Netzwerkverbindungen für Lizenzierung, Modelldownloads und freigegebene externe Dienste
+
Sicherstellung des Betriebsprinzips „vollständig On-Premise“ ohne Nutzung von Cloud-KI-Diensten

+ Mehrjährige Erfahrung im Betrieb von Linux-Servern in produktiven Umgebungen
Fundierte Erfahrung mit Docker und containerisierten Anwendungen
+
Praktische Erfahrung im Betrieb von GPU-basierten KI- oder Machine-Learning-Plattformen
+
Kenntnisse im Performance-Monitoring sowie in der Analyse von Ressourcenengpässen (insbesondere GPU und VRAM)

+ Erfahrung im Betrieb und in der Administration von KI-Inferenzumgebungen