Open-Source-Lösung k0rdent ermöglicht es europäischem Cloud Service Provider, KI-Workloads on demand auszuführen

Das niederländische Unternehmen Nebul legt einen starken Fokus auf Datenschutz und Datenhoheit und zählt zu den Pionieren in Bereichen wie Hochleistungsrechnen (High Performance Computing), Künstliche Intelligenz (KI) und Maschinelles Lernen (ML) unter Verwendung von NVIDIA-Rechenleistung. Nebul nutzt das Kubernetes-native Multi-Cluster-Management von k0rdent, welches in NVIDIA GPU Operator und Gcore Everywhere Inference integriert ist (weitere Einzelheiten finden sich in dieser Case Study).

Optimierte GPU-Auslastung

Nebul kann verteilte KI-Inferenz innerhalb seiner gesamten Infrastruktur unterstützen und dabei geringe Latenz und hohe Performance bieten. Mit dynamisch bereitgestellten Ressourcen wird dabei der jeweilige Bedarf abgedeckt. Eine richtliniengesteuerte Automatisierung optimiert zudem die GPU-Auslastung für maximale Effizienz.

„Wir sind davon überzeugt, dass Open Source der Schlüssel dafür ist, Infrastrukturen fit für die Unterstützung von KI zu machen“, sagt Alex Freedland, Mitgründer und CEO von Mirantis, dem Unternehmen hinter dem Open-Source-Projekt k0rdent. „Nebul demonstriert das enorme Potenzial offener Technologien bei der Lösung einer der aktuell komplexesten Herausforderungen in der IT – der zuverlässigen Bereitstellung von KI-Workloads in großem Maßstab.“

k0rdent wurde im Februar vorgestellt und hilft Platform-Engineering-Spezialisten beim Umgang mit dem „Infrastruktur-Wildwuchs“ und der betrieblichen Komplexität, von Cloud-Service-Providern über On-Premises-Infrastrukturen bis hin zu Edge-Geräten. Für eine deutliche Vereinfachung sorgen deklarative Automatisierung, die zentralisierte Durchsetzung von Richtlinien und produktionsreife Templates, die für moderne Arbeitslasten optimiert sind. k0rdent bietet vollständige Composability und nutzt die Open Source Cluster API. Kubernetes-Cluster können dadurch überall erstellt und vorhandene Cluster ebenso verwaltet werden.

Inference-as-a-Service für Unternehmenskunden

„Die Nachfrage nach KI-Diensten wächst. Unsere Herausforderung bestand deshalb darin, unsere bestehende Infrastruktur entsprechend anzupassen“, so Arnold Juffer, CEO und Gründer von Nebul, einem NVIDIA Elite Partner, Cloud Partner und Lösungsanbieter. „Durch den Einsatz von k0rdent können wir unsere heterogene Infrastruktur über OpenStack und Bare-Metal-Kubernetes hinweg effektiv vereinheitlichen. Gleichzeitig sind wir in der Lage, den VMware-Technologie-Stack auslaufen zu lassen und vollständig auf Open Source umzusteigen, um die Abläufe zu optimieren und unseren Wechsel hin zu Inference-as-a-Service für Unternehmenskunden zu beschleunigen. Diese können ihr trainiertes KI-Modell jetzt auf ihre Daten anwenden und haben dabei die Gewissheit, dass Datenschutz und Datenhoheit gemäß der jeweiligen Regularien gewährleistet sind. So einfach kann es sein.“

„Nebul zeigt, dass KI-Inferenz in großem Maßstab eine Infrastruktur voraussetzt, die sich dynamisch an die Bedürfnisse der Endkunden anpasst. Dies stellt sicher, dass KI-Anwendungen hinsichtlich Kosten und Performance die an sie gestellten geschäftlichen Anforderungen erfüllen“, erklärt Seva Vayner, Product Director Edge Cloud und Edge AI bei Gcore. „Unsere Lösung Everywhere Inference bietet ein einfach nutzbares Portal für die Bereitstellung und das Management von KI-Inferenz. Smart Routing sorgt zudem dafür, dass Inferenzaufgaben an die nächstgelegenen GPUs gesendet werden, um so die niedrigste Latenz zu erzielen.“

Mirantis und Gcore haben im März auf der NVIDIA GTC eine Partnerschaft bekanntgegeben.

Im Rahmen der KubeCon in London können Interessenten am Stand von Mirantis mehr über k0rdent und KI-Inferenz erfahren: KubeCon Main Event (2. – 4. April 2025): Stand N331

Eine Demoversion von k0rdent kann hier angefordert werden.

Über Nebul
Die European Private & Sovereign AI Cloud von Nebul bietet erstklassige KI-Funktionen. Das Unternehmen gewährleistet Datenschutz durch Abschottung auf militärischem Niveau, Datenhoheit durch die Verwendung von Open-Source-Standards und die Einhaltung der EU-Regularien durch die Orientierung an allen erforderlichen Vorschriften und Zertifizierungen.

Die KI-Anwendungen von Nebul bieten branchenspezifische Alternativen zu Public AI wie ChatGPT, Microsoft Co-Pilot, Amazon Bedrock und anderen. Sie sind für (europäische) Unternehmen und Organisationen konzipiert, die KI nutzen und mit Unternehmensdaten verbinden möchten, ohne das Risiko eines Daten- und IP-Verlusts einzugehen. Als offizieller NVIDIA Elite Partner sind wir bestens aufgestellt, um Sie bei der Bewältigung der Komplexität der Bereitstellung von Supercomputing-Lösungen zu unterstützen, die auf den neuesten NVIDIA-Technologien basieren, die für Schulungen, Feinabstimmung oder Inferenz optimiert sind und sich strategisch platziert in Rechenzentren auf dem europäischen Kontinent befinden.

Erfahren Sie mehr unter https://www.nebul.com.