Supermicro GPU-Cluster für KI – skalierbare Infrastruktur für Unternehmen

14.09.2026 | Künstliche Intelligenz stellt hohe Anforderungen an die IT-Infrastruktur. Unternehmen trainieren Machine-Learning-Modelle, betreiben Large Language Models (LLMs), analysieren große Datenmengen oder stellen KI-Anwendungen für Mitarbeitende und Kunden bereit.

Mit zunehmender Modellgröße steigen jedoch die Anforderungen an Rechenleistung, GPU-Speicher, Speicherbandbreite, Netzwerk und Storage. Klassische Serverarchitekturen stoßen bei anspruchsvollen KI-Anwendungen deshalb schnell an ihre Grenzen.

Ein Supermicro GPU-Cluster verbindet mehrere leistungsfähige GPU-Systeme zu einer skalierbaren Plattform. Entscheidend ist dabei nicht allein die Anzahl der GPUs oder Recheneinheiten. Erst das Zusammenspiel aus GPU-Rechenleistung, schnellem GPU-Speicher, hoher Speicherbandbreite, leistungsfähigen Interconnects, Netzwerk und Storage ermöglicht eine effiziente KI-Infrastruktur.

Dabei muss grundsätzlich zwischen zwei unterschiedlichen KI-Workloads unterschieden werden: Training und Inference.

Was ist ein GPU-Cluster?

Ein GPU-Cluster verbindet mehrere GPU-Server zu einer gemeinsamen Rechenplattform. Jeder Server verfügt dabei über eine oder mehrere leistungsfähige GPUs.

Schnelle Netzwerk- und GPU-Verbindungen ermöglichen den Austausch großer Datenmengen zwischen den einzelnen Systemen. Dadurch lassen sich KI-Workloads auf mehrere GPUs und Server verteilen.

Warum GPUs für moderne KI-Anwendungen eingesetzt werden

CPUs sind universelle Prozessoren und für eine große Bandbreite unterschiedlicher Aufgaben ausgelegt. Moderne KI-Modelle benötigen dagegen große Mengen mathematischer Operationen, die sich stark parallelisieren lassen.

GPUs sind für solche Workloads besonders geeignet. Entscheidend ist dabei jedoch nicht allein, dass eine GPU über sehr viele Recheneinheiten verfügt. Moderne Rechenzentrums-GPUs kombinieren mehrere Eigenschaften:

Gerade bei Large Language Models kann die Geschwindigkeit des Speichers die tatsächlich nutzbare Rechenleistung erheblich beeinflussen. Sind die Recheneinheiten schneller als die benötigten Daten aus dem Speicher bereitgestellt werden können, warten die Recheneinheiten auf Daten.

Deshalb ist bei modernen KI-Systemen nicht allein die theoretische Rechenleistung entscheidend. Das Verhältnis zwischen Rechenleistung, Speicherbandbreite und Datenbewegung bestimmt wesentlich mit, wie effizient eine GPU für einen konkreten Workload eingesetzt werden kann.

Nicht jeder KI-Workload benötigt eine GPU. Kleine Modelle, klassische Machine-Learning-Verfahren, geringe Anfragevolumen oder stark sequenzielle und kontrolllastige Aufgaben können auf CPUs wirtschaftlicher betrieben werden. GPUs spielen ihre Vorteile insbesondere bei großen, tensorlastigen Modellen und hoher Parallelität aus. Entscheidend ist deshalb nicht grundsätzlich CPU oder GPU, sondern welche Architektur die Anforderungen an Latenz, Durchsatz und Kosten für den jeweiligen Workload am effizientesten erfüllt.

Training und Inference: Unterschiedliche Anforderungen an die Infrastruktur

Training und Inference werden häufig unter dem Begriff „KI-Workloads" zusammengefasst. Technisch stellen sie jedoch unterschiedliche Anforderungen an die zugrunde liegende Infrastruktur.

Wird das Training auf mehrere GPUs verteilt, müssen diese zudem kontinuierlich Daten austauschen und Berechnungsergebnisse synchronisieren. Je größer der GPU-Cluster wird, desto wichtiger werden deshalb schnelle Interconnects und eine leistungsfähige Netzwerkinfrastruktur.

Bei großen Modellen kommen unterschiedliche Verfahren zur Parallelisierung zum Einsatz. Beim Data Parallelism verarbeiten mehrere GPUs unterschiedliche Teile eines Trainings-Batches und synchronisieren anschließend die berechneten Gradienten. Beim Tensor Parallelism werden dagegen einzelne mathematische Operationen beziehungsweise Modellschichten auf mehrere GPUs verteilt. Ergänzend kann Pipeline Parallelism verschiedene Modellbereiche auf unterschiedlichen GPUs ausführen.

Insbesondere die Synchronisierung beim verteilten Training erzeugt erheblichen Netzwerkverkehr. Kommunikationsbibliotheken wie NVIDIA NCCL (NVIDIA Collective Communications Library) optimieren dafür Operationen wie All-Reduce, bei denen Ergebnisse mehrerer GPUs effizient zusammengeführt und verteilt werden. Die Skalierbarkeit eines Trainingsclusters hängt deshalb nicht nur von der Anzahl der GPUs ab, sondern wesentlich von der Geschwindigkeit der Kommunikation zwischen ihnen.

KI-Inference: Trainierte Modelle produktiv einsetzen

Inference bezeichnet dagegen die Anwendung eines bereits trainierten Modells.

Bei einem Large Language Model beginnt die Inference beispielsweise in dem Moment, in dem ein Nutzer eine Anfrage stellt und das Modell daraus eine Antwort generiert. Auch Bilderkennung, Sprachverarbeitung, Empfehlungssysteme oder Predictive-Analytics-Anwendungen nutzen Inference.

Die Anforderungen unterscheiden sich vom Training. Im produktiven Betrieb stehen insbesondere kurze Antwortzeiten, hoher Durchsatz und die effiziente Verarbeitung vieler paralleler Anfragen im Vordergrund.

Gerade bei Large Language Models spielen dabei die Größe und Geschwindigkeit des GPU-Speichers eine wichtige Rolle. Modellparameter und weitere für die Inference benötigte Daten müssen schnell verfügbar sein. Bei vielen LLM-Workloads wird deshalb die Speicherbandbreite zu einem entscheidenden Performancefaktor.

Innerhalb der LLM-Inference lassen sich wiederum zwei Phasen unterscheiden: Prefill und Decode.

Beim Prefill verarbeitet das Modell zunächst den vollständigen eingegebenen Kontext. Je größer beispielsweise ein Prompt oder ein übergebenes Dokument ist, desto mehr Berechnungen müssen in dieser Phase durchgeführt werden.

Anschließend folgt die Decode-Phase, in der das Modell schrittweise neue Tokens erzeugt. Dabei müssen die Modellparameter immer wieder aus dem GPU-Speicher bereitgestellt werden. Gerade diese Phase kann deshalb stark durch die verfügbare Speicherbandbreite beeinflusst werden.

Zusätzlich entsteht während der Verarbeitung der sogenannte KV Cache (Key-Value Cache). Darin werden Zwischenergebnisse bereits verarbeiteter Tokens gespeichert, damit diese bei der Generierung weiterer Tokens nicht vollständig neu berechnet werden müssen. Mit steigender Kontextlänge, größeren Modellen und mehr parallelen Anfragen wächst dadurch der Bedarf an GPU-Speicher.

Für produktive LLM-Systeme sind deshalb nicht nur die Modellgröße und theoretische GPU-Rechenleistung relevant. Auch Kontextlänge, KV Cache, Batching, Anzahl paralleler Nutzer, VRAM-Kapazität und Speicherbandbreite beeinflussen die tatsächlich erreichbare Performance.

Die optimale Infrastruktur hängt daher stark vom Einsatzszenario ab. Ein Cluster für das Training großer Modelle kann anders dimensioniert sein als eine Plattform, die ein bestehendes LLM für viele parallele Nutzer bereitstellt.

Darüber hinaus entscheidet die Speicherbandbreite wesentlich darüber mit, wie schnell die GPU auf die benötigten Modellinformationen zugreifen kann. Gerade während der Decode-Phase einer LLM-Inference kann sie deshalb zu einem zentralen Performancefaktor werden.

Die Kontextlänge und Anzahl paralleler Nutzer beeinflussen wiederum den Speicherbedarf des KV Cache. Ein System, das einen einzelnen Nutzer mit kurzem Kontext bedient, stellt daher andere Anforderungen an den GPU-Speicher als eine produktive Plattform mit vielen parallelen Sessions und langen Kontextfenstern.

Für produktive Inference-Umgebungen ist außerdem die maximale Benchmark-Performance einer einzelnen GPU nicht zwangsläufig die wichtigste Kennzahl. Häufig sind Time to First Token, Tokens pro Sekunde, parallele Nutzer, Kosten pro Token, Energieverbrauch und Verfügbarkeit mindestens ebenso relevant.

Für die Wirtschaftlichkeit einer Inference-Plattform sollte nicht allein der Anschaffungs- oder Stundenpreis einer GPU betrachtet werden. Entscheidend sind die tatsächlich erzielten Kosten pro Anfrage beziehungsweise Token bei den geforderten Latenz- und Verfügbarkeitszielen. Eine teurere GPU kann bei hoher Auslastung wirtschaftlicher sein, wenn sie einen entsprechend höheren Durchsatz erzielt. Umgekehrt kann eine leistungsfähige GPU bei geringer Auslastung unnötige Kosten verursachen.

Warum VRAM und Speicherbandbreite bei KI so wichtig sind

Moderne KI-Modelle benötigen große Mengen GPU-Speicher. Bei Large Language Models müssen unter anderem Milliarden von Modellparametern sowie weitere für Training oder Inference benötigte Daten verarbeitet werden.

Übersteigt der Speicherbedarf des Modells einschließlich der für den jeweiligen Workload benötigten Laufzeitdaten den verfügbaren GPU-Speicher, kommen je nach Anwendung unterschiedliche Verfahren infrage. Dazu gehören beispielsweise Quantisierung, Offloading oder die Verteilung des Modells auf mehrere GPUs.

Neben der reinen Kapazität des VRAM spielt dessen Bandbreite eine zentrale Rolle.

Moderne Data-Center-GPUs setzen dafür auf High Bandwidth Memory (HBM). Dieser Speicher ermöglicht sehr hohe Datentransferraten zwischen GPU-Speicher und Recheneinheiten.

Der Vorteil moderner KI-GPUs entsteht damit aus dem Zusammenspiel mehrerer Komponenten: Tensor-Rechenleistung verarbeitet die mathematischen Operationen, während schneller HBM-Speicher die benötigten Daten mit hoher Bandbreite bereitstellt.

Besonders bei speicherbandbreitenlimitierten Workloads kann zusätzlicher theoretischer Rechendurchsatz allein die Performance daher nicht proportional erhöhen. Umgekehrt existieren jedoch auch KI-Workloads, die stärker durch Rechenleistung, Kommunikation oder Latenz begrenzt werden. Welcher Faktor zum Flaschenhals wird, hängt vom Modell und konkreten Workload ab.

GPU-Systeme für unterschiedliche KI-Workloads

Je nach Anwendungsfall können unterschiedliche GPU-Architekturen eingesetzt werden. Supermicro bietet unter anderem Systeme auf Basis aktueller NVIDIA-HGX-Plattformen sowie weitere GPU-Server für KI-, Deep-Learning- und HPC-Anwendungen.

Für große Trainings- und LLM-Workloads stehen beispielsweise Multi-GPU-Systeme auf Basis von NVIDIA HGX zur Verfügung. NVLink und NVSwitch ermöglichen dabei in entsprechenden Plattformen eine schnelle Kommunikation zwischen den GPUs.

Für Unternehmen bedeutet das: Die Serverarchitektur kann anhand von Modellgröße, Speicherbedarf, Trainings- oder Inferenzanforderungen und gewünschter Skalierung ausgewählt werden, statt lediglich die Anzahl der GPUs zu betrachten.

Von einzelnen GPU-Servern bis zur Cluster-Architektur

Ein weiterer Vorteil liegt in der Skalierbarkeit der Plattformen. Supermicro bietet nicht nur einzelne GPU-Server, sondern auch Architekturen für größere AI-Cluster und Rack-Scale-Umgebungen.

Dabei können Compute Nodes, GPU-Interconnects, Cluster-Netzwerk und Storage gemeinsam geplant werden. Für Scale-out-Architekturen lassen sich je nach Plattform und Anforderung beispielsweise InfiniBand- oder leistungsfähige Ethernet-Netzwerke integrieren.

Das ist insbesondere beim Distributed Training relevant: Werden Berechnungen über mehrere Server verteilt, entscheidet die Kommunikationsinfrastruktur wesentlich darüber mit, wie effizient zusätzliche GPUs tatsächlich genutzt werden können.

Hohe Leistungsdichte erfordert passende Kühlung

Mit steigender GPU-Dichte wachsen auch Leistungsaufnahme und Abwärme. Die Kühlungsarchitektur wird dadurch zu einem wesentlichen Bestandteil der GPU-Infrastruktur.

Supermicro bietet sowohl luftgekühlte als auch Direct-Liquid-Cooling-Systeme für leistungsfähige GPU-Plattformen. Flüssigkeitsgekühlte Architekturen ermöglichen insbesondere bei hoher Leistungsdichte kompaktere GPU-Konfigurationen und eine gezielte Abfuhr der entstehenden Wärme.

Welche Kühlungsarchitektur sinnvoll ist, hängt von GPU-Plattform, Rack-Dichte, verfügbarer Stromversorgung, bestehender Rechenzentrumsinfrastruktur und der geplanten Skalierung ab.

Infrastruktur statt isolierter GPU-Server

Für größere KI-Umgebungen sollte deshalb nicht der einzelne GPU-Server im Mittelpunkt stehen. Entscheidend ist die vollständige Infrastruktur aus Compute, GPU-Interconnect, Netzwerk, Storage, Stromversorgung und Kühlung.

Supermicro stellt dafür Server- und Rack-Plattformen sowie entsprechende Infrastrukturbausteine bereit. LEITWERK kann darauf aufbauend die konkrete Umgebung für den jeweiligen Unternehmens-Workload planen, integrieren und betreiben.

So entsteht keine standardisierte GPU-Konfiguration, sondern eine Infrastruktur, deren Komponenten auf Training, Inferenz, Modellgröße, Performanceanforderungen und die geplante Skalierung abgestimmt werden.

Die wichtigsten Komponenten eines Supermicro GPU-Clusters

Ein leistungsfähiger GPU-Cluster benötigt mehr als schnelle GPUs. Die einzelnen Infrastrukturkomponenten müssen aufeinander abgestimmt werden.

Typische Herausforderungen bei GPU-Clustern

GPU-Cluster bieten hohe Rechenleistung, stellen jedoch besondere Anforderungen an Planung und Betrieb.

• Speicherengpässe: Große Modelle benötigen erhebliche Mengen GPU-Speicher. Reicht der VRAM nicht aus oder ist die Speicherbandbreite zu gering, kann dies die Performance begrenzen.
• Netzwerk-Bottlenecks: Beim verteilten Training und bei Multi-GPU-Workloads müssen große Datenmengen zwischen den GPUs übertragen werden. Eine unzureichende Netzwerkarchitektur kann deshalb die Skalierung begrenzen.
• Storage-Bottlenecks: Werden Trainingsdaten nicht schnell genug bereitgestellt, bleiben leistungsfähige GPUs teilweise ungenutzt.
• Kühlung und Energieversorgung: Hohe GPU-Dichten stellen erhebliche Anforderungen an Stromversorgung und Kühlung. Diese Infrastruktur muss bereits bei der Clusterplanung berücksichtigt werden.
• GPU-Auslastung: Ungeeignetes Scheduling oder eine falsche Ressourcenverteilung kann dazu führen, dass GPUs trotz vorhandener Workloads nicht effizient genutzt werden.
• Skalierung: Mit steigender Anzahl von GPUs wächst die Komplexität der Kommunikation und Administration. Eine Verdopplung der GPU-Anzahl führt deshalb nicht automatisch zu einer Verdopplung der Anwendungsperformance.
  
  

Einsatzbereiche für Supermicro GPU-Cluster im Unternehmen

GPU-Cluster können in zahlreichen KI- und datenintensiven Anwendungen eingesetzt werden.

• Large Language Models und generative KI: Unternehmen können LLMs trainieren, Fine-Tuning durchführen oder bestehende Modelle für interne und externe Anwendungen bereitstellen. GPU-Infrastruktur ermöglicht dabei die notwendige Rechenleistung und Speicherbandbreite für anspruchsvolle Modelle.
• Computer Vision: Training und Inference von Modellen für Bild- und Videoanalyse profitieren von GPU-Beschleunigung. Typische Anwendungen sind Qualitätsprüfung, Objekterkennung oder Analyse großer Bilddatenbestände.
• Natural Language Processing und Chatbots: Sprachmodelle für Kundenservice, Wissensmanagement oder Assistenzsysteme benötigen insbesondere bei vielen parallelen Nutzern eine leistungsfähige Inference-Infrastruktur.
• Predictive Analytics: Große Datenbestände aus Produktion, Vertrieb oder anderen Unternehmensbereichen lassen sich mithilfe beschleunigter Machine-Learning-Verfahren analysieren.
• Industrie 4.0: KI-Systeme können Sensor-, Maschinen- und Bilddaten aus Produktionsumgebungen verarbeiten und beispielsweise für Predictive Maintenance oder Qualitätskontrolle einsetzen.
  
  

Supermicro GPU-Cluster planen, bauen und betreiben mit LEITWERK

Ein leistungsfähiger GPU-Cluster entsteht nicht allein durch die Auswahl möglichst schneller GPUs.

Rechenleistung, GPU-Speicher, Speicherbandbreite, Interconnects, Netzwerk, Storage, Energieversorgung, Kühlung und Software müssen auf den jeweiligen KI-Workload abgestimmt werden.

Die LEITWERK AG unterstützt Unternehmen bei Planung, Aufbau und Betrieb moderner GPU-Infrastrukturen.

Unser Vorgehen

So entsteht eine GPU-Infrastruktur, die nicht nur hohe theoretische Rechenleistung bietet, sondern auf die tatsächlichen Anforderungen der eingesetzten KI-Anwendungen abgestimmt ist.

Jetzt zu GPU-Clustern beraten lassen >