Wenn ein Sprachmodell trainiert, eine Simulation rechnet oder ein Inferenzdienst viele Anfragen gleichzeitig verarbeitet, entscheidet nicht allein die Größe des GPU-Speichers über die Geschwindigkeit. Beim Vergleich A100 vs H100 treffen zwei Rechenbeschleuniger aus unterschiedlichen Generationen aufeinander: Der A100 bleibt solide und oft günstiger, während der H100 bei modernen KI-Workloads deutlich mehr Reserven bietet.
Der H100 ist schneller, der A100 bleibt die wirtschaftlichere Alternative
- Leistung: Der H100 liefert je nach Workload bis zu ein Mehrfaches der A100-Rechenleistung.
- Architektur: Hopper bringt Transformer Engine und FP8-Unterstützung, Ampere setzt auf TF32, FP16 und BF16.
- Speicher: Beide Modelle sind häufig mit 80 GB erhältlich, der H100 nutzt jedoch schnelleres HBM3.
- Skalierung: Der H100 bietet bis zu 900 GB/s NVLink zwischen GPUs, der A100 bis zu 600 GB/s.
- Entscheidung: Für neue große Sprachmodelle empfehle ich den H100, für kleinere Modelle und preisbewusste Projekte oft den A100.
A100 vs H100 im direkten Vergleich
Der A100 basiert auf der Ampere-Architektur und kam 2020 auf den Markt. Der H100 gehört zur Hopper-Generation von 2022. Beide sind keine Gaming-Grafikkarten, sondern für Rechenzentren, wissenschaftliche Simulationen, Machine Learning und große Datenanalysen konzipiert.
Für eine faire Gegenüberstellung vergleiche ich zunächst die verbreiteten 80-GB-Varianten mit SXM-Anbindung. Bei PCIe-Karten fallen einzelne Werte niedriger aus, vor allem bei Speicherbandbreite, Energieaufnahme und GPU-zu-GPU-Kommunikation.
| Technische Eigenschaft | NVIDIA A100 80 GB SXM | NVIDIA H100 SXM |
|---|---|---|
| Architektur | Ampere | Hopper |
| GPU-Speicher | 80 GB HBM2e | 80 GB HBM3 |
| Speicherbandbreite | 2.039 GB/s | 3,35 TB/s |
| FP64 | 9,7 TFLOPS | 34 TFLOPS |
| FP32 | 19,5 TFLOPS | 67 TFLOPS |
| TF32 Tensor Core | bis zu 312 TFLOPS | bis zu 989 TFLOPS |
| FP16/BF16 Tensor Core | bis zu 624 TFLOPS | bis zu 1.979 TFLOPS |
| FP8 Tensor Core | nicht vorhanden | bis zu 3.958 TFLOPS |
| NVLink | bis zu 600 GB/s | bis zu 900 GB/s |
| Maximale TDP | 400 Watt | bis zu 700 Watt |
| MIG-Aufteilung | bis zu 7 Instanzen mit je 10 GB | bis zu 7 Instanzen mit je 10 GB |
Die Tensor-Core-Werte sind Spitzenwerte und können je nach Präzision sowie aktivierter struktureller Sparsity variieren. Für die Praxis ist deshalb nicht die höchste TFLOPS-Zahl allein entscheidend, sondern ob die eingesetzte Software die jeweilige Präzision tatsächlich nutzt.
Warum der H100 bei moderner KI deutlich schneller arbeitet
Der größte Unterschied steckt nicht in einer einzelnen technischen Zahl, sondern in der Kombination mehrerer Verbesserungen. Der H100 besitzt mehr Streaming Multiprocessors, schnellere Tensor Cores und eine höhere Speicherbandbreite. NVIDIA beschreibt für bestimmte Rechenoperationen einen theoretischen Vorsprung von ungefähr sechsfacher Rechenleistung gegenüber dem A100.
Transformer Engine und FP8
Für große Sprachmodelle ist die Transformer Engine besonders relevant. Sie kann zwischen FP8 und FP16 beziehungsweise BF16 wechseln, um Rechenzeit und Speicherverbrauch zu reduzieren, ohne jede Operation pauschal mit der niedrigsten Genauigkeit auszuführen.
Der A100 unterstützt FP16, BF16, TF32 und INT8, aber kein natives FP8. Das macht ihn keineswegs unbrauchbar. Bei älteren oder kleineren Modellen bleibt der Unterschied oft überschaubar, während moderne Transformer-Netzwerke besonders stark vom H100 profitieren.
Speicherbandbreite statt nur Rechenkerne
Viele Inferenzaufgaben sind speichergebunden. Das bedeutet, dass die GPU Daten schneller laden und verschieben muss, als sie arithmetische Operationen ausführt. Hier bringt der Sprung von rund 2,0 TB/s beim A100 auf 3,35 TB/s beim H100 einen spürbaren Vorteil.
Meine Erfahrung bei solchen Vergleichen ist, dass die Speicherbandbreite häufig unterschätzt wird. Ein Modell kann theoretisch genügend Rechenleistung haben und trotzdem langsam bleiben, wenn Gewichte oder der KV-Cache nicht schnell genug bewegt werden.
Training, Inferenz und HPC liefern unterschiedliche Ergebnisse
Die Frage, wie viel schneller der H100 wirklich ist, lässt sich nur mit Blick auf den konkreten Workload beantworten. Ein synthetischer Benchmark misst die maximal mögliche Rechenleistung. Eine echte Anwendung hängt zusätzlich von Modellgröße, Batch-Größe, Datenpipeline, Framework, Netzwerk und Kühlung ab.
Training großer Modelle
Beim Training profitiert der H100 von FP8, BF16, höherer Speicherbandbreite und schnellerer Kommunikation zwischen mehreren GPUs. In veröffentlichten MLPerf-Trainingsergebnissen erreichte der H100 bei bestimmten Aufgaben bis zu 6,7-mal mehr Leistung als der A100.
Dieser Wert ist kein allgemeines Versprechen für jedes Modell. Als praktische Orientierung ist ein Vorsprung von etwa zwei- bis dreifacher Trainingsgeschwindigkeit bei gut optimierten modernen Workloads realistischer. Der genaue Faktor kann darunterliegen, wenn die CPU, der Speicher oder die Datenübertragung zum Flaschenhals werden.
LLM-Inferenz
Bei der Inferenz, also der Nutzung eines bereits trainierten Modells, zählt vor allem die Latenz pro Anfrage und der Durchsatz bei vielen parallelen Nutzern. Der H100 ist hier besonders stark, weil FP8 den Speicherbedarf reduziert und die Tensor Cores große Matrixoperationen schneller ausführen.
Bei sehr großen Sprachmodellen können optimierte H100-Systeme laut NVIDIA gegenüber A100-Clustern eine bis zu 30-fache Inferenzleistung erreichen. Solche Werte beziehen sich auf spezielle Modellgrößen und komplette Systeme. Für einen einzelnen Dienst mit kleiner Batch-Größe ist der Abstand normalerweise deutlich kleiner.
Wissenschaftliche Berechnungen
Für klassische HPC-Aufgaben, etwa Molekulardynamik, Wettermodelle oder numerische Simulationen, ist FP64 wichtiger als FP8. Auch hier liegt der H100 klar vorn. Seine FP64-Leistung steigt gegenüber dem A100 von 9,7 auf 34 TFLOPS, zusätzlich beschleunigen spezielle DPX-Instruktionen bestimmte dynamische Algorithmen.
Wer jedoch eine Anwendung nutzt, die hauptsächlich auf gut optimierten A100-Kernels läuft, sollte vor dem Austausch messen. Ein neuer Chip kompensiert keine ineffiziente Parallelisierung oder eine schlecht angebundene Datenquelle.
Speicher, MIG und Serverformate entscheiden über die Praxistauglichkeit
Auf dem Datenblatt besitzen A100 und H100 häufig dieselbe Speicherkapazität von 80 GB. Das ist ein wichtiger Hinweis: Der H100 kann ein Modell nicht automatisch aufnehmen, das beim A100 wegen des Speichers scheitert. Sein Vorteil liegt vor allem in der Geschwindigkeit und in den neuen Rechenformaten.
Beim A100 kommt HBM2e zum Einsatz, beim H100 HBM3. HBM ist ein sehr schneller Stapelspeicher direkt auf dem Package der GPU. Für lange Sequenzen, große Batch-Größen und speicherintensive Inferenz sorgt die höhere Bandbreite des H100 dennoch für deutlich kürzere Antwortzeiten.
Lesen Sie auch: Predictive Maintenance - So vermeiden Sie teure Ausfälle!
PCIe oder SXM
Die Bauform wird oft übersehen. Eine SXM-GPU sitzt direkt auf einer Serverplattform und kann über NVLink sehr schnell mit anderen GPUs kommunizieren. Eine PCIe-Karte lässt sich flexibler in bestehende Server integrieren, erreicht aber meist niedrigere Werte bei Bandbreite und Energieversorgung.
| Variante | Stärke | Typischer Einsatz |
|---|---|---|
| A100 PCIe | Einfachere Integration, geringere Leistungsaufnahme | Bestehende Server, kleinere KI-Cluster |
| A100 SXM | Mehr Bandbreite und bessere Multi-GPU-Kommunikation | Training und HPC im Rechenzentrum |
| H100 PCIe | FP8 und Hopper-Funktionen in flexibler Kartenform | Inferenz und Training in zertifizierten Servern |
| H100 SXM | Maximale Leistung und 900 GB/s NVLink | Große Modelle und stark skalierte Systeme |
Beide Generationen unterstützen Multi-Instance GPU, kurz MIG. Damit lässt sich eine GPU in bis zu sieben voneinander isolierte Instanzen teilen. Das ist praktisch für Entwicklungsumgebungen, kleinere Inferenzdienste und mehrere Teams, bringt aber nicht automatisch mehr Gesamtleistung.
Kosten und Energie realistisch bewerten
Der H100 ist in der Anschaffung und Miete deutlich teurer. Gleichzeitig kostet er im Betrieb mehr Strom: Eine H100-SXM-Karte kann bis zu 700 Watt aufnehmen, während eine A100-SXM-Karte mit 400 Watt spezifiziert ist. Dazu kommen Anforderungen an Netzteile, Kühlung, Servergehäuse und Rack-Infrastruktur.
Der höhere Verbrauch bedeutet jedoch nicht automatisch höhere Kosten pro erledigtem Auftrag. Wenn ein H100 einen Trainingsjob beispielsweise 2,5-mal schneller abschließt, kann er trotz 1,75-facher Leistungsaufnahme weniger Energie pro Job benötigen. Entscheidend ist die Leistung pro Watt und pro Euro, nicht der Verbrauch im Leerlauf oder die TDP allein.
Für einen begrenzten Projektumfang würde ich einen gut erhaltenen A100 oder eine günstige Cloud-Instanz nicht vorschnell abschreiben. Für dauerhaft hohe Auslastung, große Modelle und kurze Entwicklungszyklen amortisiert sich der H100 dagegen eher, weil Wartezeiten und benötigte GPU-Stunden sinken.
Welche GPU ich für welchen Zweck wählen würde
- H100 für LLM-Training: Die Kombination aus FP8, Transformer Engine, höherer Rechenleistung und schnellerem NVLink rechtfertigt den Aufpreis bei großen Modellen.
- H100 für stark genutzte Inferenz: Hohe Parallelität, lange Kontexte und niedrige Latenz sprechen klar für Hopper.
- A100 für kleinere Modelle: Bei Computer Vision, klassischen Deep-Learning-Modellen und moderaten Batch-Größen reicht Ampere häufig aus.
- A100 für bestehende Infrastruktur: Wenn Server, Treiber und CUDA-Umgebung bereits stabil laufen, kann ein Austausch wirtschaftlich unsinnig sein.
- HPC nach Benchmark auswählen: Für FP64-Simulationen ist der H100 meist schneller, aber die konkrete Anwendung muss mit realen Eingabedaten getestet werden.
Ich würde vor einer Kaufentscheidung drei Messwerte erfassen: Tokens pro Sekunde, Zeit bis zum Abschluss eines Trainingsjobs und Energieverbrauch pro Aufgabe. Erst danach lohnt sich eine Rechnung mit Mietpreis, Strom, Kühlung und Auslastung.
Die wichtigste Entscheidung liegt zwischen Tempo und Gesamtkosten
Der H100 ist technisch die klar stärkere GPU. Seine Vorteile bei FP8, Speicherbandbreite, Tensor-Core-Leistung und Multi-GPU-Skalierung machen ihn zur besseren Wahl für große Sprachmodelle, produktive KI-Dienste und zeitkritische Forschung.
Der A100 bleibt interessant, wenn das Budget begrenzt ist, die Modelle in 40 oder 80 GB passen und vorhandene Software bereits gut auf Ampere abgestimmt ist. Für viele kleinere Projekte ist die zusätzliche H100-Leistung schlicht nicht notwendig.
Für eine Neuanschaffung im Jahr 2026 würde ich außerdem prüfen, ob ein aktuellerer Beschleuniger bei gleicher Systemgröße ein besseres Preis-Leistungs-Verhältnis bietet. Innerhalb dieses direkten Vergleichs bleibt die Faustregel aber einfach: A100 für solide KI-Leistung mit kontrollierten Kosten, H100 für maximale Geschwindigkeit und große Skalierung.
