← Wissens-Hub
19. November 2026 9 Min Lesezeit Infrastruktur

Zwei Karten, zwei Modelle: Warum 27 Milliarden Parameter nicht auf jede GPU passen

In den LinkedIn-Posts der letzten Tage stand die Architektur: ein 27B-Modell auf einer Radeon AI PRO R9700, ein 9B-Modell auf einer RTX 4070, davor ein Router, der pro Anfrage entscheidet, welche Karte arbeitet. Was dort fehlte, war das Warum. Warum nicht ein Modell auf einer Karte? Warum nicht das große Modell überall?

Die Antwort ist keine Geschmacksfrage. Sie ist eine Rechnung aus drei Größen: Gewichte, KV-Cache, und die Zeit, die ein Prefill braucht. Und sie endet mit einer Regel, die man beim ersten Hinsehen für einen Fehler hält.

Der Speicher ist die erste Grenze

Ein Modell in 4-Bit-Quantisierung braucht grob die Hälfte seiner Parameterzahl in Gigabyte. 27 Milliarden Parameter ergeben etwa 16 GB Gewichte, 9 Milliarden etwa 7 GB. Das ist der Teil, den jeder kennt.

Auf der Radeon mit 32 GB passt das 27B-Modell. Auf der 4070 mit 12 GB passt es nicht — 16 GB Gewichte in einer 12-GB-Karte geht nicht, unabhängig von der Quantisierung. Damit ist die Aufteilung aber noch nicht erklärt, denn das 9B-Modell würde auf beiden Karten laufen. Es steht trotzdem auf der kleineren, und das ist die eigentliche Entscheidung.

Der KV-Cache wächst mit dem Kontext — und mit den Layern

Der Grund liegt im KV-Cache. Jedes Token, das ein Modell verarbeitet, hinterlässt einen Eintrag pro Layer und pro Attention-Kopf. Dieser Cache wächst linear mit der Kontextlänge — und er wächst mit der Layerzahl des Modells.

Das 27B hat ungefähr doppelt so viele Layer wie das 9B. Bei gleicher Kontextlänge kostet es also etwa den doppelten KV-Cache. Bei 131.000 Token Kontext sind das keine Rundungsfehler mehr, sondern zweistellige Gigabyte.

Im laufenden Betrieb sieht das so aus, gemessen über den GPU-Monitor des Hosts:

KenngrößeRadeon AI PRO R9700RTX 4070
ModellQwen3.8-27B, UD-Q4_K_XLQwen3.5-9B, Q5_K_M
Kontextfenster131.072131.072
VRAM belegt29,66 GB von 32 GB (86,7 %)10,69 GB von 12 GB (83,0 %)
Slots11

Die Radeon ist mit einem einzigen Modell zu 87 Prozent voll. Da ist kein Platz für ein zweites Modell, keine Reserve für ein größeres Quant, und schon gar nicht für einen zweiten Slot. Der Speicher ist nicht „ausreichend belegt" — er ist der Grund, warum dieses Modell genau dort und nirgends sonst läuft.

Das beantwortet nebenbei die Upgrade-Frage: Q5 oder Q6 für das 27B würde mehr Gewicht und mehr Cache pro Token bedeuten. Bei 87 Prozent Belegung ist das keine Option, sondern ein Out-of-Memory.

Die Geschwindigkeit dreht die Regel um

Jetzt der Teil, der die Aufteilung interessant macht. Wenn das große Modell auf der starken Karte läuft, würde man erwarten, dass lange Dokumente dorthin gehen. Genau das war die erste Regel — und sie war falsch.

Der Head-to-Head-Test bei rund 40.000 Token Kontext, gleiche Aufgabe, beide Modelle:

Kenngröße9B auf RTX 407027B auf Radeon
Prefill (Prompt-Verarbeitung)3.565 tok/s1.033 tok/s
Ergebnisrichtigrichtig
Faktor—3,4× langsamer

Beide Modelle haben die Aufgabe korrekt gelöst. Der Unterschied lag ausschließlich in der Zeit: Das 27B braucht für denselben langen Prompt 3,4-mal so lange. Nicht weil die Karte schwächer ist — die Radeon ist die deutlich stärkere Karte — sondern weil doppelt so viele Layer doppelt so viel Rechenarbeit pro Token bedeuten. Der KV-Cache ist nicht nur größer, er muss auch öfter durchlaufen werden.

Ein früherer Testlauf hatte dem 27B bei 40k eine falsche Antwort attestiert. Das war ein Testartefakt — die Aufgabe war nicht eindeutig formuliert, und beide Modelle rieten. Im validen Needle-Test mit klar markierter Zielstelle lagen beide bei 3 von 3 richtig. Die Qualitätsaussage war also nie belegt; die Performanceaussage ist es.

Die Konsequenz steht seit dem 16. November in der Router-Konfiguration: Die Regel long_context zeigt nicht mehr auf das 27B, sondern auf das 9B. Wer ein langes Dokument einreicht, landet auf der kleineren Karte — weil sie dasselbe Ergebnis in einem Drittel der Zeit liefert.

Sechs Regeln, kein Entscheidungsmodell

Der Router arbeitet mit statischen Regeln, nicht mit einem Modell, das die Anfrage semantisch einordnet. Das ist eine bewusste Entscheidung. Der aktuelle Stand:

PrioritätRegelAuslöserZiel
320visionBild im Input27B
310deep_thinkingKeyword „denk genau nach"27B
290extraction_bulkExtraktions-Keywords9B
260code_heavyCode-Keywords27B
250long_contextKontext 33k–131k9B
240lane_fastMetadaten-Flag9B
100default-routeCatch-all9B zuerst

Vision und Code bleiben auf dem 27B, weil dort die Qualität den Zeitnachteil aufwiegt. Extraktion und lange Kontexte gehen auf das 9B, weil dort das Gegenteil gilt. Und der Catch-all liegt auf dem 9B, weil die meisten Anfragen kurz sind und die kleine Karte schneller antwortet.

Warum eine Auslastungsanzeige dazugehört

Eine Routing-Regel, die niemand nachmisst, ist eine Behauptung. Deshalb läuft seit dem 19. November ein eigener Monitor für die drei GPU-VMs auf dem Host — kein Agent in den VMs, sondern ein lesender Sammelzyklus über den QEMU-Guest-Agent, alle zwei Sekunden, drei Abfragen parallel.

Der Monitor zeigt pro Karte: Auslastung mit Fünf-Minuten-Verlauf, VRAM-Belegung, Temperatur, Leistungsaufnahme, Takt und die laufenden GPU-Prozesse mit ihrem Speicheranteil. Zwei Momentaufnahmen aus dem laufenden Betrieb, 13 Sekunden auseinander:

14:22:01RadeonRTX 4070
Auslastung2 %94 %
Leistung16 W190 W
Temperatur31 °C52 °C
14:22:14RadeonRTX 4070
Auslastung100 %0 %
Leistung325 W14,6 W
Temperatur87 °C37 °C

In 13 Sekunden wanderte die gesamte Last von der kleinen auf die große Karte. Genau das soll der Router tun: nicht beide Karten gleichzeitig beschäftigen, sondern die Arbeit dorthin schicken, wo sie am besten passt. Ohne die Anzeige wäre das eine Annahme. Mit ihr ist es ein Messwert.

Die Anzeige hat nebenbei drei Dinge sichtbar gemacht, die vorher nur vermutet waren:

Was noch getestet wird

Der Stack läuft, aber er ist nicht fertig. Diese Messungen stehen aus:

Was das für Kunden heißt

Die Aufteilung ist kein Homelab-Spleen. Sie ist die Frage, die jedes Unternehmen mit eigener KI-Hardware trifft: Welches Modell gehört auf welche Karte? Und die Antwort ist fast nie „das größte Modell überall".

Wer 40.000 Token Vertragstext zusammenfassen will, ist auf der 9B-Karte dreimal so schnell bedient wie auf der 27B-Karte — bei gleicher Qualität. Wer Code reviewen lässt, braucht das 27B. Wer beides auf einer Karte unterbringen will, braucht eine Karte, die beides gleichzeitig hält, und bezahlt sie mit Strom, Wärme und Geld.

Die Regel lautet nicht „großes Modell auf große Karte". Sie lautet: das Modell, das die Aufgabe löst, auf der Karte, die es ohne Wartezeit schafft. Das herauszufinden ist Messarbeit, keine Einkaufsentscheidung.


Alle Messwerte aus dem laufenden System am 19. November 2026: GPU-Auslastung, VRAM, Temperatur und Leistung über den GPU-Monitor des Hosts (QEMU-Guest-Agent, 2-Sekunden-Intervall); Prefill-Werte aus dem Head-to-Head-Test vom 16. November 2026 bei 40.545 Token Kontext; Stromverbrauch des Gesamtsystems (167 W Schnitt, 4 kWh/Tag) aus der Messung vom 11. bis 13. November 2026.

Fragen oder ein Anwendungsfall im eigenen Haus? Erstgespräch vereinbaren.