Zwei Karten, zwei Modelle: Warum 27 Milliarden Parameter nicht auf jede GPU passen
In den LinkedIn-Posts der letzten Tage stand die Architektur: ein 27B-Modell auf einer Radeon AI PRO R9700, ein 9B-Modell auf einer RTX 4070, davor ein Router, der pro Anfrage entscheidet, welche Karte arbeitet. Was dort fehlte, war das Warum. Warum nicht ein Modell auf einer Karte? Warum nicht das große Modell überall?
Die Antwort ist keine Geschmacksfrage. Sie ist eine Rechnung aus drei Größen: Gewichte, KV-Cache, und die Zeit, die ein Prefill braucht. Und sie endet mit einer Regel, die man beim ersten Hinsehen für einen Fehler hält.
Der Speicher ist die erste Grenze
Ein Modell in 4-Bit-Quantisierung braucht grob die Hälfte seiner Parameterzahl in Gigabyte. 27 Milliarden Parameter ergeben etwa 16 GB Gewichte, 9 Milliarden etwa 7 GB. Das ist der Teil, den jeder kennt.
Auf der Radeon mit 32 GB passt das 27B-Modell. Auf der 4070 mit 12 GB passt es nicht — 16 GB Gewichte in einer 12-GB-Karte geht nicht, unabhängig von der Quantisierung. Damit ist die Aufteilung aber noch nicht erklärt, denn das 9B-Modell würde auf beiden Karten laufen. Es steht trotzdem auf der kleineren, und das ist die eigentliche Entscheidung.
Der KV-Cache wächst mit dem Kontext — und mit den Layern
Der Grund liegt im KV-Cache. Jedes Token, das ein Modell verarbeitet, hinterlässt einen Eintrag pro Layer und pro Attention-Kopf. Dieser Cache wächst linear mit der Kontextlänge — und er wächst mit der Layerzahl des Modells.
Das 27B hat ungefähr doppelt so viele Layer wie das 9B. Bei gleicher Kontextlänge kostet es also etwa den doppelten KV-Cache. Bei 131.000 Token Kontext sind das keine Rundungsfehler mehr, sondern zweistellige Gigabyte.
Im laufenden Betrieb sieht das so aus, gemessen über den GPU-Monitor des Hosts:
| Kenngröße | Radeon AI PRO R9700 | RTX 4070 |
|---|---|---|
| Modell | Qwen3.8-27B, UD-Q4_K_XL | Qwen3.5-9B, Q5_K_M |
| Kontextfenster | 131.072 | 131.072 |
| VRAM belegt | 29,66 GB von 32 GB (86,7 %) | 10,69 GB von 12 GB (83,0 %) |
| Slots | 1 | 1 |
Die Radeon ist mit einem einzigen Modell zu 87 Prozent voll. Da ist kein Platz für ein zweites Modell, keine Reserve für ein größeres Quant, und schon gar nicht für einen zweiten Slot. Der Speicher ist nicht „ausreichend belegt" — er ist der Grund, warum dieses Modell genau dort und nirgends sonst läuft.
Das beantwortet nebenbei die Upgrade-Frage: Q5 oder Q6 für das 27B würde mehr Gewicht und mehr Cache pro Token bedeuten. Bei 87 Prozent Belegung ist das keine Option, sondern ein Out-of-Memory.
Die Geschwindigkeit dreht die Regel um
Jetzt der Teil, der die Aufteilung interessant macht. Wenn das große Modell auf der starken Karte läuft, würde man erwarten, dass lange Dokumente dorthin gehen. Genau das war die erste Regel — und sie war falsch.
Der Head-to-Head-Test bei rund 40.000 Token Kontext, gleiche Aufgabe, beide Modelle:
| Kenngröße | 9B auf RTX 4070 | 27B auf Radeon |
|---|---|---|
| Prefill (Prompt-Verarbeitung) | 3.565 tok/s | 1.033 tok/s |
| Ergebnis | richtig | richtig |
| Faktor | — | 3,4× langsamer |
Beide Modelle haben die Aufgabe korrekt gelöst. Der Unterschied lag ausschließlich in der Zeit: Das 27B braucht für denselben langen Prompt 3,4-mal so lange. Nicht weil die Karte schwächer ist — die Radeon ist die deutlich stärkere Karte — sondern weil doppelt so viele Layer doppelt so viel Rechenarbeit pro Token bedeuten. Der KV-Cache ist nicht nur größer, er muss auch öfter durchlaufen werden.
Ein früherer Testlauf hatte dem 27B bei 40k eine falsche Antwort attestiert. Das war ein Testartefakt — die Aufgabe war nicht eindeutig formuliert, und beide Modelle rieten. Im validen Needle-Test mit klar markierter Zielstelle lagen beide bei 3 von 3 richtig. Die Qualitätsaussage war also nie belegt; die Performanceaussage ist es.
Die Konsequenz steht seit dem 16. November in der Router-Konfiguration: Die Regel long_context zeigt nicht mehr auf das 27B, sondern auf das 9B. Wer ein langes Dokument einreicht, landet auf der kleineren Karte — weil sie dasselbe Ergebnis in einem Drittel der Zeit liefert.
Sechs Regeln, kein Entscheidungsmodell
Der Router arbeitet mit statischen Regeln, nicht mit einem Modell, das die Anfrage semantisch einordnet. Das ist eine bewusste Entscheidung. Der aktuelle Stand:
| Priorität | Regel | Auslöser | Ziel |
|---|---|---|---|
| 320 | vision | Bild im Input | 27B |
| 310 | deep_thinking | Keyword „denk genau nach" | 27B |
| 290 | extraction_bulk | Extraktions-Keywords | 9B |
| 260 | code_heavy | Code-Keywords | 27B |
| 250 | long_context | Kontext 33k–131k | 9B |
| 240 | lane_fast | Metadaten-Flag | 9B |
| 100 | default-route | Catch-all | 9B zuerst |
Vision und Code bleiben auf dem 27B, weil dort die Qualität den Zeitnachteil aufwiegt. Extraktion und lange Kontexte gehen auf das 9B, weil dort das Gegenteil gilt. Und der Catch-all liegt auf dem 9B, weil die meisten Anfragen kurz sind und die kleine Karte schneller antwortet.
Warum eine Auslastungsanzeige dazugehört
Eine Routing-Regel, die niemand nachmisst, ist eine Behauptung. Deshalb läuft seit dem 19. November ein eigener Monitor für die drei GPU-VMs auf dem Host — kein Agent in den VMs, sondern ein lesender Sammelzyklus über den QEMU-Guest-Agent, alle zwei Sekunden, drei Abfragen parallel.
Der Monitor zeigt pro Karte: Auslastung mit Fünf-Minuten-Verlauf, VRAM-Belegung, Temperatur, Leistungsaufnahme, Takt und die laufenden GPU-Prozesse mit ihrem Speicheranteil. Zwei Momentaufnahmen aus dem laufenden Betrieb, 13 Sekunden auseinander:
| 14:22:01 | Radeon | RTX 4070 |
|---|---|---|
| Auslastung | 2 % | 94 % |
| Leistung | 16 W | 190 W |
| Temperatur | 31 °C | 52 °C |
| 14:22:14 | Radeon | RTX 4070 |
|---|---|---|
| Auslastung | 100 % | 0 % |
| Leistung | 325 W | 14,6 W |
| Temperatur | 87 °C | 37 °C |
In 13 Sekunden wanderte die gesamte Last von der kleinen auf die große Karte. Genau das soll der Router tun: nicht beide Karten gleichzeitig beschäftigen, sondern die Arbeit dorthin schicken, wo sie am besten passt. Ohne die Anzeige wäre das eine Annahme. Mit ihr ist es ein Messwert.
Die Anzeige hat nebenbei drei Dinge sichtbar gemacht, die vorher nur vermutet waren:
- Die Radeon läuft im Leerlauf bei 26 MHz. Das ist kein Defekt, sondern AMDs Energiesparzustand — unter Last geht sie auf 2.795 MHz. Wer die Zahl im Leerlauf sieht und einen Hardwarefehler vermutet, liegt falsch.
- Unter Volllast erreicht die Radeon 87 °C. Das ist der heißeste Wert im System und deutlich mehr als die 52 °C der 4070. Für Dauerbetrieb ein Punkt, den man im Auge behalten muss — nicht akut kritisch, aber auch nicht ignorierbar.
- Die T1000 meldet keine Leistungsaufnahme.
nvidia-smiliefert für diese Karte[N/A], weil sie keinen Sensor hat. Die Anzeige schreibt dann „–" statt eine Zahl zu erfinden. Eine Messlücke, die als Messlücke gekennzeichnet ist, ist brauchbar; eine geschätzte Zahl wäre es nicht.
Was noch getestet wird
Der Stack läuft, aber er ist nicht fertig. Diese Messungen stehen aus:
- Kontextlänge bis zum Überlauf. Der 27B passt bei 131k Kontext gerade noch in die 32 GB. Ab welcher Länge schiebt llama.cpp Teile des KV-Cache in den Host-RAM — und wie stark bricht die Geschwindigkeit dort ein? Der Test läuft bei 64k, 80k, 100k und 131k mit identischer Aufgabe. Die 80k-Marke ist der Verdachtspunkt.
- Qualität pro Route. Der 40k-Test hat gezeigt, dass beide Modelle bei einer klaren Aufgabe gleich gut antworten. Offen ist, ob das bei 131k noch gilt. Falls die Qualität des 9B bei sehr langen Kontexten einbricht, muss die
long_context-Regel wieder auf das 27B zurück — dann aber mit bekannter Zeitstrafe statt mit Vermutung. - Nebenläufigkeit. Jedes Modell hat einen Slot. Zwei gleichzeitige Anfragen an dieselbe Route stehen in der Warteschlange. Ab welcher Last ist es schneller, die zweite Anfrage auf die andere Karte umzuleiten, obwohl das Modell dort kleiner ist? Das ist eine Abwägung zwischen Modellqualität und Wartezeit, und sie ist bisher nicht gemessen.
- Energie pro Anfrage. Die früheren Messungen ergaben 167 W im Schnitt und 4 kWh pro Tag für das Gesamtsystem. Was fehlt, ist die Zuordnung: Wie viel Strom kostet eine Anfrage auf der 9B-Route im Vergleich zur 27B-Route? Der Monitor liefert die Leistungsdaten, die Router-Logs die Zuordnung — beides zusammenzuführen ist der nächste Schritt.
- MTP unter Last. Das 27B nutzt Speculative Decoding mit einer Trefferquote von 48 bis 53 Prozent im Einzeltest. Ob diese Quote bei Nebenläufigkeit und langen Kontexten hält, ist offen. Fällt sie, verschwindet der Geschwindigkeitsvorteil, der die Technik rechtfertigt.
- Ein Entscheidungsmodell statt Regeln. Der Router arbeitet mit statischen Regeln, weil das verfügbare Entscheidungsmodell (Laya, 380M Parameter) ein 8.192-Token-Fenster hat und im Zero-Shot-Test 0,36 erreichte — bei einem Router, der über 131k-Kontexte entscheiden soll, ist das unbrauchbar. Die Regeln bleiben, bis ein Modell mit ausreichendem Fenster und belastbarer Trefferquote verfügbar ist. Ein schlechter Klassifikator ist keine Verbesserung gegenüber einem Keyword.
Was das für Kunden heißt
Die Aufteilung ist kein Homelab-Spleen. Sie ist die Frage, die jedes Unternehmen mit eigener KI-Hardware trifft: Welches Modell gehört auf welche Karte? Und die Antwort ist fast nie „das größte Modell überall".
Wer 40.000 Token Vertragstext zusammenfassen will, ist auf der 9B-Karte dreimal so schnell bedient wie auf der 27B-Karte — bei gleicher Qualität. Wer Code reviewen lässt, braucht das 27B. Wer beides auf einer Karte unterbringen will, braucht eine Karte, die beides gleichzeitig hält, und bezahlt sie mit Strom, Wärme und Geld.
Die Regel lautet nicht „großes Modell auf große Karte". Sie lautet: das Modell, das die Aufgabe löst, auf der Karte, die es ohne Wartezeit schafft. Das herauszufinden ist Messarbeit, keine Einkaufsentscheidung.
Alle Messwerte aus dem laufenden System am 19. November 2026: GPU-Auslastung, VRAM, Temperatur und Leistung über den GPU-Monitor des Hosts (QEMU-Guest-Agent, 2-Sekunden-Intervall); Prefill-Werte aus dem Head-to-Head-Test vom 16. November 2026 bei 40.545 Token Kontext; Stromverbrauch des Gesamtsystems (167 W Schnitt, 4 kWh/Tag) aus der Messung vom 11. bis 13. November 2026.
Fragen oder ein Anwendungsfall im eigenen Haus? Erstgespräch vereinbaren.