HilbertRaum
DE EN
GitHub ↗ Auf die Warteliste
Benchmark

Wie gut antworten KI-Modelle, die auf dem eigenen Rechner laufen?

Wir haben 29 Modellvarianten durch denselben Test geschickt, auf Deutsch und Englisch. Alle laufen auf einem Rechner mit 8 bis 32 GB Arbeitsspeicher oder auf einer einzelnen Grafikkarte mit bis zu 24 GB. Gemessen wird die Qualität der Antworten, nicht die Geschwindigkeit.

Was
Antwortqualität, 0 bis 100 Punkte
Welche Modelle
Offene Modelle, Dateien von 0,6 bis 22 GB
Nicht dabei
Geschwindigkeit, Modelle über 24 GB
Auf einen Blick

Was die Ergebnisse zeigen

Bestes Modell im Test

Gemma 4 31B: 94,6

Die höchste Punktzahl im Test. Die Datei ist 17,7 GB groß, dafür braucht es einen Rechner mit 24 GB Speicher oder mehr.

Bestes Modell für 16 GB RAM

Gemma 4 12B: 89,5

Eine 7-GB-Datei, die auf einem Rechner mit 16 GB läuft und rund 5 Punkte hinter dem besten Modell im Test liegt.

Komprimierung

Kleine Schritte kosten wenig

Qwen3.8 27B erreicht 89,9, 90,0 und 90,1 mit Q4, Q5 und Q6. Auf Q2 zusammengedrückt fällt es auf 86,4.

Alle Ergebnisse

29 Modellvarianten, nach Antwortqualität

Qualität als Punktzahl von 0 bis 100. Die Spalten Deutsch und Englisch umfassen die Aufgaben, die es in beiden Sprachen gibt. Wähle deinen Rechner und sieh, welche Modelle darauf laufen.

Dein Rechner

#ModellVarianteDateiRAM abVRAM abQualitätDeutschEnglisch
1 Gemma 4 31B zu groß Q4_0 QAT 17,7 GB 24 GB 22 GB 94,6 95,4 95,8
2 Qwen3.6 27B zu groß Q4_K_M 16,8 GB 20 GB 19 GB 92,8 92,7 94,0
3 Qwen3.5 27B zu groß UD-Q4_K_XL 17,6 GB 24 GB 19 GB 92,7 93,2 94,5
4 Qwen3.6 27B zu groß Q5_K_M 19,5 GB 24 GB 21 GB 92,6 92,2 94,0
5 Gemma 4 26B-A4B zu groß Q4_0 QAT 14,4 GB 20 GB 17 GB 90,5 90,6 91,5
6 Qwen3.8 27B zu groß UD-Q6_K 22,0 GB 26 GB 23 GB 90,1 88,9 91,7
7 Qwen3.8 27B zu groß UD-Q5_K_M 19,8 GB 23 GB 22 GB 90,0 88,2 92,3
8 Qwen3.6 35B-A3B zu groß UD-Q4_K_XL 22,4 GB 24 GB 23 GB 90,0 90,2 90,4
9 Qwen3.8 27B zu groß UD-Q4_K_M 16,5 GB 21 GB 19 GB 89,9 88,8 91,2
10 Gemma 4 12B 16 GB RAM, knapp Q4_0 QAT 7,0 GB 14 GB 10 GB 89,5 87,5 92,0
11 Qwen3.5 35B-A3B zu groß UD-Q4_K_XL 22,2 GB 24 GB 23 GB 89,2 88,6 90,9
12 Qwen3 14B 16 GB RAM, knapp Q4_K_M 9,0 GB 14 GB 12 GB 87,4 86,9 89,5
13 Qwen3.8 27B 16 GB RAM, knapp UD-Q2_K_XL 9,8 GB 14 GB 12 GB 86,4 86,6 86,2
14 Qwen3.5 9B 16 GB RAM UD-Q4_K_XL 6,0 GB 12 GB 8 GB 86,1 84,6 89,0
15 Qwen3.5 9B 16 GB RAM, knapp Q8_0 9,5 GB 14 GB 11 GB 85,9 85,0 87,8
16 Qwen3.5 9B 16 GB RAM UD-Q3_K_XL 5,1 GB 12 GB 7 GB 83,2 82,0 86,5
17 Gemma 4 E4B 16 GB RAM Q4_0 QAT 5,2 GB 12 GB 6 GB 82,9 80,9 85,1
18 Qwen3 4B 2507 16 GB RAM Q4_K_M 2,5 GB 8 GB 5 GB 82,0 81,6 87,2
19 Qwen3 30B-A3B zu groß Q4_K_M 18,6 GB 24 GB 20 GB 79,5 78,3 81,3
20 Granite 4.1 8B 16 GB RAM Q4_K_M 5,3 GB 12 GB 9 GB 79,0 79,3 82,8
21 Qwen3 8B 16 GB RAM Q4_K_M 5,0 GB 12 GB 8 GB 77,2 71,6 82,8
22 Qwen3.5 4B 16 GB RAM UD-Q4_K_XL 2,9 GB 8 GB 5 GB 76,9 75,3 77,3
23 Qwen3 4B 16 GB RAM Q4_K_M 2,5 GB 8 GB 5 GB 76,2 74,5 78,7
24 Granite 4.2 8B 16 GB RAM Q4_K_M 5,3 GB 12 GB 9 GB 74,5 71,3 78,0
25 Gemma 4 E2B 16 GB RAM Q4_0 QAT 3,3 GB 8 GB 4 GB 73,7 70,2 75,6
26 Ministral 3 14B 16 GB RAM, knapp Q4_K_M 8,2 GB 14 GB 11 GB 72,5 67,4 75,0
27 Ministral 3 8B 16 GB RAM Q4_K_M 5,2 GB 12 GB 8 GB 64,7 60,9 65,0
28 Qwen3.5 2B 16 GB RAM UD-Q4_K_XL 1,3 GB 8 GB 4 GB 56,7 48,2 62,8
29 Qwen3.5 0.8B 16 GB RAM Q6_K 0,6 GB 8 GB 3 GB 39,4 36,2 43,3
Methodik

Wie wir messen

Was getestet wird

Sieben Aufgaben: Leseverständnis (Belebele), Allgemeinwissen (Global-MMLU-Lite), logisches Schließen (XNLI), Paraphrasen erkennen (PAWS-X), Fragen zu deutschen Texten beantworten (GermanQuAD), Textaufgaben in Mathematik (MGSM) und genaue Anweisungen befolgen (BenchMAX). Sechs der sieben laufen auf Deutsch und Englisch.

Wie viel

3.500 Aufgaben pro Modell. Die 2.200 Multiple-Choice-Fragen darunter werden ein zweites Mal ausgewertet: über die Wahrscheinlichkeit, die das Modell jedem Antwortbuchstaben gibt.

Wie gewertet wird

Jede Aufgabe ergibt eine Punktzahl von 0 bis 100, Deutsch und Englisch werden zuerst gemittelt. Die Gesamtpunktzahl ist der einfache Durchschnitt der sieben Aufgaben.

Welcher Rechner was schafft

Die RAM-Angaben sind die Anforderungen, mit denen die HilbertRaum-App arbeitet: das Minimum, damit ein Modell läuft, und die empfohlene Menge für entspanntes Arbeiten. Knapp heißt: Der Rechner hat das Minimum, aber nicht die empfohlene Menge. Die VRAM-Angabe ist gemessen: Für jedes Modell haben wir abgelesen, was die Laufzeit unter den Starteinstellungen der HilbertRaum-App auf der Grafikkarte belegen will, und 1,75 GB dazugerechnet: 1 GB, das die Laufzeit auf der Karte frei hält, und rund 0,75 GB, die das System auf den drei geprüften Rechnern selbst belegt hat. Ein Modell nahe an der Grenze passt auf deiner Karte womöglich trotzdem nicht ganz. Passt ein Modell nicht auf die Karte, läuft es trotzdem im RAM, nur langsamer. Bei fünf Varianten, die es in der App nicht gibt, stammen die RAM-Angaben vom App-Modell mit der ähnlichsten Dateigröße.

Aufbau

Ein Rechner mit RTX 3090 (24 GB), llama.cpp Build b12110, Kontext 32.768 Token, GGUF-Modelldateien, ein Durchlauf pro Modell. Die Studie wurde am 15. November 2026 abgeschlossen.

Was die Zahlen nicht sagen

Lokale KI ohne Einrichtung?

Das HilbertRaum Kit ist ein tragbarer USB-Stick mit App und Modellen an Bord. Trag dich in die Warteliste ein und erfahre, wann es lieferbar ist.