Gemma 4 26B A4B
API-Anfrage fehlgeschlagen. Das Modell wurde nicht bewertet.
SprachmodellAktiv
Gemma 4 26B A4B
- Veröffentlicht
- 31. März 2026
- Datenstand
- 8. September 2026
- Benchmark-Meta-Score
- Weniger als acht Testreihen
- Preis
- Eingabe · Ausgabe / 1 Mio. Token
- Eingabe
- Text, Bild
- Ausgabe
- Text
Neu an Gemma 4 26B A4B ist die MoE-Verteilung. Die Modellkarte nennt 25,2 Milliarden Gesamtparameter, von denen pro Token nur 3,8 Milliarden aktiv sind. Das erklärt den geringeren Inferenzaufwand gegenüber dem dichten Gemma 4 31B und macht A4B nicht zu einer 4B-Gesamtgröße.
Die Gewichte stehen unter Apache 2.0. Google dokumentiert 256.000 Kontexttoken sowie Text- und Bildeingabe. Dieser Checkpoint bleibt ein Geschwistermodell, kein Nachfolger des 31B-Modells.
Technische Daten und Zugang
| Angabe | Wert und Quelle |
|---|---|
| Gewichte | Open WeightsQuelle |
| Zugang | API, LokalQuelle |
| Parameter | 25,2 Mrd.Quelle |
| Aktive Parameter | 3,8 Mrd.Quelle |
| Kontextfenster | 262.144 TokenQuelle |
| Knowledge Cutoff | Januar 2025Quelle |
| Veröffentlichung | 2026-03-31Quelle |
| Parameter | 25,2 Mrd.Quelle |
| Eingabe | Text, BildQuelle |
| Ausgabe | TextQuelle |
| Architektur | Mixture-of-experts transformer, 25.2B total and 3.8B active; hybrid sliding/global attentionQuelle |
| Lizenz | Apache 2.0Quelle |
| Wissensstand | 2025-01Quelle |
| Aktive Parameter | 3,8 Mrd.Quelle |
| Sprachen | 140+Quelle |
| Ankündigung | 2026-04-02Quelle |
Benchmark-Metaanalyse
Gesamt- und Bereichsscores
Diese Gradually-Indizes ordnen ausgewählte veröffentlichte Messwerte auf einer Skala von 0 bis 100 ein. Sie sind keine Prozentgenauigkeit und keine Garantie für ein Ergebnis in deiner Anwendung.
Abrufstände der verwendeten Quellen 2026-10-19 - 2026-10-19
Gesamtindex
Noch nicht genug unabhängige Werte für einen Score
Ein Gesamtwert braucht mindestens acht Testreihen.
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Testreihen
- 1
- Testfamilien
- 1 / 65
- Quellen
- 1
- Anteil am festen Testpanel (informativ)
- 1 %
Agenten
Index unter 1 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Standardfehler
- ± 0,1
- 95-%-Intervall
- 0,1 bis 0,5
- Testreihen
- 1
- Testfamilien
- 1 / 12
- Quellen
- 1
- Anteil am festen Testpanel (informativ)
- 8 %
Dokumentierte Methode · Einbezogene Testfamilien und Messwerte
Methodenfassung: benchmark-meta-score-v3
Es zählen aktive Messwerte aus geprüften Primärquellen, wenn mindestens fünf Modelle im selben dokumentierten Vergleichsschnitt aus Datensatz, Harness, Agent, Werkzeugen und Versuchsanzahl verglichen werden. Pro Benchmark-Reihe und Auswerter zählt ein gemeinsamer Setup-Schnitt aus dem neuesten Abruf. Bei mehreren ausdrücklich erfassten Reasoning-Stufen derselben Quelle und Testreihe zählt die höchste dokumentierte Stufe (none bis max), nicht der höchste Ergebniswert. Die ausdrückliche Quellenangabe „Non-reasoning“ entspricht none. Unbekannte oder mehrdeutige Stufen führen zum Ausschluss des Modells aus der betreffenden Reihe. Innerhalb jeder Reihe werden Prozentwerte und Quoten logit-transformiert, andere Einheiten bleiben unverändert, und anschließend werden alle Werte standardisiert. Ein Ein-Faktor-Modell schätzt daraus eine gemeinsame Leistungsstärke je Modell und je Reihe, wie deutlich sie zwischen den Modellen trennt. Bereichswerte weichen davon nur so weit ab, wie die eigenen Ergebnisse im Bereich es belegen. Der Gesamtwert gewichtet die Kernbereiche mit 75 % und Finanzen, Recht und Gesundheit mit 25 %. Er erfordert mindestens acht Testreihen aus zwei Quellen und drei Bereichen. Die Skala von 0 bis 100 bezieht sich auf eine feste Referenzgruppe aus 29 Sprachmodellen, deren Durchschnitt bei 50 liegt.
Veröffentlichte modellabhängige Parameter können abweichen. Das ist kein kontrolliertes Experiment; solche Vergleiche werden als vorläufig gekennzeichnet.
Nicht gemessene Reihen werden nicht als Nullwert eingesetzt. Fehlen einem Modell eigene Werte in einem Kernbereich, steht dort seine Gesamtstärke, und der Hinweis „geschätzt, ohne eigene Werte in …“ nennt den Bereich. Weniger Testreihen führen zu einem größeren Standardfehler.
Das 95-%-Intervall folgt aus dem Standardfehler von 200 Neuberechnungen mit zufällig neu gezogenen Testfamilien. Es beschreibt, wie genau die erfassten Testreihen den Wert festlegen. Es ist keine Prognose für künftige Aufgaben oder spätere Neuberechnungen mit anderen Teilnehmern.
Die Quellenzahl ist keine Anzahl unabhängiger Experimente.
OECD-Handbuch zu zusammengesetzten IndikatorenAlle 1 Testfamilien und 1 von 1 Rohmesswerten sind hier aufgeführt. Die vollständige Rechnung für alle Modelle enthält der JSON-Export.
Testfamilie: ITBench-AA (SRE)
Agenten · Mittleres Rangperzentil der Familie: 5,7 / 100Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-itbench-aa
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,89 %
- Rohwert:
- 23,6346516007533 %
- Messgröße:
- Average precision at full recall
- Version:
- AA cohort: 59 tasks
- Teilnehmende Modelle:
- 36
- Rangperzentil innerhalb der Kohorte:
- 5,7 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-itbench-aa:AA cohort: 59 tasks:standalone:reasoning:tokens=2000:suffix=Reasoning
- Reasoning-Stufe:
- Reasoning
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-itbench-aa","AA cohort: 59 tasks","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Harness:
- Artificial Analysis Stirrup
- Agent:
- Stirrup agent
- Werkzeugregeln:
- Shell access to an offline Kubernetes incident snapshot
- Versuche:
- Average precision at full recall, 3 repeats per task
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b, UUID 6e1b44ff-c227-496b-aef4-19b70cd18c76, reasoning=true, source reasoning-token configuration budget=2000, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
Exakte AA-Konfiguration: Gemma 4 26B A4B (Reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b, UUID 6e1b44ff-c227-496b-aef4-19b70cd18c76, reasoning=true, source reasoning-token configuration budget=2000, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Kennung des Quellmodells: artificial-analysis/6e1b44ff-c227-496b-aef4-19b70cd18c76/gemma-4-26b-a4b/gemma-4-26b-a4b. Name des Quellmodells: Gemma 4 26B A4B. Anbieter laut Quelle: Google. Modellstand: Gemma 4 26B A4B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 23,6 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Benchmarkquellen im Überblick
Jeder Auswerter misst andere Fähigkeiten unter eigenen Bedingungen. Testreihen, Gesamtindizes und ihre Komponenten bleiben getrennt. Die Ergebnisse darunter behalten ihre Skalen, Konfigurationen und Quelldaten.
| Auswerter | Testreihen | Gesamtindizes | Erfasste aktive Messwerte |
|---|---|---|---|
| Artificial Analysis | 4 | 1 | 11 |
Die Abdeckung ist keine Qualitätsrangliste. Überschneidende Tests und mehrere Einstellungen zählen nicht als unabhängige Versuche. Herstellerangaben, historische und strittige Ergebnisse bleiben außerhalb dieser Übersicht und sind in den Detailbelegen gekennzeichnet.
Seite 1 von 3
Messungen ohne passende Vergleichswerte
Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.
IFBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 72.4489795918367
- Bewertung
- 72.4489795918367
- Messgröße
- IFBench prompt-level loose accuracy (pass@1)
- Einheit
- %
- Benchmark-Version
- AA test set: 294 questions
- Kategorie
- general
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-ifbench:AA test set: 294 questions:standalone:reasoning:tokens=2000:suffix=Reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b, UUID 6e1b44ff-c227-496b-aef4-19b70cd18c76, reasoning=true, source reasoning-token configuration budget=2000, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/6e1b44ff-c227-496b-aef4-19b70cd18c76/gemma-4-26b-a4b/gemma-4-26b-a4b. Name des Quellmodells: Gemma 4 26B A4B. Anbieter laut Quelle: Google. Modellstand: Gemma 4 26B A4B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 72,4 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b, UUID 6e1b44ff-c227-496b-aef4-19b70cd18c76, reasoning=true, source reasoning-token configuration budget=2000, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
- Einordnung
- Die Angabe von 58 bezieht sich auf die verifizierbaren Out-of-Domain-Bedingungstypen, nicht auf die Zahl der Fragen im AA-Testlauf.
IFBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 45.442176870748305
- Bewertung
- 45.442176870748305
- Messgröße
- IFBench prompt-level loose accuracy (pass@1)
- Einheit
- %
- Benchmark-Version
- AA test set: 294 questions
- Kategorie
- general
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-ifbench:AA test set: 294 questions:standalone:non-reasoning:tokens=0:suffix=Non-reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Non-reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b-non-reasoning, UUID 70882ec6-914c-41f0-9754-5e8f75005f77, reasoning=false, source reasoning-token configuration budget=0, suffix=Non-reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/70882ec6-914c-41f0-9754-5e8f75005f77/gemma-4-26b-a4b/gemma-4-26b-a4b-non-reasoning. Name des Quellmodells: Gemma 4 26B A4B. Anbieter laut Quelle: Google. Modellstand: Gemma 4 26B A4B (Non-reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: non-reasoning. Reasoning-Stufe: Non-reasoning. Angezeigter Wert: 45,4 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Non-reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b-non-reasoning, UUID 70882ec6-914c-41f0-9754-5e8f75005f77, reasoning=false, source reasoning-token configuration budget=0, suffix=Non-reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: non-reasoning. Reasoning-Stufe: Non-reasoning
- Einordnung
- Die Angabe von 58 bezieht sich auf die verifizierbaren Out-of-Domain-Bedingungstypen, nicht auf die Zahl der Fragen im AA-Testlauf.
ITBench-AA (SRE): Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 23.6346516007533
- Bewertung
- 23.6346516007533
- Messgröße
- Average precision at full recall
- Einheit
- %
- Benchmark-Version
- AA cohort: 59 tasks
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-itbench-aa:AA cohort: 59 tasks:standalone:reasoning:tokens=2000:suffix=Reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b, UUID 6e1b44ff-c227-496b-aef4-19b70cd18c76, reasoning=true, source reasoning-token configuration budget=2000, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Kennung des Quellmodells: artificial-analysis/6e1b44ff-c227-496b-aef4-19b70cd18c76/gemma-4-26b-a4b/gemma-4-26b-a4b. Name des Quellmodells: Gemma 4 26B A4B. Anbieter laut Quelle: Google. Modellstand: Gemma 4 26B A4B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 23,6 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b, UUID 6e1b44ff-c227-496b-aef4-19b70cd18c76, reasoning=true, source reasoning-token configuration budget=2000, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
- Einordnung
- Die AA-Implementierung deckt hier nur Site Reliability Engineering ab, nicht die weiteren ITBench-Domänen CISO und FinOps.
MMMU-Pro: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 69.2485549132948
- Bewertung
- 69.2485549132948
- Messgröße
- pass@1 accuracy
- Einheit
- %
- Benchmark-Version
- AA cohort: 1,730 questions
- Kategorie
- multimodal
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-mmmu-pro:AA cohort: 1,730 questions:standalone:reasoning:tokens=2000:suffix=Reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b, UUID 6e1b44ff-c227-496b-aef4-19b70cd18c76, reasoning=true, source reasoning-token configuration budget=2000, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Kennung des Quellmodells: artificial-analysis/6e1b44ff-c227-496b-aef4-19b70cd18c76/gemma-4-26b-a4b/gemma-4-26b-a4b. Name des Quellmodells: Gemma 4 26B A4B. Anbieter laut Quelle: Google. Modellstand: Gemma 4 26B A4B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 69,2 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b, UUID 6e1b44ff-c227-496b-aef4-19b70cd18c76, reasoning=true, source reasoning-token configuration budget=2000, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
- Einordnung
- Die Benchmarkseite nennt 3.460 Fragen für den vollständigen MMMU-Pro-Datensatz; die AA-Methodik beschreibt einen 1.730-Fragen-Lauf.
MMMU-Pro: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 66.7052023121387
- Bewertung
- 66.7052023121387
- Messgröße
- pass@1 accuracy
- Einheit
- %
- Benchmark-Version
- AA cohort: 1,730 questions
- Kategorie
- multimodal
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-mmmu-pro:AA cohort: 1,730 questions:standalone:non-reasoning:tokens=0:suffix=Non-reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Non-reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b-non-reasoning, UUID 70882ec6-914c-41f0-9754-5e8f75005f77, reasoning=false, source reasoning-token configuration budget=0, suffix=Non-reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Kennung des Quellmodells: artificial-analysis/70882ec6-914c-41f0-9754-5e8f75005f77/gemma-4-26b-a4b/gemma-4-26b-a4b-non-reasoning. Name des Quellmodells: Gemma 4 26B A4B. Anbieter laut Quelle: Google. Modellstand: Gemma 4 26B A4B (Non-reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: non-reasoning. Reasoning-Stufe: Non-reasoning. Angezeigter Wert: 66,7 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Non-reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b-non-reasoning, UUID 70882ec6-914c-41f0-9754-5e8f75005f77, reasoning=false, source reasoning-token configuration budget=0, suffix=Non-reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: non-reasoning. Reasoning-Stufe: Non-reasoning
- Einordnung
- Die Benchmarkseite nennt 3.460 Fragen für den vollständigen MMMU-Pro-Datensatz; die AA-Methodik beschreibt einen 1.730-Fragen-Lauf.
AA-Omniscience Accuracy: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 19.1
- Bewertung
- 19.1
- Messgröße
- AA-Omniscience Accuracy
- Einheit
- %
- Benchmark-Version
- AA Omniscience diagnostic
- Kategorie
- knowledge
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-omniscience-accuracy:AA Omniscience diagnostic:standalone:reasoning:tokens=2000:suffix=Reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b, UUID 6e1b44ff-c227-496b-aef4-19b70cd18c76, reasoning=true, source reasoning-token configuration budget=2000, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil der insgesamt korrekt beantworteten Fragen, unabhängig davon, ob das Modell andere Fragen beantwortet oder sich enthält.. Kennung des Quellmodells: artificial-analysis/6e1b44ff-c227-496b-aef4-19b70cd18c76/gemma-4-26b-a4b/gemma-4-26b-a4b. Name des Quellmodells: Gemma 4 26B A4B. Anbieter laut Quelle: Google. Modellstand: Gemma 4 26B A4B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 19,1 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b, UUID 6e1b44ff-c227-496b-aef4-19b70cd18c76, reasoning=true, source reasoning-token configuration budget=2000, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil der insgesamt korrekt beantworteten Fragen, unabhängig davon, ob das Modell andere Fragen beantwortet oder sich enthält.. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
- Einordnung
- Dies ist die separat veröffentlichte Genauigkeitsdiagnostik, nicht der AA-Omniscience-Index. AA bezeichnet höhere Werte als besser.
AA-Omniscience Accuracy: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 15.483333333333333
- Bewertung
- 15.483333333333333
- Messgröße
- AA-Omniscience Accuracy
- Einheit
- %
- Benchmark-Version
- AA Omniscience diagnostic
- Kategorie
- knowledge
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-omniscience-accuracy:AA Omniscience diagnostic:standalone:non-reasoning:tokens=0:suffix=Non-reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Non-reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b-non-reasoning, UUID 70882ec6-914c-41f0-9754-5e8f75005f77, reasoning=false, source reasoning-token configuration budget=0, suffix=Non-reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil der insgesamt korrekt beantworteten Fragen, unabhängig davon, ob das Modell andere Fragen beantwortet oder sich enthält.. Kennung des Quellmodells: artificial-analysis/70882ec6-914c-41f0-9754-5e8f75005f77/gemma-4-26b-a4b/gemma-4-26b-a4b-non-reasoning. Name des Quellmodells: Gemma 4 26B A4B. Anbieter laut Quelle: Google. Modellstand: Gemma 4 26B A4B (Non-reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: non-reasoning. Reasoning-Stufe: Non-reasoning. Angezeigter Wert: 15,5 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Non-reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b-non-reasoning, UUID 70882ec6-914c-41f0-9754-5e8f75005f77, reasoning=false, source reasoning-token configuration budget=0, suffix=Non-reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil der insgesamt korrekt beantworteten Fragen, unabhängig davon, ob das Modell andere Fragen beantwortet oder sich enthält.. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: non-reasoning. Reasoning-Stufe: Non-reasoning
- Einordnung
- Dies ist die separat veröffentlichte Genauigkeitsdiagnostik, nicht der AA-Omniscience-Index. AA bezeichnet höhere Werte als besser.
AA-Omniscience Hallucination Rate: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 86.44416975690152
- Bewertung
- 86.44416975690152
- Messgröße
- AA-Omniscience Hallucination Rate
- Einheit
- %
- Benchmark-Version
- AA Omniscience diagnostic
- Kategorie
- knowledge
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Weniger ist besser
- Vergleichskohorte
- artificial-analysis-omniscience-hallucination-rate:AA Omniscience diagnostic:standalone:reasoning:tokens=2000:suffix=Reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b, UUID 6e1b44ff-c227-496b-aef4-19b70cd18c76, reasoning=true, source reasoning-token configuration budget=2000, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil falscher Antworten an allen nicht korrekten Antworten: falsch / (falsch + teilweise richtig + nicht beantwortet).. Kennung des Quellmodells: artificial-analysis/6e1b44ff-c227-496b-aef4-19b70cd18c76/gemma-4-26b-a4b/gemma-4-26b-a4b. Name des Quellmodells: Gemma 4 26B A4B. Anbieter laut Quelle: Google. Modellstand: Gemma 4 26B A4B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning. Angezeigter Wert: 86,4 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b, UUID 6e1b44ff-c227-496b-aef4-19b70cd18c76, reasoning=true, source reasoning-token configuration budget=2000, suffix=Reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil falscher Antworten an allen nicht korrekten Antworten: falsch / (falsch + teilweise richtig + nicht beantwortet).. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: reasoning enabled. Reasoning-Stufe: Reasoning
- Einordnung
- Dies ist die separat veröffentlichte Halluzinationsraten-Diagnostik, nicht der AA-Omniscience-Index. AA bezeichnet niedrigere Werte als besser.
AA-Omniscience Hallucination Rate: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 92.05284953658057
- Bewertung
- 92.05284953658057
- Messgröße
- AA-Omniscience Hallucination Rate
- Einheit
- %
- Benchmark-Version
- AA Omniscience diagnostic
- Kategorie
- knowledge
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Weniger ist besser
- Vergleichskohorte
- artificial-analysis-omniscience-hallucination-rate:AA Omniscience diagnostic:standalone:non-reasoning:tokens=0:suffix=Non-reasoning
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Non-reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b-non-reasoning, UUID 70882ec6-914c-41f0-9754-5e8f75005f77, reasoning=false, source reasoning-token configuration budget=0, suffix=Non-reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil falscher Antworten an allen nicht korrekten Antworten: falsch / (falsch + teilweise richtig + nicht beantwortet).. Kennung des Quellmodells: artificial-analysis/70882ec6-914c-41f0-9754-5e8f75005f77/gemma-4-26b-a4b/gemma-4-26b-a4b-non-reasoning. Name des Quellmodells: Gemma 4 26B A4B. Anbieter laut Quelle: Google. Modellstand: Gemma 4 26B A4B (Non-reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: non-reasoning. Reasoning-Stufe: Non-reasoning. Angezeigter Wert: 92,1 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 26B A4B (Non-reasoning) (Release gemma-4-26b-a4b, Zeile gemma-4-26b-a4b-non-reasoning, UUID 70882ec6-914c-41f0-9754-5e8f75005f77, reasoning=false, source reasoning-token configuration budget=0, suffix=Non-reasoning). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil falscher Antworten an allen nicht korrekten Antworten: falsch / (falsch + teilweise richtig + nicht beantwortet).. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: non-reasoning. Reasoning-Stufe: Non-reasoning
- Einordnung
- Dies ist die separat veröffentlichte Halluzinationsraten-Diagnostik, nicht der AA-Omniscience-Index. AA bezeichnet niedrigere Werte als besser.
MMLU Pro (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 82.6
- Bewertung
- 82.6
- Messgröße
- percent
- Einheit
- %
- Kategorie
- vendor-evaluation
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Google DeepMind
- Status
- active
- Abrufdatum
- 2026-09-08
- Methodik
- Vom Anbieter veröffentlichter Wert. Gemma 4 model-card benchmark table; 26B A4B column
AIME 2026 (no tools) (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 88.3
- Bewertung
- 88.3
- Messgröße
- percent
- Einheit
- %
- Kategorie
- vendor-evaluation
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Google DeepMind
- Status
- active
- Abrufdatum
- 2026-09-08
- Methodik
- Vom Anbieter veröffentlichter Wert. Gemma 4 model-card benchmark table; 26B A4B column
LiveCodeBench v6 (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 77.1
- Bewertung
- 77.1
- Messgröße
- percent
- Einheit
- %
- Kategorie
- vendor-evaluation
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Google DeepMind
- Status
- active
- Abrufdatum
- 2026-09-08
- Methodik
- Vom Anbieter veröffentlichter Wert. Gemma 4 model-card benchmark table; 26B A4B column
Seite 1 von 3
Unsere Tests
SVG-Kurztest
Ein SVG-Prompt, feste Ausgabeparameter. Aufnahmen erscheinen nur bei gemeldeten 0 Reasoning-Tokens oder dokumentiert fehlender Reasoning-Steuerung. Gleiche Testbedingungen machen die interne Rechenleistung der Modelle nicht identisch.
Frühere Tests
Pelikan auf dem Fahrrad
Community-Klassiker für eine freie SVG-Zeichnung.
Gemma 4 26B A4B
Reasoning (angefragt): high
Aktueller Versuch
- Datum des Testlaufs
- 01.10.2026
- API-Anbieter
- openrouter
- Angefragtes API-Modell
- google/gemma-4-26b-a4b-it
- API-Modell laut Antwort
- google/gemma-4-26b-a4b-it
- Reasoning-Einstellung
- high
- Festgelegter Endpunkt
- Darkbloom | google/gemma-4-26b-a4b-it-20260403
- Temperatur
- Anbieterstandard
- Tokenlimit inklusive Reasoning
- 8.192 Token
- Testprotokoll
- community-visual-tests-v1
- Technische Prüfung
- Bestanden, keine Qualitätsbewertung
- Antwortzeit
- 86,1 s
Visuell geprüft. Aus diesem Einzeltest ergibt sich kein Gesamturteil über das Modell.
Prompt und Testbedingungen
Generate an SVG of a pelican riding a bicycle
Tokenlimit inklusive Reasoning: 8.192 Token
Ursprung der Aufgabe (Simon Willison)Beliebtheit
49,6 / 100
Quellen und Datenstand
| Art | Nachweis und Datenstand |
|---|---|
| Preis | API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten. |
| Eingabe | Dokumentierte Modalitäten. Abgerufen am 8. September 2026. |
| Ausgabe | Dokumentierte Modalitäten. Abgerufen am 8. September 2026. |
| Recherchestand | Recherchestand 8. September 2026. 4 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell. |
| In den geprüften Quellen nicht gefunden | active-parameters-billions Originalwortlaut Active parameter count is not separately published for this dense model. |
| In den geprüften Quellen nicht gefunden | api-model-id Originalwortlaut Gemma is distributed as open weights; the card does not define a hosted Gemini API model ID. |
| In den geprüften Quellen nicht gefunden | training-tokens Originalwortlaut The Gemma 4 model card describes the dataset but does not publish a token-count total. |
| Weitere Quelle | Modellmetadaten · Gemma 4 26B A4B instruction-tuned weights · Redaktionelle Beschreibung geprüft am 2. Oktober 2026 |
| Weitere Quelle | Artificial Analysis (abgerufen 19. Oktober 2026) |
| Weitere Quelle | Artificial Analysis (abgerufen 19. Oktober 2026) |
| Weitere Quelle | Artificial Analysis (abgerufen 19. Oktober 2026) |
| Weitere Quelle | Artificial Analysis (abgerufen 19. Oktober 2026) |
| Weitere Quelle | Artificial Analysis (abgerufen 8. September 2026) |
| Weitere Quelle | Modellmetadaten (abgerufen 8. September 2026) |
| Weitere Quelle | Modellmetadaten (abgerufen 8. September 2026) |
| Weitere Quelle | OpenRouter: Beliebtheitsindex (abgeleitet), CC BY 4.0 |
| Weitere Quelle | Vercel AI Gateway: Beliebtheitsindex (abgeleitet), CC BY 4.0 |
| Weitere Quelle | Ollama: kumulierte Downloads für den Beliebtheitsindex |
| Weitere Quelle | Replicate: kumulierte Ausführungen für den Beliebtheitsindex |
| Weitere Quelle | Google Trending Now: begrenzte Feed-Auswahl für Deutschland und USA |
| Weitere Quelle | Creative Commons Attribution 4.0 |