GoogleSprachmodell
Gemma 4 12B IT
Für Gemma 4 12B IT gibt es noch keinen Wert im Gesamtindex, weil zu wenige unabhängige Benchmark-Ergebnisse vorliegen. Aus den Herstellerangaben schätzen wir rund 55,3 Punkte (95-%-Bereich 35,1 bis 75,5). Das ist keine unabhängige Messung.
BeliebtheitPlatz 219 von 785
43von 100wie im Vormonat
beruht auf Suche, Nutzung und Aufmerksamkeit
Zusammenfassung
Das Besondere an Google Gemma 4 12B IT ist die 12B-Unified-Variante mit einem direkten multimodalen Pfad ohne separate Audio- oder Bildencoder. Der am 3. Juni 2026 veröffentlichte Checkpoint nimmt Text, Bild, Audio und Video an, erzeugt Text und steht unter Apache 2.0.
Die Modellkarte nennt bis zu 32.768 Token Ausgabe und mehr als 140 Trainingssprachen. Gemma 4 31B IT ist dichter und größer, während 12B Unified die Modalitäten direkter zusammenführt.
Alle Benchmark-Werte
Jeder veröffentlichte Messwert mit Quelle, Testbedingungen und Vergleichsmodellen.
Alle 42 veröffentlichten Benchmark-Werte anzeigen
Seite 1 von 4
Messungen ohne passende Vergleichswerte
Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.
CritPt v2: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0
- Bewertung
- 0
- Messgröße
- pass@1 accuracy
- Einheit
- %
- Benchmark-Version
- v2
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- disputed
- Abrufdatum
- 2026-11-02
- Methodik
- Exakte AA-Konfiguration: Gemma 4 12B (Non-reasoning) (Release gemma-4-12b, Zeile gemma-4-12b-non-reasoning, UUID 025ec6b6-df4a-449f-9a03-24e4388d6863, reasoning=false, effort=nicht angegeben, suffix=Non-reasoning). AA kennzeichnet diese Modellvariante als non-reasoning und weist 0 Reasoning-Tokens aus. Der vollständige CritPt-v2-Lauf umfasst 70 Fragen mit fünf Wiederholungen. Der offizielle Grading-Server bewertet pass@1.. Kennung des Quellmodells: artificial-analysis/025ec6b6-df4a-449f-9a03-24e4388d6863/gemma-4-12b/gemma-4-12b-non-reasoning. Name des Quellmodells: Gemma 4 12B IT. Anbieter laut Quelle: Google. Modellstand: Gemma 4 12B (Non-reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Python functions, symbolic expressions, and numerical answers; official grading server. Versuche: 70 questions, five repeats per question, pass@1. Reasoning: non-reasoning. Reasoning-Stufe: none. Angezeigter Wert: 0,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-02-67d46be20a5b. Prüfsumme der Quelldaten: 67d46be20a5b412db6cfb60ad190441fcaa5513500b8fd47d033168d0e97b6b2. Parserversion: artificial-analysis-rsc-models-v3. Importiert am: 2026-11-02. Quellenkohorte: artificial-analysis-critpt-v2:v2:standalone:non-reasoning:effort=unspecified:suffix=Non-reasoning
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 12B (Non-reasoning) (Release gemma-4-12b, Zeile gemma-4-12b-non-reasoning, UUID 025ec6b6-df4a-449f-9a03-24e4388d6863, reasoning=false, effort=nicht angegeben, suffix=Non-reasoning). AA kennzeichnet diese Modellvariante als non-reasoning und weist 0 Reasoning-Tokens aus. Der vollständige CritPt-v2-Lauf umfasst 70 Fragen mit fünf Wiederholungen. Der offizielle Grading-Server bewertet pass@1.. Werkzeugrichtlinie: Python functions, symbolic expressions, and numerical answers; official grading server. Versuche: 70 questions, five repeats per question, pass@1. Reasoning: non-reasoning. Reasoning-Stufe: none
- Einordnung
- Die AA-Quelle enthält hier den ursprünglichen CritPt-Wert. Die frühere Zuordnung zu CritPt v2 ist falsch; Wert und frühere Beschriftung bleiben als strittiger Altbeleg erhalten.. Der Quelldatensatz markiert diesen Wert als umstritten. Er bleibt als dokumentierte Evidenz sichtbar, ist aber kein belastbarer Vergleichsnachweis.
CritPt v2: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0
- Bewertung
- 0
- Messgröße
- pass@1 accuracy
- Einheit
- %
- Benchmark-Version
- v2
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- disputed
- Abrufdatum
- 2026-11-02
- Methodik
- Exakte AA-Konfiguration: Gemma 4 12B (Reasoning) (Release gemma-4-12b, Zeile gemma-4-12b, UUID feb02d3b-ff8d-4ed4-b165-13f8d4a7192c, reasoning=true, effort=nicht angegeben, suffix=Reasoning). AA-Quellenwert für durchschnittliche Reasoning-Tokens vor der Antwort: 2.000. Die Methodik mittelt 60 unterschiedliche Prompts und setzt 2.000 an, wenn kein Durchschnitt verfügbar ist. Das ist kein Tokenlimit. Der vollständige CritPt-v2-Lauf umfasst 70 Fragen mit fünf Wiederholungen. Der offizielle Grading-Server bewertet pass@1.. Kennung des Quellmodells: artificial-analysis/feb02d3b-ff8d-4ed4-b165-13f8d4a7192c/gemma-4-12b/gemma-4-12b. Name des Quellmodells: Gemma 4 12B IT. Anbieter laut Quelle: Google. Modellstand: Gemma 4 12B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Python functions, symbolic expressions, and numerical answers; official grading server. Versuche: 70 questions, five repeats per question, pass@1. Reasoning: reasoning enabled. Angezeigter Wert: 0,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-02-67d46be20a5b. Prüfsumme der Quelldaten: 67d46be20a5b412db6cfb60ad190441fcaa5513500b8fd47d033168d0e97b6b2. Parserversion: artificial-analysis-rsc-models-v3. Importiert am: 2026-11-02. Quellenkohorte: artificial-analysis-critpt-v2:v2:standalone:reasoning:effort=unspecified:suffix=Reasoning
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 12B (Reasoning) (Release gemma-4-12b, Zeile gemma-4-12b, UUID feb02d3b-ff8d-4ed4-b165-13f8d4a7192c, reasoning=true, effort=nicht angegeben, suffix=Reasoning). AA-Quellenwert für durchschnittliche Reasoning-Tokens vor der Antwort: 2.000. Die Methodik mittelt 60 unterschiedliche Prompts und setzt 2.000 an, wenn kein Durchschnitt verfügbar ist. Das ist kein Tokenlimit. Der vollständige CritPt-v2-Lauf umfasst 70 Fragen mit fünf Wiederholungen. Der offizielle Grading-Server bewertet pass@1.. Werkzeugrichtlinie: Python functions, symbolic expressions, and numerical answers; official grading server. Versuche: 70 questions, five repeats per question, pass@1. Reasoning: reasoning enabled
- Einordnung
- Die AA-Quelle enthält hier den ursprünglichen CritPt-Wert. Die frühere Zuordnung zu CritPt v2 ist falsch; Wert und frühere Beschriftung bleiben als strittiger Altbeleg erhalten.. Der Quelldatensatz markiert diesen Wert als umstritten. Er bleibt als dokumentierte Evidenz sichtbar, ist aber kein belastbarer Vergleichsnachweis.
IFBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 45.1700680272109
- Bewertung
- 45.1700680272109
- Messgröße
- IFBench prompt-level loose accuracy (pass@1)
- Einheit
- %
- Benchmark-Version
- AA test set: 294 questions
- Kategorie
- general
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- superseded
- Abrufdatum
- 2026-11-02
- Methodik
- Exakte AA-Konfiguration: Gemma 4 12B (Non-reasoning) (Release gemma-4-12b, Zeile gemma-4-12b-non-reasoning, UUID 025ec6b6-df4a-449f-9a03-24e4388d6863, reasoning=false, effort=nicht angegeben, suffix=Non-reasoning). AA kennzeichnet diese Modellvariante als non-reasoning und weist 0 Reasoning-Tokens aus. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/025ec6b6-df4a-449f-9a03-24e4388d6863/gemma-4-12b/gemma-4-12b-non-reasoning. Name des Quellmodells: Gemma 4 12B IT. Anbieter laut Quelle: Google. Modellstand: Gemma 4 12B (Non-reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: non-reasoning. Reasoning-Stufe: none. Angezeigter Wert: 45,2 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-02-67d46be20a5b. Prüfsumme der Quelldaten: 67d46be20a5b412db6cfb60ad190441fcaa5513500b8fd47d033168d0e97b6b2. Parserversion: artificial-analysis-rsc-models-v3. Importiert am: 2026-11-02. Quellenkohorte: artificial-analysis-ifbench:AA test set: 294 questions:standalone:non-reasoning:effort=unspecified:suffix=Non-reasoning
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 12B (Non-reasoning) (Release gemma-4-12b, Zeile gemma-4-12b-non-reasoning, UUID 025ec6b6-df4a-449f-9a03-24e4388d6863, reasoning=false, effort=nicht angegeben, suffix=Non-reasoning). AA kennzeichnet diese Modellvariante als non-reasoning und weist 0 Reasoning-Tokens aus. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: non-reasoning. Reasoning-Stufe: none
- Einordnung
- Die Angabe von 58 bezieht sich auf die verifizierbaren Out-of-Domain-Bedingungstypen, nicht auf die Zahl der Fragen im AA-Testlauf.. Dieser Wert wird als historische Evidenz geführt und ist nicht mit aktuellen Ergebnissen gleichzusetzen.
IFBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 45.1700680272109
- Bewertung
- 45.1700680272109
- Messgröße
- IFBench prompt-level loose accuracy (pass@1)
- Einheit
- %
- Benchmark-Version
- AA test set: 294 questions
- Kategorie
- general
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-11-07
- Methodik
- Exakte AA-Konfiguration: Gemma 4 12B (Non-reasoning) (Release gemma-4-12b, Zeile gemma-4-12b-non-reasoning, UUID 025ec6b6-df4a-449f-9a03-24e4388d6863, reasoning=false, effort=nicht angegeben, suffix=Non-reasoning). Diese Quellenfassung enthält keine durchschnittliche Reasoning-Tokenzahl. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/025ec6b6-df4a-449f-9a03-24e4388d6863/gemma-4-12b/gemma-4-12b-non-reasoning. Name des Quellmodells: Gemma 4 12B IT. Anbieter laut Quelle: Google. Modellstand: Gemma 4 12B (Non-reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: non-reasoning. Reasoning-Stufe: none. Angezeigter Wert: 45,2 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-07-b96e3ffc8c5b. Prüfsumme der Quelldaten: b96e3ffc8c5b052aa56f96d05e89d02b8cc234a75085820fca0ca2a39e498274. Parserversion: artificial-analysis-rsc-models-v4. Importiert am: 2026-11-07. Quellenkohorte: artificial-analysis-ifbench:AA test set: 294 questions:standalone:non-reasoning:effort=unspecified:suffix=Non-reasoning
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 12B (Non-reasoning) (Release gemma-4-12b, Zeile gemma-4-12b-non-reasoning, UUID 025ec6b6-df4a-449f-9a03-24e4388d6863, reasoning=false, effort=nicht angegeben, suffix=Non-reasoning). Diese Quellenfassung enthält keine durchschnittliche Reasoning-Tokenzahl. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: non-reasoning. Reasoning-Stufe: none
- Einordnung
- Die Angabe von 58 bezieht sich auf die verifizierbaren Out-of-Domain-Bedingungstypen, nicht auf die Zahl der Fragen im AA-Testlauf.
IFBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 73.5374149659864
- Bewertung
- 73.5374149659864
- Messgröße
- IFBench prompt-level loose accuracy (pass@1)
- Einheit
- %
- Benchmark-Version
- AA test set: 294 questions
- Kategorie
- general
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- superseded
- Abrufdatum
- 2026-11-02
- Methodik
- Exakte AA-Konfiguration: Gemma 4 12B (Reasoning) (Release gemma-4-12b, Zeile gemma-4-12b, UUID feb02d3b-ff8d-4ed4-b165-13f8d4a7192c, reasoning=true, effort=nicht angegeben, suffix=Reasoning). AA-Quellenwert für durchschnittliche Reasoning-Tokens vor der Antwort: 2.000. Die Methodik mittelt 60 unterschiedliche Prompts und setzt 2.000 an, wenn kein Durchschnitt verfügbar ist. Das ist kein Tokenlimit. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/feb02d3b-ff8d-4ed4-b165-13f8d4a7192c/gemma-4-12b/gemma-4-12b. Name des Quellmodells: Gemma 4 12B IT. Anbieter laut Quelle: Google. Modellstand: Gemma 4 12B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled. Angezeigter Wert: 73,5 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-02-67d46be20a5b. Prüfsumme der Quelldaten: 67d46be20a5b412db6cfb60ad190441fcaa5513500b8fd47d033168d0e97b6b2. Parserversion: artificial-analysis-rsc-models-v3. Importiert am: 2026-11-02. Quellenkohorte: artificial-analysis-ifbench:AA test set: 294 questions:standalone:reasoning:effort=unspecified:suffix=Reasoning
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 12B (Reasoning) (Release gemma-4-12b, Zeile gemma-4-12b, UUID feb02d3b-ff8d-4ed4-b165-13f8d4a7192c, reasoning=true, effort=nicht angegeben, suffix=Reasoning). AA-Quellenwert für durchschnittliche Reasoning-Tokens vor der Antwort: 2.000. Die Methodik mittelt 60 unterschiedliche Prompts und setzt 2.000 an, wenn kein Durchschnitt verfügbar ist. Das ist kein Tokenlimit. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled
- Einordnung
- Die Angabe von 58 bezieht sich auf die verifizierbaren Out-of-Domain-Bedingungstypen, nicht auf die Zahl der Fragen im AA-Testlauf.. Dieser Wert wird als historische Evidenz geführt und ist nicht mit aktuellen Ergebnissen gleichzusetzen.
IFBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 73.5374149659864
- Bewertung
- 73.5374149659864
- Messgröße
- IFBench prompt-level loose accuracy (pass@1)
- Einheit
- %
- Benchmark-Version
- AA test set: 294 questions
- Kategorie
- general
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-11-07
- Methodik
- Exakte AA-Konfiguration: Gemma 4 12B (Reasoning) (Release gemma-4-12b, Zeile gemma-4-12b, UUID feb02d3b-ff8d-4ed4-b165-13f8d4a7192c, reasoning=true, effort=nicht angegeben, suffix=Reasoning). Diese Quellenfassung enthält keine durchschnittliche Reasoning-Tokenzahl. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/feb02d3b-ff8d-4ed4-b165-13f8d4a7192c/gemma-4-12b/gemma-4-12b. Name des Quellmodells: Gemma 4 12B IT. Anbieter laut Quelle: Google. Modellstand: Gemma 4 12B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled. Angezeigter Wert: 73,5 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-07-b96e3ffc8c5b. Prüfsumme der Quelldaten: b96e3ffc8c5b052aa56f96d05e89d02b8cc234a75085820fca0ca2a39e498274. Parserversion: artificial-analysis-rsc-models-v4. Importiert am: 2026-11-07. Quellenkohorte: artificial-analysis-ifbench:AA test set: 294 questions:standalone:reasoning:effort=unspecified:suffix=Reasoning
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 12B (Reasoning) (Release gemma-4-12b, Zeile gemma-4-12b, UUID feb02d3b-ff8d-4ed4-b165-13f8d4a7192c, reasoning=true, effort=nicht angegeben, suffix=Reasoning). Diese Quellenfassung enthält keine durchschnittliche Reasoning-Tokenzahl. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled
- Einordnung
- Die Angabe von 58 bezieht sich auf die verifizierbaren Out-of-Domain-Bedingungstypen, nicht auf die Zahl der Fragen im AA-Testlauf.
MMMU-Pro: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 61.965317919075105
- Bewertung
- 61.965317919075105
- Messgröße
- pass@1 accuracy
- Einheit
- %
- Benchmark-Version
- AA cohort: 1,730 questions
- Kategorie
- multimodal
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- superseded
- Abrufdatum
- 2026-11-02
- Methodik
- Exakte AA-Konfiguration: Gemma 4 12B (Non-reasoning) (Release gemma-4-12b, Zeile gemma-4-12b-non-reasoning, UUID 025ec6b6-df4a-449f-9a03-24e4388d6863, reasoning=false, effort=nicht angegeben, suffix=Non-reasoning). AA kennzeichnet diese Modellvariante als non-reasoning und weist 0 Reasoning-Tokens aus. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Kennung des Quellmodells: artificial-analysis/025ec6b6-df4a-449f-9a03-24e4388d6863/gemma-4-12b/gemma-4-12b-non-reasoning. Name des Quellmodells: Gemma 4 12B IT. Anbieter laut Quelle: Google. Modellstand: Gemma 4 12B (Non-reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: non-reasoning. Reasoning-Stufe: none. Angezeigter Wert: 62,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-02-67d46be20a5b. Prüfsumme der Quelldaten: 67d46be20a5b412db6cfb60ad190441fcaa5513500b8fd47d033168d0e97b6b2. Parserversion: artificial-analysis-rsc-models-v3. Importiert am: 2026-11-02. Quellenkohorte: artificial-analysis-mmmu-pro:AA cohort: 1,730 questions:standalone:non-reasoning:effort=unspecified:suffix=Non-reasoning
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 12B (Non-reasoning) (Release gemma-4-12b, Zeile gemma-4-12b-non-reasoning, UUID 025ec6b6-df4a-449f-9a03-24e4388d6863, reasoning=false, effort=nicht angegeben, suffix=Non-reasoning). AA kennzeichnet diese Modellvariante als non-reasoning und weist 0 Reasoning-Tokens aus. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: non-reasoning. Reasoning-Stufe: none
- Einordnung
- Die Benchmarkseite nennt 3.460 Fragen für den vollständigen MMMU-Pro-Datensatz; die AA-Methodik beschreibt einen 1.730-Fragen-Lauf.. Dieser Wert wird als historische Evidenz geführt und ist nicht mit aktuellen Ergebnissen gleichzusetzen.
MMMU-Pro: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 61.965317919075105
- Bewertung
- 61.965317919075105
- Messgröße
- pass@1 accuracy
- Einheit
- %
- Benchmark-Version
- AA cohort: 1,730 questions
- Kategorie
- multimodal
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-11-07
- Methodik
- Exakte AA-Konfiguration: Gemma 4 12B (Non-reasoning) (Release gemma-4-12b, Zeile gemma-4-12b-non-reasoning, UUID 025ec6b6-df4a-449f-9a03-24e4388d6863, reasoning=false, effort=nicht angegeben, suffix=Non-reasoning). Diese Quellenfassung enthält keine durchschnittliche Reasoning-Tokenzahl. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Kennung des Quellmodells: artificial-analysis/025ec6b6-df4a-449f-9a03-24e4388d6863/gemma-4-12b/gemma-4-12b-non-reasoning. Name des Quellmodells: Gemma 4 12B IT. Anbieter laut Quelle: Google. Modellstand: Gemma 4 12B (Non-reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: non-reasoning. Reasoning-Stufe: none. Angezeigter Wert: 62,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-07-b96e3ffc8c5b. Prüfsumme der Quelldaten: b96e3ffc8c5b052aa56f96d05e89d02b8cc234a75085820fca0ca2a39e498274. Parserversion: artificial-analysis-rsc-models-v4. Importiert am: 2026-11-07. Quellenkohorte: artificial-analysis-mmmu-pro:AA cohort: 1,730 questions:standalone:non-reasoning:effort=unspecified:suffix=Non-reasoning
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 12B (Non-reasoning) (Release gemma-4-12b, Zeile gemma-4-12b-non-reasoning, UUID 025ec6b6-df4a-449f-9a03-24e4388d6863, reasoning=false, effort=nicht angegeben, suffix=Non-reasoning). Diese Quellenfassung enthält keine durchschnittliche Reasoning-Tokenzahl. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: non-reasoning. Reasoning-Stufe: none
- Einordnung
- Die Benchmarkseite nennt 3.460 Fragen für den vollständigen MMMU-Pro-Datensatz; die AA-Methodik beschreibt einen 1.730-Fragen-Lauf.
MMMU-Pro: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 69.6531791907514
- Bewertung
- 69.6531791907514
- Messgröße
- pass@1 accuracy
- Einheit
- %
- Benchmark-Version
- AA cohort: 1,730 questions
- Kategorie
- multimodal
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- superseded
- Abrufdatum
- 2026-11-02
- Methodik
- Exakte AA-Konfiguration: Gemma 4 12B (Reasoning) (Release gemma-4-12b, Zeile gemma-4-12b, UUID feb02d3b-ff8d-4ed4-b165-13f8d4a7192c, reasoning=true, effort=nicht angegeben, suffix=Reasoning). AA-Quellenwert für durchschnittliche Reasoning-Tokens vor der Antwort: 2.000. Die Methodik mittelt 60 unterschiedliche Prompts und setzt 2.000 an, wenn kein Durchschnitt verfügbar ist. Das ist kein Tokenlimit. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Kennung des Quellmodells: artificial-analysis/feb02d3b-ff8d-4ed4-b165-13f8d4a7192c/gemma-4-12b/gemma-4-12b. Name des Quellmodells: Gemma 4 12B IT. Anbieter laut Quelle: Google. Modellstand: Gemma 4 12B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: reasoning enabled. Angezeigter Wert: 69,7 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-02-67d46be20a5b. Prüfsumme der Quelldaten: 67d46be20a5b412db6cfb60ad190441fcaa5513500b8fd47d033168d0e97b6b2. Parserversion: artificial-analysis-rsc-models-v3. Importiert am: 2026-11-02. Quellenkohorte: artificial-analysis-mmmu-pro:AA cohort: 1,730 questions:standalone:reasoning:effort=unspecified:suffix=Reasoning
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 12B (Reasoning) (Release gemma-4-12b, Zeile gemma-4-12b, UUID feb02d3b-ff8d-4ed4-b165-13f8d4a7192c, reasoning=true, effort=nicht angegeben, suffix=Reasoning). AA-Quellenwert für durchschnittliche Reasoning-Tokens vor der Antwort: 2.000. Die Methodik mittelt 60 unterschiedliche Prompts und setzt 2.000 an, wenn kein Durchschnitt verfügbar ist. Das ist kein Tokenlimit. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: reasoning enabled
- Einordnung
- Die Benchmarkseite nennt 3.460 Fragen für den vollständigen MMMU-Pro-Datensatz; die AA-Methodik beschreibt einen 1.730-Fragen-Lauf.. Dieser Wert wird als historische Evidenz geführt und ist nicht mit aktuellen Ergebnissen gleichzusetzen.
MMMU-Pro: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 69.6531791907514
- Bewertung
- 69.6531791907514
- Messgröße
- pass@1 accuracy
- Einheit
- %
- Benchmark-Version
- AA cohort: 1,730 questions
- Kategorie
- multimodal
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-11-07
- Methodik
- Exakte AA-Konfiguration: Gemma 4 12B (Reasoning) (Release gemma-4-12b, Zeile gemma-4-12b, UUID feb02d3b-ff8d-4ed4-b165-13f8d4a7192c, reasoning=true, effort=nicht angegeben, suffix=Reasoning). Diese Quellenfassung enthält keine durchschnittliche Reasoning-Tokenzahl. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Kennung des Quellmodells: artificial-analysis/feb02d3b-ff8d-4ed4-b165-13f8d4a7192c/gemma-4-12b/gemma-4-12b. Name des Quellmodells: Gemma 4 12B IT. Anbieter laut Quelle: Google. Modellstand: Gemma 4 12B (Reasoning). Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: reasoning enabled. Angezeigter Wert: 69,7 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-07-b96e3ffc8c5b. Prüfsumme der Quelldaten: b96e3ffc8c5b052aa56f96d05e89d02b8cc234a75085820fca0ca2a39e498274. Parserversion: artificial-analysis-rsc-models-v4. Importiert am: 2026-11-07. Quellenkohorte: artificial-analysis-mmmu-pro:AA cohort: 1,730 questions:standalone:reasoning:effort=unspecified:suffix=Reasoning
- Vergleichsmethodik
- Exakte AA-Konfiguration: Gemma 4 12B (Reasoning) (Release gemma-4-12b, Zeile gemma-4-12b, UUID feb02d3b-ff8d-4ed4-b165-13f8d4a7192c, reasoning=true, effort=nicht angegeben, suffix=Reasoning). Diese Quellenfassung enthält keine durchschnittliche Reasoning-Tokenzahl. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: reasoning enabled
- Einordnung
- Die Benchmarkseite nennt 3.460 Fragen für den vollständigen MMMU-Pro-Datensatz; die AA-Methodik beschreibt einen 1.730-Fragen-Lauf.
MMLU Pro (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 77.2
- Bewertung
- 77.2
- Messgröße
- percent
- Einheit
- %
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Google Gemma 4 official model card
- Status
- active
- Abrufdatum
- 2026-10-15
- Methodik
- Vom Anbieter veröffentlichter Wert. Der exakte Checkpoint Gemma 4 12B Unified wurde auf MMLU Pro in der instruktionsoptimierten Variante bewertet; die Quelle macht keine Angaben zu Prompt, Decoding- und Sampling-Einstellungen, Datum der Auswertung, Einstellungen je Aufgabe.
AIME 2026 no tools (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 77.5
- Bewertung
- 77.5
- Messgröße
- percent
- Einheit
- %
- Benchmark-Version
- AIME 2026
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Google Gemma 4 official model card
- Status
- active
- Abrufdatum
- 2026-10-15
- Methodik
- Vom Anbieter veröffentlichter Wert. Der exakte Checkpoint Gemma 4 12B Unified wurde auf AIME 2026 no tools (AIME 2026) ohne Werkzeuge in der instruktionsoptimierten Variante bewertet (Benchmark-Version: AIME 2026); die Quelle macht keine Angaben zu Prompt, Decoding- und Sampling-Einstellungen.
Seite 1 von 4
Beliebtheit im Vergleich
Wie oft das Modell gesucht, genutzt und erwähnt wird, im Vergleich mit allen Modellen dieser Kategorie.
Beliebtheitsindex
Die 100 beliebtesten Modelle dieser Kategorie, 0 bis 100, höher ist beliebter
20 von 101 Modellen
Stand November 2026 · Quelle: gradually.ai Beliebtheitsindex
Zeitlicher Verlauf
Wochenwerte vom 18. Oktober 2026 bis 8. November 2026
Gemma 4 12B ITLing-3.0-flash-Fin 44Mercury 2 44Qwen 3 32B 43Muse Glimmer 30B 43
Methodenwechsel im Verlauf, ein Sprung an dieser Stelle ist kein Marktereignis:
- 11. November 2026: Wert nur mit Such- oder Nutzungsdaten, 30-Tage-Aufmerksamkeit
- 21. November 2026: Methodenversion 4 (gemeinsame Skala, Schrumpfung)
Was gerade an Beliebtheit gewinnt, steht für Modelle, Anbieter, Harnesses und KI-Abos gesammelt in Alle KI-Trends.
Ähnliche Modelle
Weitere Modelle derselben Art wie Gemma 4 12B IT, ausgewählt nach Modellreihe, Anbieter, Größe, Preis und Erscheinungsdatum.
- Gemma 4 E4B ITGoogle · gleicher Anbieter
- DiffusionGemma 26B A4B ITGoogle · gleicher Anbieter
- Gemma 3 12BGoogle · gleicher Anbieter
- Gemma 4 26B A4BGoogle · gleicher Anbieter
- Gemma 4 E2B ITGoogle · gleicher Anbieter
- Gemma 4 31BGoogle · gleicher Anbieter
- Gemini 3.8 FlashGoogle · gleicher Anbieter
- Gemini 3.5 Flash-LiteGoogle · gleicher Anbieter
Alle technischen Daten
Architektur
Ein- und Ausgabe
Wasserzeichen und Herkunft
KI-Wasserzeichen meint unsichtbare Signale in der Ausgabe. Sichtbare Zeichen und Herkunftsmetadaten sind getrennt aufgeführt. Unbekannt bedeutet, dass für die jeweilige Angabe kein ausreichender Beleg vorliegt.
- KI-Wasserzeichen
- Unbekannt
- ohne Quelle
- Wasserzeichen-Technik
- Nicht bekannt
- ohne Quelle
Lizenz und Zugang
- Abschaltung
- Keine angekündigt
- ohne Quelle
Häufige Fragen zu Gemma 4 12B IT
Wie gut ist Gemma 4 12B IT in Benchmarks?
Unabhängige Ergebnisse reichen noch nicht für den Gesamtindex. Eine Schätzung aus 5 Herstellerangaben (GPQA Diamond 78,8 %, Humanity's Last Exam (ohne Tools) 5,2 %, LiveCodeBench v6 72 %, MMLU-Pro 77,2 %, MMMU-Pro 69,1 %) ergibt rund 55,3 Punkte, mit einem 95-%-Bereich von 35,1 bis 75,5. Die Schätzung ist an Modellen geeicht, für die es sowohl Herstellerangaben als auch unabhängige Messungen gibt. Herstellerangaben liegen bei einigen Tests deutlich über unabhängigen Messungen; die Eichung gleicht das im Mittel aus.
Herstellerschätzung, kein Wert des Gesamtindex
Wie groß ist das Kontextfenster von Gemma 4 12B IT?
262.144 Token. So viel Text liest Gemma 4 12B IT auf einmal, das sind rund 390 A4-Seiten.
Seitenzahl als Faustregel nach Artificial Analysis
Gemma 4 12B ITPlatz 67 von 103262 Tsd.
Kimi K2.6262 Tsd.
Qwen 3.8 27B262 Tsd.
Kimi K2.7 Code262 Tsd.
Kimi K2.5262 Tsd.
Nemotron 3 Ultra262 Tsd.
Kimi K2 Thinking262 Tsd.
Kann ich Gemma 4 12B IT lokal nutzen?
Ja, die Gewichte sind offen.
Angaben von Google
- Offene Gewichte
- ja
- Lizenz
- Apache 2.0
- Parameter
- 12 Mrd.
- davon aktiv je Token
- k. A.
Quellen und Datenstand
Alle 17 Quellen anzeigen
Benchmarkquellen im Überblick
Welche unabhängigen Auswerter dieses Modell getestet haben. Das ist Abdeckung, keine Qualitätsrangliste.
| Auswerter | Testreihen | Gesamtindizes | Erfasste aktive Messwerte |
|---|---|---|---|
| Artificial Analysis | 3 | 0 | 5 |
Ohne Herstellerangaben sowie historische oder strittige Ergebnisse; diese stehen gekennzeichnet bei den Einzelwerten.
| Art | Nachweis und Datenstand |
|---|---|
| Eingabe | Dokumentierte Modalitäten. Abgerufen am 2. Oktober 2026. |
| Ausgabe | Dokumentierte Modalitäten. Abgerufen am 27. Oktober 2026. |
| Recherchestand | Recherchestand 15. Oktober 2026. 5 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell. |
| Nicht veröffentlicht | benchmark-protocol-details Hinweis Die Karte nennt die instruktionsoptimierte Kohorte und die Benchmark-Bezeichnungen, aber keine Prompts je Aufgabe, Decoding-Einstellungen oder Auswertungsdaten. |
| Ungeklärt | ExtractBench measurement provenance Hinweis Die exakte Karte zeigt Werte für Mean, Short und Medium sowie die benannte Pipeline. Der Beitrags-PR bezeichnet die Metrik als unified value F1 und nennt 370 Dokumente für den Gesamtmittelwert. Split-Stichprobengrößen, Benchmark-Revision, unveränderlicher Checkpoint, Konfidenzintervall, Skala und vollständige Laufeinstellungen fehlen. Die erfasste Karte zeigt eine weitere nicht geöffnete Ergebnissteuerung ohne Bezeichnung oder Wert; daraus wird kein verborgener Wert abgeleitet. |
| Weitere Quelle | blog.google (abgerufen 2. Oktober 2026) · Google Gemma 4 12B release · Redaktionelle Beschreibung geprüft am 2. Oktober 2026 |
| Weitere Quelle | Artificial Analysis (abgerufen 2. November 2026) |
| Weitere Quelle | Artificial Analysis (abgerufen 29. Oktober 2026; 2. November 2026; 7. November 2026) |
| Weitere Quelle | Artificial Analysis (abgerufen 2. November 2026; 7. November 2026)12 |
| Weitere Quelle | Gemma 4 model card (abgerufen 17. Oktober 2026) |
| Weitere Quelle | Gemma Team, Google DeepMind (abgerufen 18. Oktober 2026) |
| Weitere Quelle | Releasing the Inner Jev: A Simple Recipe for Open Decision Models, Table 3 (abgerufen 19. Oktober 2026) |
| Weitere Quelle | Gemma Team, Google DeepMind (abgerufen 17. Oktober 2026; 22. Oktober 2026) |
| Weitere Quelle | OpenRouter: Beliebtheitsindex (abgeleitet), CC BY 4.0 |
| Weitere Quelle | Vercel AI Gateway: Beliebtheitsindex (abgeleitet), CC BY 4.0 |
| Weitere Quelle | Ollama: kumulierte Downloads für den Beliebtheitsindex |
| Weitere Quelle | Replicate: kumulierte Ausführungen für den Beliebtheitsindex |
| Weitere Quelle | Google Trending Now: begrenzte Feed-Auswahl für Deutschland und USA |
| Weitere Quelle | Creative Commons Attribution 4.0 |