SprachmodellVeraltet

GPT-4.1 nano

OpenAI

Veröffentlicht: 14. April 2025
Datenstand: 8. September 2026
Nachfolgermodell: GPT-5 nano

Benchmark-Meta-Score: 0 / 100
Vorläufig, noch ohne Platz. Standardfehler ± 0
Geschwindigkeit: 160,4 Token/s
Ausgabe-Tempo
Preis: Kein aktueller Tarif
Historische Tarife unter Kosten
Eingabe: Text, Bild
Ausgabe: Text

Trotz seiner Position als kleinste API-Stufe der 4.1-Familie verarbeitete GPT-4.1 nano rund eine Million Token Kontext. OpenAI richtete es auf schnelle Klassifikation und Autovervollständigung aus.

Später folgte GPT-5 nano.

Technische Daten und Zugang

Angabe	Wert und Quelle
Gewichte	ProprietärQuelle
Kontextfenster	1.047.576 TokenQuelle
Knowledge Cutoff	1. Juni 2024Quelle
Hinweise	1M Kontext, Parameterzahl nicht veröffentlichtQuelle
API-Modellkennung	gpt-4.1-nanoQuelle
Maximale Ausgabe	32.768 TokenQuelle
Eingabe	Text, BildQuelle
Ausgabe	TextQuelle
Reasoning-Modus	noneQuelle
API-Schnittstellen	Responses API, Chat Completions APIQuelle
Werkzeugaufrufe	JaQuelle
Strukturierte Ausgabe	JaQuelle
Veröffentlichung	2025-04-14Quelle

Benchmark-Metaanalyse

Gesamt- und Bereichsscores

Diese Gradually-Indizes ordnen ausgewählte veröffentlichte Messwerte auf einer Skala von 0 bis 100 ein. Sie sind keine Prozentgenauigkeit und keine Garantie für ein Ergebnis in deiner Anwendung.

Abrufstände der verwendeten Quellen 2026-08-26 - 2026-10-19

Gesamtindex

Index unter 1 / 100

vorläufig

Geschätzt, ohne eigene Werte in: Agenten

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 14
Testfamilien: 13 / 65
Quellen: 3
Anteil am festen Testpanel (informativ): 25 %

Programmieren

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 1
Testfamilien: 1 / 15
Quellen: 1
Anteil am festen Testpanel (informativ): 7 %

Schlussfolgern

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 1
Testfamilien: 1 / 7
Quellen: 1
Anteil am festen Testpanel (informativ): 7 %

Mathematik

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 2
Testfamilien: 2 / 5
Quellen: 1
Anteil am festen Testpanel (informativ): 40 %

Wissen

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 1
Testfamilien: 1 / 3
Quellen: 1
Anteil am festen Testpanel (informativ): 33 %

Allgemein

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 1
Testfamilien: 1 / 5
Quellen: 1
Anteil am festen Testpanel (informativ): 20 %

Finanzen

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 3
Testfamilien: 3 / 7
Quellen: 1
Anteil am festen Testpanel (informativ): 43 %

Recht

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 1
Testfamilien: 1 / 4
Quellen: 1
Anteil am festen Testpanel (informativ): 25 %

Gesundheit

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 1
Testfamilien: 1 / 3
Quellen: 1
Anteil am festen Testpanel (informativ): 33 %

Multimodal

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,0
Testreihen: 3
Testfamilien: 2 / 4
Quellen: 3
Anteil am festen Testpanel (informativ): 50 %

Dokumentierte Methode · Einbezogene Testfamilien und Messwerte

Methodenfassung: benchmark-meta-score-v3

Es zählen aktive Messwerte aus geprüften Primärquellen, wenn mindestens fünf Modelle im selben dokumentierten Vergleichsschnitt aus Datensatz, Harness, Agent, Werkzeugen und Versuchsanzahl verglichen werden. Pro Benchmark-Reihe und Auswerter zählt ein gemeinsamer Setup-Schnitt aus dem neuesten Abruf. Bei mehreren ausdrücklich erfassten Reasoning-Stufen derselben Quelle und Testreihe zählt die höchste dokumentierte Stufe (none bis max), nicht der höchste Ergebniswert. Die ausdrückliche Quellenangabe „Non-reasoning“ entspricht none. Unbekannte oder mehrdeutige Stufen führen zum Ausschluss des Modells aus der betreffenden Reihe. Innerhalb jeder Reihe werden Prozentwerte und Quoten logit-transformiert, andere Einheiten bleiben unverändert, und anschließend werden alle Werte standardisiert. Ein Ein-Faktor-Modell schätzt daraus eine gemeinsame Leistungsstärke je Modell und je Reihe, wie deutlich sie zwischen den Modellen trennt. Bereichswerte weichen davon nur so weit ab, wie die eigenen Ergebnisse im Bereich es belegen. Der Gesamtwert gewichtet die Kernbereiche mit 75 % und Finanzen, Recht und Gesundheit mit 25 %. Er erfordert mindestens acht Testreihen aus zwei Quellen und drei Bereichen. Die Skala von 0 bis 100 bezieht sich auf eine feste Referenzgruppe aus 29 Sprachmodellen, deren Durchschnitt bei 50 liegt.

Veröffentlichte modellabhängige Parameter können abweichen. Das ist kein kontrolliertes Experiment; solche Vergleiche werden als vorläufig gekennzeichnet.

Nicht gemessene Reihen werden nicht als Nullwert eingesetzt. Fehlen einem Modell eigene Werte in einem Kernbereich, steht dort seine Gesamtstärke, und der Hinweis „geschätzt, ohne eigene Werte in …“ nennt den Bereich. Weniger Testreihen führen zu einem größeren Standardfehler.

Das 95-%-Intervall folgt aus dem Standardfehler von 200 Neuberechnungen mit zufällig neu gezogenen Testfamilien. Es beschreibt, wie genau die erfassten Testreihen den Wert festlegen. Es ist keine Prognose für künftige Aufgaben oder spätere Neuberechnungen mit anderen Teilnehmern.

Die Quellenzahl ist keine Anzahl unabhängiger Experimente.

OECD-Handbuch zu zusammengesetzten Indikatoren

Alle 13 Testfamilien und 12 von 14 Rohmesswerten sind hier aufgeführt. Die vollständige Rechnung für alle Modelle enthält der JSON-Export.

Testfamilie: IFBench
Allgemein · Mittleres Rangperzentil der Familie: 10,9 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,14 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-ifbench
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,14 %
  Rohwert:
  32,0408163265306 %
  Messgröße:
  IFBench prompt-level loose accuracy (pass@1)
  Version:
  AA test set: 294 questions
  Teilnehmende Modelle:
  70
  Rangperzentil innerhalb der Kohorte:
  10,9 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-ifbench:AA test set: 294 questions:standalone:non-reasoning:tokens=0:suffix=unspecified
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-ifbench","AA test set: 294 questions","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Werkzeugregeln:
  Single-turn answer evaluated with the official IFBench source code
  Versuche:
  pass@1, 5 repeats per question
  Setup- und Modellparameter
  Exakte AA-Konfiguration: GPT-4.1 nano (Release gpt-4-1-nano, Zeile gpt-4-1-nano, UUID 72c358fd-7d45-4d68-89aa-699743710924, reasoning=false, source reasoning-token configuration budget=0, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: non-reasoning
  Exakte AA-Konfiguration: GPT-4.1 nano (Release gpt-4-1-nano, Zeile gpt-4-1-nano, UUID 72c358fd-7d45-4d68-89aa-699743710924, reasoning=false, source reasoning-token configuration budget=0, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/72c358fd-7d45-4d68-89aa-699743710924/gpt-4-1-nano/gpt-4-1-nano. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: GPT-4.1 nano. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: non-reasoning. Angezeigter Wert: 32,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: GPQA Diamond
Schlussfolgern · Mittleres Rangperzentil der Familie: 9,2 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,53 % · Abdeckung dieser Testfamilie: 50 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-gpqa
  Gewicht der Messreihe innerhalb der Testfamilie:
  50 %
  Nominaler Beitrag zum Gesamtpanel:
  0,77 %
  Rohwert:
  50,758 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  77
  Rangperzentil innerhalb der Kohorte:
  9,2 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-gpqa:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-gpqa:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768
  Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 4.192. Standardfehler: 2.457. Kosten je Aufgabe in USD: 0.000488. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-10-15-951eb5224097. Prüfsumme der Quelldaten: 951eb5224097733a9d09d06c14908ae2980e2e640e539f2c284877c5092d7077. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: MMMU-Pro
Multimodal · Mittleres Rangperzentil der Familie: 0,9 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,68 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-mmmu-pro
  Gewicht der Messreihe innerhalb der Testfamilie:
  50 %
  Nominaler Beitrag zum Gesamtpanel:
  1,34 %
  Rohwert:
  40,1156069364162 %
  Messgröße:
  pass@1 accuracy
  Version:
  AA cohort: 1,730 questions
  Teilnehmende Modelle:
  57
  Rangperzentil innerhalb der Kohorte:
  1,8 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-mmmu-pro:AA cohort: 1,730 questions:standalone:non-reasoning:tokens=0:suffix=unspecified
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-mmmu-pro","AA cohort: 1,730 questions","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Werkzeugregeln:
  Ten-option multiple choice; regex answer extraction
  Versuche:
  pass@1, one run per question
  Setup- und Modellparameter
  Exakte AA-Konfiguration: GPT-4.1 nano (Release gpt-4-1-nano, Zeile gpt-4-1-nano, UUID 72c358fd-7d45-4d68-89aa-699743710924, reasoning=false, source reasoning-token configuration budget=0, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: non-reasoning
  Exakte AA-Konfiguration: GPT-4.1 nano (Release gpt-4-1-nano, Zeile gpt-4-1-nano, UUID 72c358fd-7d45-4d68-89aa-699743710924, reasoning=false, source reasoning-token configuration budget=0, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Kennung des Quellmodells: artificial-analysis/72c358fd-7d45-4d68-89aa-699743710924/gpt-4-1-nano/gpt-4-1-nano. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: GPT-4.1 nano. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: non-reasoning. Angezeigter Wert: 40,1 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-mmmu
  Gewicht der Messreihe innerhalb der Testfamilie:
  50 %
  Nominaler Beitrag zum Gesamtpanel:
  1,34 %
  Rohwert:
  55,055 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  48
  Rangperzentil innerhalb der Kohorte:
  0,0 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-mmmu:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-mmmu:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768
  Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 7.251. Standardfehler: 1.196. Kosten je Aufgabe in USD: 0.000566. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mmmu-2026-10-15-29395186eddd. Prüfsumme der Quelldaten: 29395186eddd2c70601228c584a14b3c1d8f9dba4b68256561b46b0dd03c635a. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: CorpFin v2
Finanzen · Mittleres Rangperzentil der Familie: 0,0 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-corp-fin-v2
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  1,19 %
  Rohwert:
  42,075 %
  Messgröße:
  accuracy
  Version:
  2
  Teilnehmende Modelle:
  75
  Rangperzentil innerhalb der Kohorte:
  0,0 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-corp-fin-v2:2:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-corp-fin-v2:2:overall
  Datensatztyp:
  private
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768
  Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 4.954. Standardfehler: 0.968. Kosten je Aufgabe in USD: 0.006454. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: LiveCodeBench v6
Programmieren · Mittleres Rangperzentil der Familie: 7,8 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-lcb
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,71 %
  Rohwert:
  42,718 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  78
  Rangperzentil innerhalb der Kohorte:
  7,8 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-lcb:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-lcb:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768
  Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 11.801. Standardfehler: 1.152. Kosten je Aufgabe in USD: 0.000298. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-lcb-2026-10-15-1a7c7dabc9d9. Prüfsumme der Quelldaten: 1a7c7dabc9d95a0182886b1edc42623987cac2095a0d407a5e334f37acdfa2f5. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: LegalBench
Recht · Mittleres Rangperzentil der Familie: 2,6 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,08 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-legal-bench
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,08 %
  Rohwert:
  61,056 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  79
  Rangperzentil innerhalb der Kohorte:
  2,6 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-legal-bench:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-legal-bench:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768
  Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-10-13. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 0.357. Standardfehler: 0.595. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_bench-2026-10-15-c8486ba756ba. Prüfsumme der Quelldaten: c8486ba756baa5cd3955d035edff67440e8db23e69d62ad1a9e18d15b8c4bc52. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: MATH 500
Mathematik · Mittleres Rangperzentil der Familie: 22,7 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,14 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-math500
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,14 %
  Rohwert:
  80,2 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  23
  Rangperzentil innerhalb der Kohorte:
  22,7 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-math500:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-math500:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 0. Maximale Ausgabetoken: 32768
  Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-01-09. Reasoning-Stufe: high. Temperatur: 0. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 3.372. Standardfehler: 1.782. Kosten je Aufgabe in USD: 0.000314. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-math500-2026-10-15-435ec4da1112. Prüfsumme der Quelldaten: 435ec4da1112362c0a6bb4afeab53bf7b0faf2000e1ddbe1a878735dca1fe35b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: MedQA
Gesundheit · Mittleres Rangperzentil der Familie: 7,7 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,78 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-medqa
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,78 %
  Rohwert:
  68,225 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  40
  Rangperzentil innerhalb der Kohorte:
  7,7 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-medqa:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-medqa:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768
  Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-04-16. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 1.416. Standardfehler: 0.425. Kosten je Aufgabe in USD: 0.000154. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medqa-2026-10-15-d67905978d93. Prüfsumme der Quelldaten: d67905978d932f64698ebe9e230d9519e5bae1c9d7176dda8379dc3874b6f90f. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: MGSM
Mathematik · Mittleres Rangperzentil der Familie: 0,0 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,14 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-mgsm
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,14 %
  Rohwert:
  69,273 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  30
  Rangperzentil innerhalb der Kohorte:
  0,0 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-mgsm:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-mgsm:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768
  Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-01-09. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 1.458. Standardfehler: 2.799. Kosten je Aufgabe in USD: 0.000129. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mgsm-2026-10-15-1b87f953e52c. Prüfsumme der Quelldaten: 1b87f953e52c00bf4bdd90c3add26165f644eeb7a74a8382d2a0324ff0cc1040. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: MMLU-Pro
Wissen · Mittleres Rangperzentil der Familie: 2,6 / 100
Gewicht der Familie im festen Testpanel (informativ): 3,57 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-mmlu-pro
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  3,57 %
  Rohwert:
  63,479 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  78
  Rangperzentil innerhalb der Kohorte:
  2,6 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-mmlu-pro:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-mmlu-pro:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768
  Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 2.403. Standardfehler: 0.462. Kosten je Aufgabe in USD: 0.000337. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mmlu_pro-2026-10-15-dab025507f46. Prüfsumme der Quelldaten: dab025507f46c716dd8d145e90ec0a737d9c56219853f41e4b1cc3c5e8c222b4. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: MortgageTax
Finanzen · Mittleres Rangperzentil der Familie: 7,7 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-mortgage-tax
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  1,19 %
  Rohwert:
  52,822 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  53
  Rangperzentil innerhalb der Kohorte:
  7,7 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-mortgage-tax:1:overall
  Reasoning-Stufe:
  high
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-mortgage-tax:1:overall
  Datensatztyp:
  private
  Setup- und Modellparameter
  Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768
  Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 3.858. Standardfehler: 0.995. Kosten je Aufgabe in USD: 0.001003. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-mortgage_tax-2026-10-15-e5c844561f97. Prüfsumme der Quelldaten: e5c844561f97d119d66d70269e726ecfb68be79eae39acf14ead3e95422e648c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: TaxEval v2
Finanzen · Mittleres Rangperzentil der Familie: 3,9 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: VISTA
Multimodal · Mittleres Rangperzentil der Familie: 0,0 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,68 % · Abdeckung dieser Testfamilie: 100 %

Benchmarkquellen im Überblick

Jeder Auswerter misst andere Fähigkeiten unter eigenen Bedingungen. Testreihen, Gesamtindizes und ihre Komponenten bleiben getrennt. Die Ergebnisse darunter behalten ihre Skalen, Konfigurationen und Quelldaten.

Auswerter	Testreihen	Gesamtindizes	Erfasste aktive Messwerte
Artificial Analysis	3	1	12
Vals AI	12	0	62
Scale AI Evals	1	0	1

Die Abdeckung ist keine Qualitätsrangliste. Überschneidende Tests und mehrere Einstellungen zählen nicht als unabhängige Versuche. Herstellerangaben, historische und strittige Ergebnisse bleiben außerhalb dieser Übersicht und sind in den Detailbelegen gekennzeichnet.

Bei 6 Messwerten dieser Quellen ist die Zuordnung zu einer Testreihe noch offen. Sie erhöhen die Zahl der Testreihen nicht.

Veröffentlichte Benchmarks

VISTA

Overall

758 Bild-Text-Aufgaben verbinden OCR, räumliches Verständnis, Objekterkennung und offene visuelle Schlussfolgerungen. Der Datensatz ist privat und wird mit aufgabenspezifischen Rubriken bewertet. Die Ergebnisse sind daher schwer unabhängig nachzurechnen.

1.Gemini 2.5 Pro54,63 %

2.GPT-5.4 Pro53,89 %

3.GPT-5 Pro52,39 %

4.o3-pro51,63 %

5.GPT-5.450,89 %

6.GPT-5 mini50,39 %

7.GPT-549,69 %

8.GPT-4.145,34 %

9.GPT-4.1 mini41,14 %

10.Llama 4 Maverick38,33 %

11.GPT-4.1 nano26,55 %

höhere Werte sind besserStand 26. August 2026Skala: 0 % - 100 %

Quelle: Scale AI

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: scale-vista-private-overall
Messgröße: rubric score
Skala: 0-100
Teilnehmer: 11
Methodik und Einordnung: 758 einzelne Bild-Text-Aufgaben mit strukturierten Ja-Nein-Rubriken.. Kennung des Quellmodells: curated/gpt-4.1-nano. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 26,55 % ± 0,35. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-a4d5ac758f60. Prüfsumme der Quelldaten: a4d5ac758f60c33e7a59f3f05e6e0ddfe41226fbcd27fb88bced23199c68c38f. Parserversion: curated-v1. Importiert am: 2026-10-15

Quelle: Scale AI

Finanzen

CorpFin v2

Teilaufgabe	GPT-4.1 nano (Dieses Modell)	GPT-4.1	GPT-4.1 mini
Exact Pages	48,95 %	62,82 % (bester Wert dieser Zeile)	59,44 %
Max Fitting Context	38,46 %	60,84 % (bester Wert dieser Zeile)	55,01 %
Overall	42,08 %	63,05 % (bester Wert dieser Zeile)	57,93 %
Shared Max Context	38,81 %	65,5 % (bester Wert dieser Zeile)	59,32 %

höhere Werte sind besserStand 15. Oktober 2026Quelle: Vals AIBalken je Zeile skaliert, nicht über Zeilen hinweg

Methodik und Einordnung

Messgröße: accuracy

Reasoning

GPQA Diamond

Teilaufgabe	GPT-4.1 nano (Dieses Modell)	GPT-4.1 mini	GPT-4.1
Few-Shot CoT	51,01 %	64,65 % (bester Wert dieser Zeile)	64,14 %
Zero-Shot CoT	50,51 %	71,21 % (bester Wert dieser Zeile)	66,67 %
Overall	50,76 %	67,93 % (bester Wert dieser Zeile)	65,4 %

höhere Werte sind besserStand 15. Oktober 2026Quelle: Vals AIBalken je Zeile skaliert, nicht über Zeilen hinweg

Methodik und Einordnung

Messgröße: accuracy

Programmieren

LiveCodeBench v6

Teilaufgabe	GPT-4.1 nano (Dieses Modell)	GPT-4.1 mini	GPT-4.1
Easy	85,4 %	95,34 % (bester Wert dieser Zeile)	94,72 %
Hard	8,29 %	21,43 % (bester Wert dieser Zeile)	13,14 %
Medium	34,47 %	57,7 % (bester Wert dieser Zeile)	56,14 %
Overall	42,72 %	58,16 % (bester Wert dieser Zeile)	54,67 %

höhere Werte sind besserStand 15. Oktober 2026Quelle: Vals AIBalken je Zeile skaliert, nicht über Zeilen hinweg

Methodik und Einordnung

Messgröße: accuracy

Dokumentierte Messdetails

VISTA: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 26.55
Bewertung: 26.55
Messgröße: rubric score
Einheit: %
Benchmark-Version: 758 private prompt-image pairs
Kategorie: multimodal
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: scale-vista-private-overall
Konfidenzintervall: 0.35
Quellentyp: official-leaderboard
Auswertung: Scale AI
Status: active
Abrufdatum: 2026-08-26
Methodik: 758 einzelne Bild-Text-Aufgaben mit strukturierten Ja-Nein-Rubriken.. Kennung des Quellmodells: curated/gpt-4.1-nano. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 26,55 % ± 0,35. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-a4d5ac758f60. Prüfsumme der Quelldaten: a4d5ac758f60c33e7a59f3f05e6e0ddfe41226fbcd27fb88bced23199c68c38f. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 758 einzelne Bild-Text-Aufgaben mit strukturierten Ja-Nein-Rubriken.

Quelle Scale AI

CorpFin v2: Exact Pages (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 48.951
Bewertung: 48.951
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: exact_pages
Aufgabenbezeichnung: Exact Pages
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:exact_pages
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 3.869. Standardfehler: 1.707. Kosten je Aufgabe in USD: 0.000183. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768

CorpFin v2: Max Fitting Context (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 38.462
Bewertung: 38.462
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: max_fitting_context
Aufgabenbezeichnung: Max Fitting Context
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:max_fitting_context
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 5.948. Standardfehler: 1.661. Kosten je Aufgabe in USD: 0.012861. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768

CorpFin v2: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 42.075
Bewertung: 42.075
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 4.954. Standardfehler: 0.968. Kosten je Aufgabe in USD: 0.006454. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768

CorpFin v2: Shared Max Context (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 38.811
Bewertung: 38.811
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: shared_max_context
Aufgabenbezeichnung: Shared Max Context
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:shared_max_context
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 5.045. Standardfehler: 1.664. Kosten je Aufgabe in USD: 0.006318. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768

GPQA Diamond: Few-Shot CoT (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 51.01
Bewertung: 51.01
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: reasoning
Aufgabe: diamond_few_shot_cot
Aufgabenbezeichnung: Few-Shot CoT
Richtung: Mehr ist besser
Vergleichskohorte: vals-gpqa:1:diamond_few_shot_cot
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 4.255. Standardfehler: 3.438. Kosten je Aufgabe in USD: 0.000576. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-10-15-951eb5224097. Prüfsumme der Quelldaten: 951eb5224097733a9d09d06c14908ae2980e2e640e539f2c284877c5092d7077. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768

GPQA Diamond: Zero-Shot CoT (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 50.505
Bewertung: 50.505
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: reasoning
Aufgabe: diamond_zero_shot_cot
Aufgabenbezeichnung: Zero-Shot CoT
Richtung: Mehr ist besser
Vergleichskohorte: vals-gpqa:1:diamond_zero_shot_cot
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 4.128. Standardfehler: 3.512. Kosten je Aufgabe in USD: 0.0004. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-10-15-951eb5224097. Prüfsumme der Quelldaten: 951eb5224097733a9d09d06c14908ae2980e2e640e539f2c284877c5092d7077. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768

GPQA Diamond: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 50.758
Bewertung: 50.758
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: reasoning
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-gpqa:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 4.192. Standardfehler: 2.457. Kosten je Aufgabe in USD: 0.000488. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-10-15-951eb5224097. Prüfsumme der Quelldaten: 951eb5224097733a9d09d06c14908ae2980e2e640e539f2c284877c5092d7077. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768

LiveCodeBench v6: Easy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 85.404
Bewertung: 85.404
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: easy
Aufgabenbezeichnung: Easy
Richtung: Mehr ist besser
Vergleichskohorte: vals-lcb:1:easy
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 2.331. Standardfehler: 1.968. Kosten je Aufgabe in USD: 0.000107. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-lcb-2026-10-15-1a7c7dabc9d9. Prüfsumme der Quelldaten: 1a7c7dabc9d95a0182886b1edc42623987cac2095a0d407a5e334f37acdfa2f5. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768

LiveCodeBench v6: Hard (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 8.286
Bewertung: 8.286
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: hard
Aufgabenbezeichnung: Hard
Richtung: Mehr ist besser
Vergleichskohorte: vals-lcb:1:hard
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 22.324. Standardfehler: 1.473. Kosten je Aufgabe in USD: 0.000588. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-lcb-2026-10-15-1a7c7dabc9d9. Prüfsumme der Quelldaten: 1a7c7dabc9d95a0182886b1edc42623987cac2095a0d407a5e334f37acdfa2f5. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768

LiveCodeBench v6: Medium (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 34.465
Bewertung: 34.465
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: medium
Aufgabenbezeichnung: Medium
Richtung: Mehr ist besser
Vergleichskohorte: vals-lcb:1:medium
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 10.747. Standardfehler: 2.428. Kosten je Aufgabe in USD: 0.000199. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-lcb-2026-10-15-1a7c7dabc9d9. Prüfsumme der Quelldaten: 1a7c7dabc9d95a0182886b1edc42623987cac2095a0d407a5e334f37acdfa2f5. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768

LiveCodeBench v6: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 42.718
Bewertung: 42.718
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-lcb:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: openai/gpt-4.1-nano-2025-04-14. Name des Quellmodells: GPT-4.1 nano. Anbieter laut Quelle: OpenAI. Modellstand: gpt-4.1-nano-2025-04-14. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768. Latenz in Sekunden: 11.801. Standardfehler: 1.152. Kosten je Aufgabe in USD: 0.000298. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-lcb-2026-10-15-1a7c7dabc9d9. Prüfsumme der Quelldaten: 1a7c7dabc9d95a0182886b1edc42623987cac2095a0d407a5e334f37acdfa2f5. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Reasoning-Stufe: high. Temperatur: 1. Maximale Ausgabetoken: 32768

Seite 1 von 9

Vorgänger und Nachfolger

Quellen und Datenstand

Art	Nachweis und Datenstand
Geschwindigkeit	OpenAI. Ausgabetempo nach dem ersten empfangenen Textabschnitt, nicht die gesamte Antwortzeit. Bei Artificial Analysis als veraltet eingeordnet. Artificial Analysis pflegt dort nur noch den Standard-Workload mit 10.000 Eingabe-Token. Abgerufen am 8. September 2026. Quelle: Artificial Analysis · Artificial Analysis (abgerufen 8. September 2026)Messmethode der Geschwindigkeit
Eingabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · Modellmetadaten (abgerufen 8. September 2026) · GPT-4.1 nano API model documentation · Redaktionelle Beschreibung geprüft am 4. Oktober 2026
Ausgabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · Modellmetadaten (abgerufen 8. September 2026) · GPT-4.1 nano API model documentation · Redaktionelle Beschreibung geprüft am 4. Oktober 2026
Recherchestand	Recherchestand 8. September 2026. 3 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
In den geprüften Quellen nicht gefunden	parameters-billions Originalwortlaut OpenAI API and release pages do not publish parameter counts.
In den geprüften Quellen nicht gefunden	independent-benchmarks Originalwortlaut Only exact OpenAI appendix columns were used in this artifact.
Weitere Quelle	Kontextfenster-Daten
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Scale AI (abgerufen 26. August 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	OpenAI (abgerufen 8. September 2026) · Introducing GPT-4.1 in the API · Redaktionelle Beschreibung geprüft am 4. Oktober 2026
Weitere Quelle	OpenRouter: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Vercel AI Gateway: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Ollama: kumulierte Downloads für den Beliebtheitsindex
Weitere Quelle	Replicate: kumulierte Ausführungen für den Beliebtheitsindex
Weitere Quelle	Google Trending Now: begrenzte Feed-Auswahl für Deutschland und USA
Weitere Quelle	Creative Commons Attribution 4.0
Weitere Quelle	Introducing GPT-5 for developers (2026-09-19)