SprachmodellAktiv

Gemini 2.5 Flash

Google

Veröffentlicht: 17. Juni 2025
Datenstand: 8. September 2026
Nachfolgermodell: Gemini 3 Flash Preview

Benchmark-Meta-Score: Nicht berechenbar
Weniger als acht Testreihen
Geschwindigkeit: 215,1 Token/s
Ausgabe-Tempo
Preis: 0,3 $ · 2,5 $
Eingabe · Ausgabe / 1 Mio. Token
Eingabe: Text, Bild, Audio, Video
Ausgabe: Text

Neu an Gemini 2.5 Flash ist das hybride Reasoning. Google lässt Thinking ein- oder ausschalten und über ein Budget steuern. Die stabile GA-Version bleibt verfügbar, der API-Zugang ist inzwischen aber auf Nutzer mit früherer 2.5-Nutzung begrenzt. Gemini 3 Flash Preview folgt in der dokumentierten Entwicklung.

Die Modellkarte nennt als Grenzen kausales Verständnis, komplexe logische Deduktion und kontrafaktisches Schließen.

Technische Daten und Zugang

Angabe	Wert und Quelle
Gewichte	ProprietärQuelle
Zugang	APIQuelle
Kontextfenster	1.048.576 TokenQuelle
Knowledge Cutoff	Januar 2025Quelle
Hinweise	1M Kontext, Parameteranzahl nicht veröffentlichtQuelle
API-Modellkennung	gemini-2.5-flashQuelle
Status laut Quelle	stableQuelle
Maximale Ausgabe	65.536 TokenQuelle
Eingabe	Text, Bild, Video, Audio, pdfQuelle
Ausgabe	TextQuelle
Reasoning-Modus	low, medium, highQuelle
Werkzeugaufrufe	JaQuelle
Strukturierte Ausgabe	JaQuelle
Veröffentlichung	2025-06-17Quelle
Wissensstand	2025-01Quelle
Funktionen	function calling, structured outputs, search grounding, Google Maps grounding, URL context, code execution, file searchQuelle
Allgemeine Verfügbarkeit	2025-06-17 (General availability (GA).)Quelle

Benchmark-Metaanalyse

Gesamt- und Bereichsscores

Diese Gradually-Indizes ordnen ausgewählte veröffentlichte Messwerte auf einer Skala von 0 bis 100 ein. Sie sind keine Prozentgenauigkeit und keine Garantie für ein Ergebnis in deiner Anwendung.

Abrufstände der verwendeten Quellen 2026-08-05 - 2026-08-26

Gesamtindex

Noch nicht genug unabhängige Werte für einen Score

Ein Gesamtwert braucht mindestens acht Testreihen.

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Testreihen: 5
Testfamilien: 5 / 65
Quellen: 2
Anteil am festen Testpanel (informativ): 8 %

Agenten

Index unter 1 / 100

vorläufig

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,2
Testreihen: 2
Testfamilien: 2 / 12
Quellen: 1
Anteil am festen Testpanel (informativ): 17 %

Finanzen

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,1
95-%-Intervall: 0,0 bis 0,6
Testreihen: 1
Testfamilien: 1 / 7
Quellen: 1
Anteil am festen Testpanel (informativ): 14 %

Recht

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,2
95-%-Intervall: 0,0 bis 1,1
Testreihen: 1
Testfamilien: 1 / 4
Quellen: 1
Anteil am festen Testpanel (informativ): 25 %

Multimodal

Index unter 1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,0
95-%-Intervall: 0,0 bis 0,1
Testreihen: 1
Testfamilien: 1 / 4
Quellen: 1
Anteil am festen Testpanel (informativ): 25 %

Dokumentierte Methode · Einbezogene Testfamilien und Messwerte

Methodenfassung: benchmark-meta-score-v3

Es zählen aktive Messwerte aus geprüften Primärquellen, wenn mindestens fünf Modelle im selben dokumentierten Vergleichsschnitt aus Datensatz, Harness, Agent, Werkzeugen und Versuchsanzahl verglichen werden. Pro Benchmark-Reihe und Auswerter zählt ein gemeinsamer Setup-Schnitt aus dem neuesten Abruf. Bei mehreren ausdrücklich erfassten Reasoning-Stufen derselben Quelle und Testreihe zählt die höchste dokumentierte Stufe (none bis max), nicht der höchste Ergebniswert. Die ausdrückliche Quellenangabe „Non-reasoning“ entspricht none. Unbekannte oder mehrdeutige Stufen führen zum Ausschluss des Modells aus der betreffenden Reihe. Innerhalb jeder Reihe werden Prozentwerte und Quoten logit-transformiert, andere Einheiten bleiben unverändert, und anschließend werden alle Werte standardisiert. Ein Ein-Faktor-Modell schätzt daraus eine gemeinsame Leistungsstärke je Modell und je Reihe, wie deutlich sie zwischen den Modellen trennt. Bereichswerte weichen davon nur so weit ab, wie die eigenen Ergebnisse im Bereich es belegen. Der Gesamtwert gewichtet die Kernbereiche mit 75 % und Finanzen, Recht und Gesundheit mit 25 %. Er erfordert mindestens acht Testreihen aus zwei Quellen und drei Bereichen. Die Skala von 0 bis 100 bezieht sich auf eine feste Referenzgruppe aus 29 Sprachmodellen, deren Durchschnitt bei 50 liegt.

Veröffentlichte modellabhängige Parameter können abweichen. Das ist kein kontrolliertes Experiment; solche Vergleiche werden als vorläufig gekennzeichnet.

Nicht gemessene Reihen werden nicht als Nullwert eingesetzt. Fehlen einem Modell eigene Werte in einem Kernbereich, steht dort seine Gesamtstärke, und der Hinweis „geschätzt, ohne eigene Werte in …“ nennt den Bereich. Weniger Testreihen führen zu einem größeren Standardfehler.

Das 95-%-Intervall folgt aus dem Standardfehler von 200 Neuberechnungen mit zufällig neu gezogenen Testfamilien. Es beschreibt, wie genau die erfassten Testreihen den Wert festlegen. Es ist keine Prognose für künftige Aufgaben oder spätere Neuberechnungen mit anderen Teilnehmern.

Die Quellenzahl ist keine Anzahl unabhängiger Experimente.

OECD-Handbuch zu zusammengesetzten Indikatoren

Alle 5 Testfamilien und 5 von 5 Rohmesswerten sind hier aufgeführt. Die vollständige Rechnung für alle Modelle enthält der JSON-Export.

Testfamilie: GAIA Reliability
Agenten · Mittleres Rangperzentil der Familie: 25,0 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
- Princeton HAL
  Einzelmessung:
  hal-gaia-reliability
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,89 %
  Rohwert:
  46,7 %
  Messgröße:
  exact-match accuracy
  Version:
  final leak-cleaned public validation set
  Teilnehmende Modelle:
  9
  Rangperzentil innerhalb der Kohorte:
  25,0 %
  Abgerufen:
  2026-08-06
  Vergleichskohorte:
  hal-gaia-reliability-hal-reliability-overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  hal-gaia-reliability-hal-reliability-overall
  Datensatztyp:
  public
  Harness:
  HAL Reliability
  Agent:
  HAL Reliability
  Setup- und Modellparameter
  165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Harness: HAL Reliability. Agent: HAL Reliability
  165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-ec0350e989af. Prüfsumme der Quelldaten: ec0350e989af492497edfa7fb858ea21c4693c375e9212b1ad488dc3f8eb81f8. Parserversion: curated-v1. Importiert am: 2026-10-15
Testfamilie: τ-bench Airline Clean
Agenten · Mittleres Rangperzentil der Familie: 12,5 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
- Princeton HAL
  Einzelmessung:
  hal-tau-airline-clean
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,89 %
  Rohwert:
  59 %
  Messgröße:
  task success rate
  Version:
  26-task cleaned subset
  Teilnehmende Modelle:
  9
  Rangperzentil innerhalb der Kohorte:
  12,5 %
  Abgerufen:
  2026-08-05
  Vergleichskohorte:
  hal-tau-airline-clean-hal-reliability-overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  hal-tau-airline-clean-hal-reliability-overall
  Datensatztyp:
  public
  Harness:
  HAL Reliability
  Agent:
  HAL Reliability
  Setup- und Modellparameter
  26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Harness: HAL Reliability. Agent: HAL Reliability
  26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-781c5011daf3. Prüfsumme der Quelldaten: 781c5011daf31b3367fa81ab29685b1d3b7b0e7f082a01f9888879c8a7223b33. Parserversion: curated-v1. Importiert am: 2026-10-15
Testfamilie: PRBench Finance
Finanzen · Mittleres Rangperzentil der Familie: 13,3 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
- Scale AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  prbench-finance
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  1,19 %
  Rohwert:
  38,41 %
  Messgröße:
  weighted rubric score
  Version:
  full finance set
  Teilnehmende Modelle:
  16
  Rangperzentil innerhalb der Kohorte:
  13,3 %
  Abgerufen:
  2026-08-26
  Vergleichskohorte:
  scale-prbench-finance-full
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  scale-prbench-finance-full
  Datensatztyp:
  public
  Versuche:
  pass@1
  Setup- und Modellparameter
  600 Finanzaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Versuche: pass@1
  600 Finanzaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 38,41 % ± 0,62. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-88c18b250ab8. Prüfsumme der Quelldaten: 88c18b250ab815175025671db93668dc330c2e53f517c9e8a1de37d51f27b988. Parserversion: curated-v1. Importiert am: 2026-10-15
Testfamilie: PRBench Legal
Recht · Mittleres Rangperzentil der Familie: 26,7 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,08 % · Abdeckung dieser Testfamilie: 100 %
- Scale AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  prbench-legal
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,08 %
  Rohwert:
  41,02 %
  Messgröße:
  weighted rubric score
  Version:
  full legal set
  Teilnehmende Modelle:
  16
  Rangperzentil innerhalb der Kohorte:
  26,7 %
  Abgerufen:
  2026-08-26
  Vergleichskohorte:
  scale-prbench-legal-full
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  scale-prbench-legal-full
  Datensatztyp:
  public
  Versuche:
  pass@1
  Setup- und Modellparameter
  500 Rechtsaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Versuche: pass@1
  500 Rechtsaufgaben mit aufgabenspezifischen Rubriken und o4-mini als Juror.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 41,02 % ± 0,61. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-4e04093a101b. Prüfsumme der Quelldaten: 4e04093a101b1d3499b6333e4267cf0de410540678436d292d53e2bdc6fdb3ca. Parserversion: curated-v1. Importiert am: 2026-10-15
Testfamilie: VisualToolBench
Multimodal · Mittleres Rangperzentil der Familie: 22,2 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,68 % · Abdeckung dieser Testfamilie: 100 %
- Scale AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  visual-toolbench
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,68 %
  Rohwert:
  4,69 %
  Messgröße:
  average pass rate
  Version:
  1,204-task release
  Teilnehmende Modelle:
  10
  Rangperzentil innerhalb der Kohorte:
  22,2 %
  Abgerufen:
  2026-08-26
  Vergleichskohorte:
  scale-visual-toolbench-apr
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  scale-visual-toolbench-apr
  Datensatztyp:
  public
  Versuche:
  pass@1
  Setup- und Modellparameter
  1.204 Aufgaben, sechs Werkzeuge und höchstens 20 Werkzeugaufrufe pro Aufgabe.. Versuche: pass@1
  1.204 Aufgaben, sechs Werkzeuge und höchstens 20 Werkzeugaufrufe pro Aufgabe.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Scale AI. Datensatztyp: public. Versuche: pass@1. Angezeigter Wert: 4,69 % ± 0,13. Quellenkennung: scale-ai. Kennung der Evidenzaufnahme: curated-scale-ai-2026-08-26-d08ed1b114e6. Prüfsumme der Quelldaten: d08ed1b114e6589943992e9b9a599fec181130395dc31d8682e7dc5ca15a7130. Parserversion: curated-v1. Importiert am: 2026-10-15

Benchmarkquellen im Überblick

Jeder Auswerter misst andere Fähigkeiten unter eigenen Bedingungen. Testreihen, Gesamtindizes und ihre Komponenten bleiben getrennt. Die Ergebnisse darunter behalten ihre Skalen, Konfigurationen und Quelldaten.

Auswerter	Testreihen	Gesamtindizes	Erfasste aktive Messwerte
Artificial Analysis	3	1	16
Vals AI	3	0	14
Princeton HAL	2	0	12
Scale AI Evals	3	0	3

Die Abdeckung ist keine Qualitätsrangliste. Überschneidende Tests und mehrere Einstellungen zählen nicht als unabhängige Versuche. Herstellerangaben, historische und strittige Ergebnisse bleiben außerhalb dieser Übersicht und sind in den Detailbelegen gekennzeichnet.

Bei 6 Messwerten dieser Quellen ist die Zuordnung zu einer Testreihe noch offen. Sie erhöhen die Zahl der Testreihen nicht.

Veröffentlichte Benchmarks

Agentenaufgaben

GAIA Reliability

Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen. Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.

Teilaufgabe	Gemini 2.5 Flash (Dieses Modell)	Claude Opus 4.5	Claude Opus 4.7	Gemini 3.1 Pro Preview	Gemini 3.5 Flash	GPT-4o mini	Gemini 2.5 Pro	o1	GPT-5.5
Consistency	0,7	0,81 (bester Wert dieser Zeile)	0,81 (bester Wert dieser Zeile)	0,76	0,75	0,73	0,72	0,68	0,61
Predictability	0,64	0,84 (bester Wert dieser Zeile)	0,73	0,78	0,8	0,58	0,71	0,68	0,8
Reliability	0,74	0,85 (bester Wert dieser Zeile)	0,84	0,82	0,84	0,76	0,78	0,79	0,79
Robustness	0,87	0,91	0,99	0,94	0,96	0,97	0,91	1 (bester Wert dieser Zeile)	0,95
Safety	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)	1 (bester Wert dieser Zeile)

Einheit: Bewertunghöhere Werte sind besserStand 6. August 2026Quelle: Princeton HALBalken je Zeile skaliert, nicht über Zeilen hinweg

GAIA Reliability

Accuracy

1.Gemini 3.5 Flash79,2 %

2.Gemini 3.1 Pro Preview76,2 %

3.Claude Opus 4.773,3 %

4.Claude Opus 4.568,5 %

5.GPT-5.562,8 %

6.Gemini 2.5 Pro52,5 %

7.Gemini 2.5 Flash46,7 %

8.o134,4 %

9.GPT-4o mini26,3 %

höhere Werte sind besserStand 6. August 2026Skala: 0 % - 100 %

Quelle: Princeton HAL

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-gaia-reliability-hal-reliability-overall
Messgröße: exact-match accuracy
Skala: 0-100
Teilnehmer: 9
Methodik und Einordnung: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-ec0350e989af. Prüfsumme der Quelldaten: ec0350e989af492497edfa7fb858ea21c4693c375e9212b1ad488dc3f8eb81f8. Parserversion: curated-v1. Importiert am: 2026-10-15

Quelle: Princeton HAL

τ-bench Airline Clean

26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen. Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.

Teilaufgabe	Gemini 2.5 Flash (Dieses Modell)	Claude Opus 4.7	Claude Opus 4.5	GPT-5.5	Gemini 3.1 Pro Preview	Gemini 3.5 Flash	Gemini 2.5 Pro	GPT-4o mini	o1
Consistency	0,75	0,88 (bester Wert dieser Zeile)	0,84	0,84	0,81	0,78	0,74	0,74	0,71
Predictability	0,6	0,87 (bester Wert dieser Zeile)	0,85	0,84	0,83	0,82	0,78	0,35	0,74
Reliability	0,72	0,89 (bester Wert dieser Zeile)	0,88	0,89 (bester Wert dieser Zeile)	0,86	0,86	0,81	0,67	0,81
Robustness	0,82	0,91	0,97	0,97	0,94	0,97	0,93	0,93	0,98 (bester Wert dieser Zeile)
Safety	0,9	0,94	0,98	0,96	0,97	0,99 (bester Wert dieser Zeile)	0,92	0,85	0,91

Einheit: Bewertunghöhere Werte sind besserStand 5. August 2026Quelle: Princeton HALBalken je Zeile skaliert, nicht über Zeilen hinweg

τ-bench Airline Clean

Accuracy

1.Claude Opus 4.784,6 %

2.Gemini 3.1 Pro Preview82,1 %

3.Claude Opus 4.580,8 %

3.Gemini 3.5 Flash80,8 %

5.GPT-5.579,5 %

6.Gemini 2.5 Pro71,8 %

7.o166,2 %

8.Gemini 2.5 Flash59 %

9.GPT-4o mini29,5 %

höhere Werte sind besserStand 5. August 2026Skala: 0 % - 100 %

Quelle: Princeton HAL

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-tau-airline-clean-hal-reliability-overall
Messgröße: task success rate
Skala: 0-100
Teilnehmer: 9
Methodik und Einordnung: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-781c5011daf3. Prüfsumme der Quelldaten: 781c5011daf31b3367fa81ab29685b1d3b7b0e7f082a01f9888879c8a7223b33. Parserversion: curated-v1. Importiert am: 2026-10-15

Quelle: Princeton HAL

Dokumentierte Messdetails

GAIA Reliability: Consistency (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.7
Bewertung: 0.7
Messgröße: aggregate consistency
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: consistency
Aufgabenbezeichnung: Consistency
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-consistency
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-8fabb56ccf92. Prüfsumme der Quelldaten: 8fabb56ccf92853585e6cf40f25f4bd6eb7b3ed4d70a3a9f50d8b97eb56f4047. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Predictability (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.64
Bewertung: 0.64
Messgröße: aggregate predictability
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: predictability
Aufgabenbezeichnung: Predictability
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-predictability
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-d99783ab6f78. Prüfsumme der Quelldaten: d99783ab6f787e6c1457af9dde7cf159a8716a1f7e941533dfd47bd0dd47fdd0. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Reliability (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.74
Bewertung: 0.74
Messgröße: aggregate reliability
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: reliability
Aufgabenbezeichnung: Reliability
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-reliability
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-168466553152. Prüfsumme der Quelldaten: 16846655315224fa440fcd0321202b7dfa8a4130573fe58faac6da71b1146e97. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Robustness (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.87
Bewertung: 0.87
Messgröße: aggregate robustness
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: robustness
Aufgabenbezeichnung: Robustness
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-robustness
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-2b2fc2a6fed2. Prüfsumme der Quelldaten: 2b2fc2a6fed208076717b36345d3d979236a239b53816d51f5e6de909ab6e921. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Safety (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 1
Bewertung: 1
Messgröße: aggregate safety
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: safety
Aufgabenbezeichnung: Safety
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-safety
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-7b0b29385a9a. Prüfsumme der Quelldaten: 7b0b29385a9adcf56735e8978a0e9f3a9c5ef2d1c29fc664c87ba01894f30f03. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 46.7
Bewertung: 46.7
Messgröße: exact-match accuracy
Einheit: %
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-ec0350e989af. Prüfsumme der Quelldaten: ec0350e989af492497edfa7fb858ea21c4693c375e9212b1ad488dc3f8eb81f8. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

τ-bench Airline Clean: Consistency (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.75
Bewertung: 0.75
Messgröße: aggregate consistency
Einheit: rating
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: consistency
Aufgabenbezeichnung: Consistency
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-consistency
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-abed2a7158fa. Prüfsumme der Quelldaten: abed2a7158fa39004f9a9b2a459865dcf4cb79871117ca5d41fb73a82449378e. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

τ-bench Airline Clean: Predictability (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.6
Bewertung: 0.6
Messgröße: aggregate predictability
Einheit: rating
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: predictability
Aufgabenbezeichnung: Predictability
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-predictability
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-b5a35a49844a. Prüfsumme der Quelldaten: b5a35a49844a501da2d8ef2ec0e8f6f66be49c4889ff6c4cd7082dc165bf797e. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

τ-bench Airline Clean: Reliability (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.72
Bewertung: 0.72
Messgröße: aggregate reliability
Einheit: rating
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: reliability
Aufgabenbezeichnung: Reliability
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-reliability
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-90e450de5dc4. Prüfsumme der Quelldaten: 90e450de5dc466dc08ea690da49ce7848c3ec293974c718f0631028afdc650b9. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

τ-bench Airline Clean: Robustness (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.82
Bewertung: 0.82
Messgröße: aggregate robustness
Einheit: rating
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: robustness
Aufgabenbezeichnung: Robustness
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-robustness
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-9fdb5eb35d92. Prüfsumme der Quelldaten: 9fdb5eb35d92aac92a3e215d4bea6422b90dc35736dba1b0308299783017bfff. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

τ-bench Airline Clean: Safety (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.9
Bewertung: 0.9
Messgröße: aggregate safety
Einheit: rating
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: safety
Aufgabenbezeichnung: Safety
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-safety
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-6b877739ac96. Prüfsumme der Quelldaten: 6b877739ac96766c81a5b7b2e5ab1c275ede0f70561c6c04797bf264879d9461. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

τ-bench Airline Clean: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 59
Bewertung: 59
Messgröße: task success rate
Einheit: %
Benchmark-Version: 26-task cleaned subset
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-tau-airline-clean-hal-reliability-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-05
Methodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-781c5011daf3. Prüfsumme der Quelldaten: 781c5011daf31b3367fa81ab29685b1d3b7b0e7f082a01f9888879c8a7223b33. Parserversion: curated-v1. Importiert am: 2026-10-15
Vergleichsmethodik: 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.

Quelle Princeton HAL

Seite 1 von 6

Vorgänger und Nachfolger

Quellen und Datenstand

Art	Nachweis und Datenstand
Geschwindigkeit	Google, Non-reasoning. Ausgabetempo nach dem ersten empfangenen Textabschnitt, nicht die gesamte Antwortzeit. Bei Artificial Analysis als veraltet eingeordnet. Artificial Analysis pflegt dort nur noch den Standard-Workload mit 10.000 Eingabe-Token. Abgerufen am 8. September 2026. Quelle: Artificial Analysis · Artificial Analysis (abgerufen 8. September 2026)Messmethode der Geschwindigkeit
Preis	API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten. Quelle: Preise · API-Preise
Eingabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · Kontextfenster-Daten (abgerufen 8. September 2026) · Gemini 2.5 Flash API documentation · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Ausgabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · Kontextfenster-Daten (abgerufen 8. September 2026) · Gemini 2.5 Flash API documentation · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Recherchestand	Recherchestand 8. September 2026. 4 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
In den geprüften Quellen nicht gefunden	parameters-billions Originalwortlaut Google does not publish a parameter count on the Gemini API model page.
In den geprüften Quellen nicht gefunden	active-parameters-billions Originalwortlaut Google does not publish active parameter counts for Gemini API models.
Weitere Quelle	Modellmetadaten
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Princeton HAL (abgerufen 6. August 2026)
Weitere Quelle	Princeton HAL (abgerufen 5. August 2026)
Weitere Quelle	LongBench (abgerufen 2. September 2026)
Weitere Quelle	Scale AI (abgerufen 26. August 2026)
Weitere Quelle	Scale AI (abgerufen 26. August 2026)
Weitere Quelle	Scale AI (abgerufen 26. August 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Google DeepMind (abgerufen 8. September 2026) · Gemini 2.5 Flash model card · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Weitere Quelle	Modellmetadaten (abgerufen 8. September 2026)
Weitere Quelle	OpenRouter: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Vercel AI Gateway: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Ollama: kumulierte Downloads für den Beliebtheitsindex
Weitere Quelle	Replicate: kumulierte Ausführungen für den Beliebtheitsindex
Weitere Quelle	Google Trending Now: begrenzte Feed-Auswahl für Deutschland und USA
Weitere Quelle	Creative Commons Attribution 4.0
Weitere Quelle	Google, "Gemini 3 Flash" (2026-09-22)

Gemini 2.5 Flash

Technische Daten und Zugang

Gesamt- und Bereichsscores

Gesamtindex

Agenten

Finanzen

Recht

Multimodal

Testfamilie: GAIA Reliability

Testfamilie: τ-bench Airline Clean

Testfamilie: PRBench Finance

Testfamilie: PRBench Legal

Testfamilie: VisualToolBench

Benchmarkquellen im Überblick

Veröffentlichte Benchmarks

Agentenaufgaben

GAIA Reliability

GAIA Reliability

τ-bench Airline Clean

τ-bench Airline Clean

Dokumentierte Messdetails

Unsere Tests

SVG-Kurztest

Gemini 2.5 Flash

Pelikan auf dem Fahrrad

Beliebtheit

Veröffentlichte Preise

Vorgänger und Nachfolger

Quellen und Datenstand