Gemini 2.5 Flash
Noch nicht getestet
SprachmodellAktiv
Gemini 2.5 Flash
- Veröffentlicht
- April 2025
- Datenstand
- 8. September 2026
- Intelligenz
- Gesamtwertung
- Geschwindigkeit
- 215,1 Token/sAusgabe-Tempo
- Preis
- Eingabe · Ausgabe / 1 Mio. Token
- Eingabe
- Text, Bild, Audio, Video
- Ausgabe
- Text
Für dieses Modell liegt keine veröffentlichte, kategorieweit vergleichbare Gesamtwertung vor.
Einträge 1-12 von 57. Seite 1 von 5.
Veröffentlichte Benchmarks
Die Charts vergleichen Modelle im selben dokumentierten Test. Das aktuelle Modell ist hervorgehoben.
Agentenaufgaben
12 MessreihenGAIA Reliability
Consistency
Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.
Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.
Mehr ist besser9 ModelleGemini 2.5 Flash: Platz 7 von 9Datenstand: 6. August 2026
Skala: 0 Bewertung - 0,81 Bewertung
Methodik und Einordnung
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-consistency
- Messgröße
- aggregate consistency
- Skala
- Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
- Teilnehmer
- 9
- Methodik und Einordnung
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-8fabb56ccf92. Prüfsumme der Quelldaten: 8fabb56ccf92853585e6cf40f25f4bd6eb7b3ed4d70a3a9f50d8b97eb56f4047. Parserversion: curated-v1. Importiert am: 2026-09-04
GAIA Reliability
Accuracy
Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.
Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.
Mehr ist besser9 ModelleGemini 2.5 Flash: Platz 7 von 9Datenstand: 6. August 2026
Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-overall
- Messgröße
- exact-match accuracy
- Skala
- 0-100
- Teilnehmer
- 9
- Methodik und Einordnung
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-ec0350e989af. Prüfsumme der Quelldaten: ec0350e989af492497edfa7fb858ea21c4693c375e9212b1ad488dc3f8eb81f8. Parserversion: curated-v1. Importiert am: 2026-09-04
GAIA Reliability
Predictability
Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.
Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.
Mehr ist besser9 ModelleGemini 2.5 Flash: Platz 8 von 9Datenstand: 6. August 2026
Skala: 0 Bewertung - 0,84 Bewertung
Methodik und Einordnung
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-predictability
- Messgröße
- aggregate predictability
- Skala
- Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
- Teilnehmer
- 9
- Methodik und Einordnung
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-d99783ab6f78. Prüfsumme der Quelldaten: d99783ab6f787e6c1457af9dde7cf159a8716a1f7e941533dfd47bd0dd47fdd0. Parserversion: curated-v1. Importiert am: 2026-09-04
GAIA Reliability
Reliability
Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.
Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.
Mehr ist besser9 ModelleGemini 2.5 Flash: Platz 9 von 9Datenstand: 6. August 2026
Skala: 0 Bewertung - 0,85 Bewertung
Methodik und Einordnung
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-reliability
- Messgröße
- aggregate reliability
- Skala
- Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
- Teilnehmer
- 9
- Methodik und Einordnung
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-168466553152. Prüfsumme der Quelldaten: 16846655315224fa440fcd0321202b7dfa8a4130573fe58faac6da71b1146e97. Parserversion: curated-v1. Importiert am: 2026-09-04
GAIA Reliability
Robustness
Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.
Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.
Mehr ist besser9 ModelleGemini 2.5 Flash: Platz 9 von 9Datenstand: 6. August 2026
Skala: 0 Bewertung - 1 Bewertung
Methodik und Einordnung
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-robustness
- Messgröße
- aggregate robustness
- Skala
- Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
- Teilnehmer
- 9
- Methodik und Einordnung
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-2b2fc2a6fed2. Prüfsumme der Quelldaten: 2b2fc2a6fed208076717b36345d3d979236a239b53816d51f5e6de909ab6e921. Parserversion: curated-v1. Importiert am: 2026-09-04
GAIA Reliability
Safety
Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.
Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.
Mehr ist besser9 ModelleGemini 2.5 Flash: Platz 1 von 9Datenstand: 6. August 2026
Skala: 0 Bewertung - 1 Bewertung
Methodik und Einordnung
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-safety
- Messgröße
- aggregate safety
- Skala
- Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
- Teilnehmer
- 9
- Methodik und Einordnung
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-7b0b29385a9a. Prüfsumme der Quelldaten: 7b0b29385a9adcf56735e8978a0e9f3a9c5ef2d1c29fc664c87ba01894f30f03. Parserversion: curated-v1. Importiert am: 2026-09-04
τ-bench Airline Clean
Consistency
Was der Benchmark prüft: 26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen.
Einordnung: Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.
Mehr ist besser9 ModelleGemini 2.5 Flash: Platz 6 von 9Datenstand: 5. August 2026
Skala: 0 Bewertung - 0,88 Bewertung
Methodik und Einordnung
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-consistency
- Messgröße
- aggregate consistency
- Skala
- Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
- Teilnehmer
- 9
- Methodik und Einordnung
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-abed2a7158fa. Prüfsumme der Quelldaten: abed2a7158fa39004f9a9b2a459865dcf4cb79871117ca5d41fb73a82449378e. Parserversion: curated-v1. Importiert am: 2026-09-04
τ-bench Airline Clean
Accuracy
Was der Benchmark prüft: 26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen.
Einordnung: Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.
Mehr ist besser9 ModelleGemini 2.5 Flash: Platz 8 von 9Datenstand: 5. August 2026
Skala: 0 % - 100 %
Methodik und Einordnung
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-overall
- Messgröße
- task success rate
- Skala
- 0-100
- Teilnehmer
- 9
- Methodik und Einordnung
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-781c5011daf3. Prüfsumme der Quelldaten: 781c5011daf31b3367fa81ab29685b1d3b7b0e7f082a01f9888879c8a7223b33. Parserversion: curated-v1. Importiert am: 2026-09-04
τ-bench Airline Clean
Predictability
Was der Benchmark prüft: 26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen.
Einordnung: Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.
Mehr ist besser9 ModelleGemini 2.5 Flash: Platz 8 von 9Datenstand: 5. August 2026
Skala: 0 Bewertung - 0,87 Bewertung
Methodik und Einordnung
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-predictability
- Messgröße
- aggregate predictability
- Skala
- Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
- Teilnehmer
- 9
- Methodik und Einordnung
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-b5a35a49844a. Prüfsumme der Quelldaten: b5a35a49844a501da2d8ef2ec0e8f6f66be49c4889ff6c4cd7082dc165bf797e. Parserversion: curated-v1. Importiert am: 2026-09-04
τ-bench Airline Clean
Reliability
Was der Benchmark prüft: 26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen.
Einordnung: Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.
Mehr ist besser9 ModelleGemini 2.5 Flash: Platz 8 von 9Datenstand: 5. August 2026
Skala: 0 Bewertung - 0,89 Bewertung
Methodik und Einordnung
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-reliability
- Messgröße
- aggregate reliability
- Skala
- Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
- Teilnehmer
- 9
- Methodik und Einordnung
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-90e450de5dc4. Prüfsumme der Quelldaten: 90e450de5dc466dc08ea690da49ce7848c3ec293974c718f0631028afdc650b9. Parserversion: curated-v1. Importiert am: 2026-09-04
τ-bench Airline Clean
Robustness
Was der Benchmark prüft: 26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen.
Einordnung: Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.
Mehr ist besser9 ModelleGemini 2.5 Flash: Platz 9 von 9Datenstand: 5. August 2026
Skala: 0 Bewertung - 0,98 Bewertung
Methodik und Einordnung
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-robustness
- Messgröße
- aggregate robustness
- Skala
- Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
- Teilnehmer
- 9
- Methodik und Einordnung
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-9fdb5eb35d92. Prüfsumme der Quelldaten: 9fdb5eb35d92aac92a3e215d4bea6422b90dc35736dba1b0308299783017bfff. Parserversion: curated-v1. Importiert am: 2026-09-04
τ-bench Airline Clean
Safety
Was der Benchmark prüft: 26 bereinigte Kundenservice-Aufgaben mit Dialogen, Richtlinien und mutierenden Backend-Werkzeugen.
Einordnung: Der bereinigte Ausschnitt entfernt 24 fehlerhafte oder mehrdeutige Aufgaben. Trefferquote und Zuverlässigkeitsdimensionen messen verschiedene Eigenschaften.
Mehr ist besser9 ModelleGemini 2.5 Flash: Platz 8 von 9Datenstand: 5. August 2026
Skala: 0 Bewertung - 0,99 Bewertung
Methodik und Einordnung
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-safety
- Messgröße
- aggregate safety
- Skala
- Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
- Teilnehmer
- 9
- Methodik und Einordnung
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-6b877739ac96. Prüfsumme der Quelldaten: 6b877739ac96766c81a5b7b2e5ab1c275ede0f70561c6c04797bf264879d9461. Parserversion: curated-v1. Importiert am: 2026-09-04
Dokumentierte Messdetails
Jede Beobachtung enthält den Quellwert und die veröffentlichten Testbedingungen.
GAIA Reliability: Consistency (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.7
- Bewertung
- 0.7
- Messgröße
- aggregate consistency
- Einheit
- rating
- Benchmark-Version
- final leak-cleaned public validation set
- Kategorie
- agentic
- Aufgabe
- consistency
- Aufgabenbezeichnung
- Consistency
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-consistency
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-06
- Methodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-8fabb56ccf92. Prüfsumme der Quelldaten: 8fabb56ccf92853585e6cf40f25f4bd6eb7b3ed4d70a3a9f50d8b97eb56f4047. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
GAIA Reliability: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 46.7
- Bewertung
- 46.7
- Messgröße
- exact-match accuracy
- Einheit
- %
- Benchmark-Version
- final leak-cleaned public validation set
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Accuracy
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-overall
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-06
- Methodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-ec0350e989af. Prüfsumme der Quelldaten: ec0350e989af492497edfa7fb858ea21c4693c375e9212b1ad488dc3f8eb81f8. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
GAIA Reliability: Predictability (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.64
- Bewertung
- 0.64
- Messgröße
- aggregate predictability
- Einheit
- rating
- Benchmark-Version
- final leak-cleaned public validation set
- Kategorie
- agentic
- Aufgabe
- predictability
- Aufgabenbezeichnung
- Predictability
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-predictability
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-06
- Methodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-d99783ab6f78. Prüfsumme der Quelldaten: d99783ab6f787e6c1457af9dde7cf159a8716a1f7e941533dfd47bd0dd47fdd0. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
GAIA Reliability: Reliability (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.74
- Bewertung
- 0.74
- Messgröße
- aggregate reliability
- Einheit
- rating
- Benchmark-Version
- final leak-cleaned public validation set
- Kategorie
- agentic
- Aufgabe
- reliability
- Aufgabenbezeichnung
- Reliability
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-reliability
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-06
- Methodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-168466553152. Prüfsumme der Quelldaten: 16846655315224fa440fcd0321202b7dfa8a4130573fe58faac6da71b1146e97. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
GAIA Reliability: Robustness (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.87
- Bewertung
- 0.87
- Messgröße
- aggregate robustness
- Einheit
- rating
- Benchmark-Version
- final leak-cleaned public validation set
- Kategorie
- agentic
- Aufgabe
- robustness
- Aufgabenbezeichnung
- Robustness
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-robustness
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-06
- Methodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-2b2fc2a6fed2. Prüfsumme der Quelldaten: 2b2fc2a6fed208076717b36345d3d979236a239b53816d51f5e6de909ab6e921. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
GAIA Reliability: Safety (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 1
- Bewertung
- 1
- Messgröße
- aggregate safety
- Einheit
- rating
- Benchmark-Version
- final leak-cleaned public validation set
- Kategorie
- agentic
- Aufgabe
- safety
- Aufgabenbezeichnung
- Safety
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-gaia-reliability-hal-reliability-safety
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-06
- Methodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-7b0b29385a9a. Prüfsumme der Quelldaten: 7b0b29385a9adcf56735e8978a0e9f3a9c5ef2d1c29fc664c87ba01894f30f03. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.
τ-bench Airline Clean: Consistency (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.75
- Bewertung
- 0.75
- Messgröße
- aggregate consistency
- Einheit
- rating
- Benchmark-Version
- 26-task cleaned subset
- Kategorie
- agentic
- Aufgabe
- consistency
- Aufgabenbezeichnung
- Consistency
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-consistency
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-05
- Methodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-abed2a7158fa. Prüfsumme der Quelldaten: abed2a7158fa39004f9a9b2a459865dcf4cb79871117ca5d41fb73a82449378e. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
τ-bench Airline Clean: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 59
- Bewertung
- 59
- Messgröße
- task success rate
- Einheit
- %
- Benchmark-Version
- 26-task cleaned subset
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Accuracy
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-overall
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-05
- Methodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-781c5011daf3. Prüfsumme der Quelldaten: 781c5011daf31b3367fa81ab29685b1d3b7b0e7f082a01f9888879c8a7223b33. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
τ-bench Airline Clean: Predictability (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.6
- Bewertung
- 0.6
- Messgröße
- aggregate predictability
- Einheit
- rating
- Benchmark-Version
- 26-task cleaned subset
- Kategorie
- agentic
- Aufgabe
- predictability
- Aufgabenbezeichnung
- Predictability
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-predictability
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-05
- Methodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-b5a35a49844a. Prüfsumme der Quelldaten: b5a35a49844a501da2d8ef2ec0e8f6f66be49c4889ff6c4cd7082dc165bf797e. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
τ-bench Airline Clean: Reliability (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.72
- Bewertung
- 0.72
- Messgröße
- aggregate reliability
- Einheit
- rating
- Benchmark-Version
- 26-task cleaned subset
- Kategorie
- agentic
- Aufgabe
- reliability
- Aufgabenbezeichnung
- Reliability
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-reliability
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-05
- Methodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-90e450de5dc4. Prüfsumme der Quelldaten: 90e450de5dc466dc08ea690da49ce7848c3ec293974c718f0631028afdc650b9. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
τ-bench Airline Clean: Robustness (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.82
- Bewertung
- 0.82
- Messgröße
- aggregate robustness
- Einheit
- rating
- Benchmark-Version
- 26-task cleaned subset
- Kategorie
- agentic
- Aufgabe
- robustness
- Aufgabenbezeichnung
- Robustness
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-robustness
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-05
- Methodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-9fdb5eb35d92. Prüfsumme der Quelldaten: 9fdb5eb35d92aac92a3e215d4bea6422b90dc35736dba1b0308299783017bfff. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
τ-bench Airline Clean: Safety (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.9
- Bewertung
- 0.9
- Messgröße
- aggregate safety
- Einheit
- rating
- Benchmark-Version
- 26-task cleaned subset
- Kategorie
- agentic
- Aufgabe
- safety
- Aufgabenbezeichnung
- Safety
- Richtung
- Mehr ist besser
- Vergleichskohorte
- hal-tau-airline-clean-hal-reliability-safety
- Quellentyp
- independent-evaluator
- Auswertung
- Princeton HAL
- Status
- active
- Abrufdatum
- 2026-08-05
- Methodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.. Kennung des Quellmodells: curated/gemini-2.5-flash. Name des Quellmodells: Gemini 2.5 Flash. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-05-6b877739ac96. Prüfsumme der Quelldaten: 6b877739ac96766c81a5b7b2e5ab1c275ede0f70561c6c04797bf264879d9461. Parserversion: curated-v1. Importiert am: 2026-09-04
- Vergleichsmethodik
- 26 bereinigte Airline-Aufgaben. Alle Kennzahlen wurden von Princeton HAL auf diesem Ausschnitt neu berechnet.
Eigene Modelltests
Community-Tests zum Anschauen
Vergleiche, wie die Modelle denselben Prompt umsetzen. Jeder Test zeigt den ersten Versuch, ohne nachträgliche Korrekturen am erzeugten Code. Die Ergebnisse fließen nicht in einen Gesamtscore ein.
Pelikan auf dem Fahrrad
Community-Klassiker für eine freie SVG-Zeichnung.
Prompt und Testbedingungen
Generate an SVG of a pelican riding a bicycle
Tokenlimit inklusive Reasoning: 8.192 Token
Ursprung der Aufgabe (Simon Willison)Steckbrief
Technische Daten und Zugang
Veröffentlichte Angaben zum Modell. Vorhandene Schätzungen sind ausdrücklich gekennzeichnet.
Weitere Quellenangaben
Datierte Angaben aus Dokumentation und Modellkarten. Anbieterlimits sowie native und erweiterte Kontextfenster können sich unterscheiden. Konfigurationshinweise bleiben im Original erhalten.
- API-Modellkennung
- gemini-2.5-flashQuelle
- Status laut Quelle
- stableQuelle
- Maximale Ausgabe
- 65.536 TokenQuelle
- Eingabe
- Text, Bild, Video, Audio, pdfQuelle
- Ausgabe
- TextQuelle
- Reasoning-Modus
- low, medium, highQuelle
- Werkzeugaufrufe
- JaQuelle
- Strukturierte Ausgabe
- JaQuelle
- Veröffentlichung
- 2025-06-17Quelle
- Wissensstand
- 2025-01Quelle
- Funktionen
- function calling, structured outputs, search grounding, Google Maps grounding, URL context, code execution, file searchQuelle
- Allgemeine Verfügbarkeit
- 2025-06-17 (General availability (GA).)Quelle
Kosten
Veröffentlichte Preise
Die Preise gelten für die jeweils genannte Einheit. Auflösung, Ausgabelänge und Anbieter können die Kosten verändern.
Kostenbeispiel
100 API-Anfragen
0,155 $
100 Anfragen mit je 1.000 Eingabe- und 500 Ausgabe-Token kosten rechnerisch 0,155 $. Davon entfallen 0,03 $ auf Eingaben und 0,125 $ auf Ausgaben.
- Eingabe-Preis
- 0,3 $ / 1 Mio. TokenBasisstufe je Anfrage
- Ausgabe-Preis
- 2,5 $ / 1 Mio. TokenBasisstufe je Anfrage
Die Rechnung nutzt die dokumentierten Tokenpreise und keinen Cache-Rabatt. Zusätzliche Tools, Steuern, Reasoning-Token und weitere nicht sichtbare Ausgabe-Token sind nicht enthalten.
Quelle öffnenDirekte Vergleiche
Dieses Modell im Vergleich
Jedes Duell vergleicht dieses Modell mit genau einem weiteren Modell aus derselben Kategorie.
Für dieses Modell sind noch keine direkten Vergleiche veröffentlicht.
Nachweise
Quellen und Datenstand
Alle Angaben verweisen auf die zugrunde liegende Dokumentation oder das jeweilige Leaderboard.
- Geschwindigkeit
Google, Non-reasoning. Ausgabetempo nach dem ersten empfangenen Textabschnitt, nicht die gesamte Antwortzeit. Bei Artificial Analysis als veraltet eingeordnet. Artificial Analysis pflegt dort nur noch den Standard-Workload mit 10.000 Eingabe-Token. Abgerufen am 8. September 2026.
- Preis
API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten.
- Eingabe
Dokumentierte Modalitäten. Abgerufen am 8. September 2026.
- Ausgabe
Dokumentierte Modalitäten. Abgerufen am 8. September 2026.
Recherchestand 8. September 2026. 4 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
Offene Nachweise und Recherchehinweise (Originalwortlaut)
In den geprüften Quellen nicht gefunden
parameters-billions. Google does not publish a parameter count on the Gemini API model page.
In den geprüften Quellen nicht gefunden
active-parameters-billions. Google does not publish active parameter counts for Gemini API models.
- ModellmetadatenQuelle
- Kontextfenster-Daten (abgerufen 8. September 2026)Quelle
- API-PreiseQuelle
- Princeton HAL (abgerufen 6. August 2026)Quelle
- Princeton HAL (abgerufen 5. August 2026)Quelle
- LongBench (abgerufen 2. September 2026)Quelle
- Scale AI (abgerufen 26. August 2026)Quelle
- Scale AI (abgerufen 26. August 2026)Quelle
- Scale AI (abgerufen 26. August 2026)Quelle
- Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
- Vals AI (abgerufen 4. September 2026)Quelle
- Vals AI (abgerufen 4. September 2026)Quelle
- Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
- Google DeepMind (abgerufen 8. September 2026)Quelle
- Artificial Analysis (abgerufen 8. September 2026)Quelle
- Modellmetadaten (abgerufen 8. September 2026)Quelle
- Messmethode der GeschwindigkeitQuelle