SprachmodellAktiv

Gemini 2.5 Pro

Google

Veröffentlicht: März 2025
Datenstand: 8. September 2026

Intelligenz: Nicht gerankt
Gesamtwertung
Geschwindigkeit: 131,3 Token/s
Ausgabe-Tempo
Preis: 1,25 $ · 10 $
Eingabe · Ausgabe / 1 Mio. Token
Eingabe: Text, Bild, Audio, Video
Ausgabe: Text

Für dieses Modell liegt keine veröffentlichte, kategorieweit vergleichbare Gesamtwertung vor.

Einträge 1-12 von 86. Seite 1 von 8.

Veröffentlichte Benchmarks

Die Charts vergleichen Modelle im selben dokumentierten Test. Das aktuelle Modell ist hervorgehoben.

Aider Polyglot

Overall

Was der Benchmark prüft: 225 Code-Editing-Aufgaben aus Exercism in C++, Go, Java, JavaScript, Python und Rust.

Einordnung: Aider, Edit-Format, Reasoning-Budget und zwei Versuche sind Teil des Resultats.

Mehr ist besser4 ModelleGemini 2.5 Pro: Platz 2 von 4Datenstand: 2. September 2026

1.o3-pro84,9 %

2.Gemini 2.5 Pro83,1 %

3.o381,3 %

4.DeepSeek-R171,4 %

Skala: 0 % - 100 %

Quelle: Aider

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: aider-polyglot-pass2-diff
Messgröße: percent correct after two attempts
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: 225 Exercism-Aufgaben in sechs Programmiersprachen mit Aider und dokumentiertem Edit-Format.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Modellstand: gemini-2.5-pro-preview-2025-06-05. Evaluator: Aider. Datensatztyp: public. Stand der Rangliste: 2025-06-06. Versuche: pass 2. Reasoning-Stufe: 32k thinking tokens. Latenz in Sekunden: 200.3. Kosten je Aufgabe in USD: 0.22169866666666663. Quellenkennung: aider. Kennung der Evidenzaufnahme: curated-aider-2026-09-02-b94f7308e188. Prüfsumme der Quelldaten: b94f7308e188d90f6864b22fd13d3d933378668e9fc981a7655173a4c3545a4e. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Aider

Wissen

5 Messreihen

FACTS Benchmark Suite

Document grounding

Was der Benchmark prüft: 3.513 öffentliche Beispiele prüfen Faktentreue bei Dokumenten, Bildern, internem Wissen und Websuche.

Einordnung: Der Gesamtscore mittelt vier verschiedene Fähigkeiten. Die Teilwerte bleiben für Entscheidungen wichtiger.

Mehr ist besser4 ModelleGemini 2.5 Pro: Platz 1 von 4Datenstand: 9. August 2026

1.Gemini 2.5 Pro74,2 %

2.GPT-569,6 %

3.Claude Opus 4.562,1 %

4.GPT-4.145,6 %

Skala: 0 % - 100 %

Quelle: Google DeepMind

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: facts-suite-v2:official:grounding
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: Öffentliche und private Splits. Dokument, Bild, internes Wissen und standardisierte Websuche bleiben getrennt.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Google DeepMind. Datensatztyp: public. Stand der Rangliste: 2025-12-11. Quellenkennung: google-deepmind. Kennung der Evidenzaufnahme: curated-google-deepmind-2026-08-09-8a8b1ae4abae. Prüfsumme der Quelldaten: 8a8b1ae4abae2b077a109193965fb09bce92092c2be809bfae78d4cfa219dc27. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Google DeepMind

FACTS Benchmark Suite

Multimodal factuality

Was der Benchmark prüft: 3.513 öffentliche Beispiele prüfen Faktentreue bei Dokumenten, Bildern, internem Wissen und Websuche.

Einordnung: Der Gesamtscore mittelt vier verschiedene Fähigkeiten. Die Teilwerte bleiben für Entscheidungen wichtiger.

Mehr ist besser4 ModelleGemini 2.5 Pro: Platz 1 von 4Datenstand: 9. August 2026

1.Gemini 2.5 Pro46,9 %

2.GPT-544,1 %

3.GPT-4.140,1 %

4.Claude Opus 4.539,2 %

Skala: 0 % - 100 %

Quelle: Google DeepMind

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: facts-suite-v2:official:multimodal
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: Öffentliche und private Splits. Dokument, Bild, internes Wissen und standardisierte Websuche bleiben getrennt.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Google DeepMind. Datensatztyp: public. Stand der Rangliste: 2025-12-11. Quellenkennung: google-deepmind. Kennung der Evidenzaufnahme: curated-google-deepmind-2026-08-09-26c476d1beb7. Prüfsumme der Quelldaten: 26c476d1beb7b7772cf5b5a2e60452d78ae516f5f936f804b1cccfead5529b32. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Google DeepMind

FACTS Benchmark Suite

FACTS overall score

Was der Benchmark prüft: 3.513 öffentliche Beispiele prüfen Faktentreue bei Dokumenten, Bildern, internem Wissen und Websuche.

Einordnung: Der Gesamtscore mittelt vier verschiedene Fähigkeiten. Die Teilwerte bleiben für Entscheidungen wichtiger.

Mehr ist besser4 ModelleGemini 2.5 Pro: Platz 1 von 4Datenstand: 9. August 2026

1.Gemini 2.5 Pro62,1 %

2.GPT-561,8 %

3.Claude Opus 4.551,3 %

4.GPT-4.150,5 %

Skala: 0 % - 100 %

Quelle: Google DeepMind

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: facts-suite-v2:official:overall
Messgröße: FACTS score
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: Öffentliche und private Splits. Dokument, Bild, internes Wissen und standardisierte Websuche bleiben getrennt.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Google DeepMind. Datensatztyp: public. Stand der Rangliste: 2025-12-11. Quellenkennung: google-deepmind. Kennung der Evidenzaufnahme: curated-google-deepmind-2026-08-09-f90e68e563fe. Prüfsumme der Quelldaten: f90e68e563fe354373076ca491cfa45c3d12df9ca257aa0eff56a191c63c53fa. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Google DeepMind

FACTS Benchmark Suite

Parametric knowledge

Was der Benchmark prüft: 3.513 öffentliche Beispiele prüfen Faktentreue bei Dokumenten, Bildern, internem Wissen und Websuche.

Einordnung: Der Gesamtscore mittelt vier verschiedene Fähigkeiten. Die Teilwerte bleiben für Entscheidungen wichtiger.

Mehr ist besser4 ModelleGemini 2.5 Pro: Platz 1 von 4Datenstand: 9. August 2026

1.Gemini 2.5 Pro63,2 %

2.GPT-555,8 %

3.GPT-4.151,5 %

4.Claude Opus 4.530,6 %

Skala: 0 % - 100 %

Quelle: Google DeepMind

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: facts-suite-v2:official:parametric
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: Öffentliche und private Splits. Dokument, Bild, internes Wissen und standardisierte Websuche bleiben getrennt.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Google DeepMind. Datensatztyp: public. Stand der Rangliste: 2025-12-11. Quellenkennung: google-deepmind. Kennung der Evidenzaufnahme: curated-google-deepmind-2026-08-09-68c34aa514b7. Prüfsumme der Quelldaten: 68c34aa514b740c6f80ada1a284136c938a1f97cd1e65c0f87138497fc92708c. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Google DeepMind

FACTS Benchmark Suite

Factuality with search

Was der Benchmark prüft: 3.513 öffentliche Beispiele prüfen Faktentreue bei Dokumenten, Bildern, internem Wissen und Websuche.

Einordnung: Der Gesamtscore mittelt vier verschiedene Fähigkeiten. Die Teilwerte bleiben für Entscheidungen wichtiger.

Mehr ist besser4 ModelleGemini 2.5 Pro: Platz 4 von 4Datenstand: 9. August 2026

1.GPT-577,7 %

2.Claude Opus 4.573,2 %

3.GPT-4.164,6 %

4.Gemini 2.5 Pro63,9 %

Skala: 0 % - 100 %

Quelle: Google DeepMind

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: facts-suite-v2:official:search
Messgröße: accuracy
Skala: 0-100
Teilnehmer: 4
Methodik und Einordnung: Öffentliche und private Splits. Dokument, Bild, internes Wissen und standardisierte Websuche bleiben getrennt.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Google DeepMind. Datensatztyp: public. Stand der Rangliste: 2025-12-11. Quellenkennung: google-deepmind. Kennung der Evidenzaufnahme: curated-google-deepmind-2026-08-09-36ddfd1bf586. Prüfsumme der Quelldaten: 36ddfd1bf586c681280b54cf509f9fbb4f8f41eeebb44d9a562d34aed96401d9. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Google DeepMind

Agentenaufgaben

6 Messreihen

GAIA Reliability

Consistency

Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.

Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.

Mehr ist besser9 ModelleGemini 2.5 Pro: Platz 6 von 9Datenstand: 6. August 2026

1.Claude Opus 4.50,81 Bewertung

1.Claude Opus 4.70,81 Bewertung

3.Gemini 3.1 Pro Preview0,76 Bewertung

4.Gemini 3.5 Flash0,75 Bewertung

5.GPT-4o mini0,73 Bewertung

6.Gemini 2.5 Pro0,72 Bewertung

7.Gemini 2.5 Flash0,7 Bewertung

8.o10,68 Bewertung

9.GPT-5.50,61 Bewertung

Skala: 0 Bewertung - 0,81 Bewertung

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-gaia-reliability-hal-reliability-consistency
Messgröße: aggregate consistency
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 9
Methodik und Einordnung: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-c31d0b9d9ce4. Prüfsumme der Quelldaten: c31d0b9d9ce4ae3176dd4e9d861282248ef948babbb34bde532eb1ccbbc96780. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

GAIA Reliability

Accuracy

Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.

Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.

Mehr ist besser9 ModelleGemini 2.5 Pro: Platz 6 von 9Datenstand: 6. August 2026

1.Gemini 3.5 Flash79,2 %

2.Gemini 3.1 Pro Preview76,2 %

3.Claude Opus 4.773,3 %

4.Claude Opus 4.568,5 %

5.GPT-5.562,8 %

6.Gemini 2.5 Pro52,5 %

7.Gemini 2.5 Flash46,7 %

8.o134,4 %

9.GPT-4o mini26,3 %

Skala: 0 % - 100 %

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-gaia-reliability-hal-reliability-overall
Messgröße: exact-match accuracy
Skala: 0-100
Teilnehmer: 9
Methodik und Einordnung: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-5c16f4ffaaa5. Prüfsumme der Quelldaten: 5c16f4ffaaa5ac8a5c682da01aa3fab9655de1625348891876a58ad2be1d678f. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

GAIA Reliability

Predictability

Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.

Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.

Mehr ist besser9 ModelleGemini 2.5 Pro: Platz 6 von 9Datenstand: 6. August 2026

1.Claude Opus 4.50,84 Bewertung

2.Gemini 3.5 Flash0,8 Bewertung

2.GPT-5.50,8 Bewertung

4.Gemini 3.1 Pro Preview0,78 Bewertung

5.Claude Opus 4.70,73 Bewertung

6.Gemini 2.5 Pro0,71 Bewertung

7.o10,68 Bewertung

8.Gemini 2.5 Flash0,64 Bewertung

9.GPT-4o mini0,58 Bewertung

Skala: 0 Bewertung - 0,84 Bewertung

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-gaia-reliability-hal-reliability-predictability
Messgröße: aggregate predictability
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 9
Methodik und Einordnung: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-1c53c174caef. Prüfsumme der Quelldaten: 1c53c174caef16e9fce637ae32349d954da5c8a7493eb5ccbfc1b3b74b7df1b2. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

GAIA Reliability

Reliability

Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.

Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.

Mehr ist besser9 ModelleGemini 2.5 Pro: Platz 7 von 9Datenstand: 6. August 2026

1.Claude Opus 4.50,85 Bewertung

2.Claude Opus 4.70,84 Bewertung

2.Gemini 3.5 Flash0,84 Bewertung

4.Gemini 3.1 Pro Preview0,82 Bewertung

5.GPT-5.50,79 Bewertung

5.o10,79 Bewertung

7.Gemini 2.5 Pro0,78 Bewertung

8.GPT-4o mini0,76 Bewertung

9.Gemini 2.5 Flash0,74 Bewertung

Skala: 0 Bewertung - 0,85 Bewertung

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-gaia-reliability-hal-reliability-reliability
Messgröße: aggregate reliability
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 9
Methodik und Einordnung: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-8d19bbb49250. Prüfsumme der Quelldaten: 8d19bbb4925070a4e6ec390b4d5684ae50db13a01227057bc90bb40f1a762e09. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

GAIA Reliability

Robustness

Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.

Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.

Mehr ist besser9 ModelleGemini 2.5 Pro: Platz 7 von 9Datenstand: 6. August 2026

1.o11 Bewertung

2.Claude Opus 4.70,99 Bewertung

3.GPT-4o mini0,97 Bewertung

4.Gemini 3.5 Flash0,96 Bewertung

5.GPT-5.50,95 Bewertung

6.Gemini 3.1 Pro Preview0,94 Bewertung

7.Claude Opus 4.50,91 Bewertung

7.Gemini 2.5 Pro0,91 Bewertung

9.Gemini 2.5 Flash0,87 Bewertung

Skala: 0 Bewertung - 1 Bewertung

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-gaia-reliability-hal-reliability-robustness
Messgröße: aggregate robustness
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 9
Methodik und Einordnung: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-1796d18fe25c. Prüfsumme der Quelldaten: 1796d18fe25c8013919dfe86d7063843be59e912ef58bfb042e346d61d24613e. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

GAIA Reliability

Safety

Was der Benchmark prüft: Zuverlässigkeitsauswertung auf 165 GAIA-Aufgaben mit Wiederholungen und Perturbationen.

Einordnung: Trefferquote, Zuverlässigkeit, Konsistenz, Vorhersagbarkeit, Robustheit und Sicherheit sind getrennte Kennzahlen.

Mehr ist besser9 ModelleGemini 2.5 Pro: Platz 1 von 9Datenstand: 6. August 2026

1.Claude Opus 4.51 Bewertung

1.Claude Opus 4.71 Bewertung

1.Gemini 2.5 Flash1 Bewertung

1.Gemini 2.5 Pro1 Bewertung

1.Gemini 3.1 Pro Preview1 Bewertung

1.Gemini 3.5 Flash1 Bewertung

1.GPT-4o mini1 Bewertung

1.GPT-5.51 Bewertung

1.o11 Bewertung

Skala: 0 Bewertung - 1 Bewertung

Quelle: Princeton HAL

CC BY 4.0

gradually.ai

Methodik und Einordnung

Vergleichskohorte: hal-gaia-reliability-hal-reliability-safety
Messgröße: aggregate safety
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 9
Methodik und Einordnung: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-c63a794d3d54. Prüfsumme der Quelldaten: c63a794d3d549f51d32f25a48655db8386502ffd23bb1bd44974e9db28f6bdc8. Parserversion: curated-v1. Importiert am: 2026-09-04

Quelle: Princeton HAL

Dokumentierte Messdetails

Jede Beobachtung enthält den Quellwert und die veröffentlichten Testbedingungen.

Aider Polyglot: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 83.1
Bewertung: 83.1
Messgröße: percent correct after two attempts
Einheit: %
Benchmark-Version: 225-case polyglot suite
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: aider-polyglot-pass2-diff
Quellentyp: official-leaderboard
Auswertung: Aider
Status: active
Abrufdatum: 2026-09-02
Methodik: 225 Exercism-Aufgaben in sechs Programmiersprachen mit Aider und dokumentiertem Edit-Format.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Modellstand: gemini-2.5-pro-preview-2025-06-05. Evaluator: Aider. Datensatztyp: public. Stand der Rangliste: 2025-06-06. Versuche: pass 2. Reasoning-Stufe: 32k thinking tokens. Latenz in Sekunden: 200.3. Kosten je Aufgabe in USD: 0.22169866666666663. Quellenkennung: aider. Kennung der Evidenzaufnahme: curated-aider-2026-09-02-b94f7308e188. Prüfsumme der Quelldaten: b94f7308e188d90f6864b22fd13d3d933378668e9fc981a7655173a4c3545a4e. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 225 Exercism-Aufgaben in sechs Programmiersprachen mit Aider und dokumentiertem Edit-Format.

Quelle Aider

FACTS Benchmark Suite: Document grounding (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 74.2
Bewertung: 74.2
Messgröße: accuracy
Einheit: %
Benchmark-Version: FACTS Benchmark Suite v2
Kategorie: knowledge
Aufgabe: grounding
Aufgabenbezeichnung: Document grounding
Richtung: Mehr ist besser
Vergleichskohorte: facts-suite-v2:official:grounding
Konfidenzintervall: 2
Quellentyp: official-leaderboard
Auswertung: Google DeepMind
Status: active
Abrufdatum: 2026-08-09
Methodik: Öffentliche und private Splits. Dokument, Bild, internes Wissen und standardisierte Websuche bleiben getrennt.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Google DeepMind. Datensatztyp: public. Stand der Rangliste: 2025-12-11. Quellenkennung: google-deepmind. Kennung der Evidenzaufnahme: curated-google-deepmind-2026-08-09-8a8b1ae4abae. Prüfsumme der Quelldaten: 8a8b1ae4abae2b077a109193965fb09bce92092c2be809bfae78d4cfa219dc27. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Öffentliche und private Splits. Dokument, Bild, internes Wissen und standardisierte Websuche bleiben getrennt.

Quelle Google DeepMind

FACTS Benchmark Suite: Multimodal factuality (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 46.9
Bewertung: 46.9
Messgröße: accuracy
Einheit: %
Benchmark-Version: FACTS Benchmark Suite v2
Kategorie: knowledge
Aufgabe: multimodal
Aufgabenbezeichnung: Multimodal factuality
Richtung: Mehr ist besser
Vergleichskohorte: facts-suite-v2:official:multimodal
Konfidenzintervall: 3.6
Quellentyp: official-leaderboard
Auswertung: Google DeepMind
Status: active
Abrufdatum: 2026-08-09
Methodik: Öffentliche und private Splits. Dokument, Bild, internes Wissen und standardisierte Websuche bleiben getrennt.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Google DeepMind. Datensatztyp: public. Stand der Rangliste: 2025-12-11. Quellenkennung: google-deepmind. Kennung der Evidenzaufnahme: curated-google-deepmind-2026-08-09-26c476d1beb7. Prüfsumme der Quelldaten: 26c476d1beb7b7772cf5b5a2e60452d78ae516f5f936f804b1cccfead5529b32. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Öffentliche und private Splits. Dokument, Bild, internes Wissen und standardisierte Websuche bleiben getrennt.

Quelle Google DeepMind

FACTS Benchmark Suite: FACTS overall score (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 62.1
Bewertung: 62.1
Messgröße: FACTS score
Einheit: %
Benchmark-Version: FACTS Benchmark Suite v2
Kategorie: knowledge
Aufgabe: overall
Aufgabenbezeichnung: FACTS overall score
Richtung: Mehr ist besser
Vergleichskohorte: facts-suite-v2:official:overall
Quellentyp: official-leaderboard
Auswertung: Google DeepMind
Status: active
Abrufdatum: 2026-08-09
Methodik: Öffentliche und private Splits. Dokument, Bild, internes Wissen und standardisierte Websuche bleiben getrennt.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Google DeepMind. Datensatztyp: public. Stand der Rangliste: 2025-12-11. Quellenkennung: google-deepmind. Kennung der Evidenzaufnahme: curated-google-deepmind-2026-08-09-f90e68e563fe. Prüfsumme der Quelldaten: f90e68e563fe354373076ca491cfa45c3d12df9ca257aa0eff56a191c63c53fa. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Öffentliche und private Splits. Dokument, Bild, internes Wissen und standardisierte Websuche bleiben getrennt.

Quelle Google DeepMind

FACTS Benchmark Suite: Parametric knowledge (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 63.2
Bewertung: 63.2
Messgröße: accuracy
Einheit: %
Benchmark-Version: FACTS Benchmark Suite v2
Kategorie: knowledge
Aufgabe: parametric
Aufgabenbezeichnung: Parametric knowledge
Richtung: Mehr ist besser
Vergleichskohorte: facts-suite-v2:official:parametric
Konfidenzintervall: 2
Quellentyp: official-leaderboard
Auswertung: Google DeepMind
Status: active
Abrufdatum: 2026-08-09
Methodik: Öffentliche und private Splits. Dokument, Bild, internes Wissen und standardisierte Websuche bleiben getrennt.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Google DeepMind. Datensatztyp: public. Stand der Rangliste: 2025-12-11. Quellenkennung: google-deepmind. Kennung der Evidenzaufnahme: curated-google-deepmind-2026-08-09-68c34aa514b7. Prüfsumme der Quelldaten: 68c34aa514b740c6f80ada1a284136c938a1f97cd1e65c0f87138497fc92708c. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Öffentliche und private Splits. Dokument, Bild, internes Wissen und standardisierte Websuche bleiben getrennt.

Quelle Google DeepMind

FACTS Benchmark Suite: Factuality with search (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 63.9
Bewertung: 63.9
Messgröße: accuracy
Einheit: %
Benchmark-Version: FACTS Benchmark Suite v2
Kategorie: knowledge
Aufgabe: search
Aufgabenbezeichnung: Factuality with search
Richtung: Mehr ist besser
Vergleichskohorte: facts-suite-v2:official:search
Konfidenzintervall: 2
Quellentyp: official-leaderboard
Auswertung: Google DeepMind
Status: active
Abrufdatum: 2026-08-09
Methodik: Öffentliche und private Splits. Dokument, Bild, internes Wissen und standardisierte Websuche bleiben getrennt.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Google DeepMind. Datensatztyp: public. Stand der Rangliste: 2025-12-11. Quellenkennung: google-deepmind. Kennung der Evidenzaufnahme: curated-google-deepmind-2026-08-09-36ddfd1bf586. Prüfsumme der Quelldaten: 36ddfd1bf586c681280b54cf509f9fbb4f8f41eeebb44d9a562d34aed96401d9. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: Öffentliche und private Splits. Dokument, Bild, internes Wissen und standardisierte Websuche bleiben getrennt.

Quelle Google DeepMind

GAIA Reliability: Consistency (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.72
Bewertung: 0.72
Messgröße: aggregate consistency
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: consistency
Aufgabenbezeichnung: Consistency
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-consistency
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-c31d0b9d9ce4. Prüfsumme der Quelldaten: c31d0b9d9ce4ae3176dd4e9d861282248ef948babbb34bde532eb1ccbbc96780. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Accuracy (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 52.5
Bewertung: 52.5
Messgröße: exact-match accuracy
Einheit: %
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Accuracy
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-overall
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-5c16f4ffaaa5. Prüfsumme der Quelldaten: 5c16f4ffaaa5ac8a5c682da01aa3fab9655de1625348891876a58ad2be1d678f. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Predictability (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.71
Bewertung: 0.71
Messgröße: aggregate predictability
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: predictability
Aufgabenbezeichnung: Predictability
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-predictability
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-1c53c174caef. Prüfsumme der Quelldaten: 1c53c174caef16e9fce637ae32349d954da5c8a7493eb5ccbfc1b3b74b7df1b2. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Reliability (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.78
Bewertung: 0.78
Messgröße: aggregate reliability
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: reliability
Aufgabenbezeichnung: Reliability
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-reliability
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-8d19bbb49250. Prüfsumme der Quelldaten: 8d19bbb4925070a4e6ec390b4d5684ae50db13a01227057bc90bb40f1a762e09. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Robustness (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.91
Bewertung: 0.91
Messgröße: aggregate robustness
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: robustness
Aufgabenbezeichnung: Robustness
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-robustness
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-1796d18fe25c. Prüfsumme der Quelldaten: 1796d18fe25c8013919dfe86d7063843be59e912ef58bfb042e346d61d24613e. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

GAIA Reliability: Safety (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 1
Bewertung: 1
Messgröße: aggregate safety
Einheit: rating
Benchmark-Version: final leak-cleaned public validation set
Kategorie: agentic
Aufgabe: safety
Aufgabenbezeichnung: Safety
Richtung: Mehr ist besser
Vergleichskohorte: hal-gaia-reliability-hal-reliability-safety
Quellentyp: independent-evaluator
Auswertung: Princeton HAL
Status: active
Abrufdatum: 2026-08-06
Methodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.. Kennung des Quellmodells: curated/gemini-2.5-pro. Name des Quellmodells: Gemini 2.5 Pro. Anbieter laut Quelle: Google. Evaluator: Princeton HAL. Datensatztyp: public. Harness: HAL Reliability. Agent: HAL Reliability. Quellenkennung: princeton-hal. Kennung der Evidenzaufnahme: curated-princeton-hal-2026-08-06-c63a794d3d54. Prüfsumme der Quelldaten: c63a794d3d549f51d32f25a48655db8386502ffd23bb1bd44974e9db28f6bdc8. Parserversion: curated-v1. Importiert am: 2026-09-04
Vergleichsmethodik: 165 GAIA-Aufgaben mit wiederholten Läufen und Perturbationen. Kosten veröffentlicht HAL für diese Auswertung nicht.

Quelle Princeton HAL

Eigene Modelltests

Community-Tests zum Anschauen

Vergleiche, wie die Modelle denselben Prompt umsetzen. Jeder Test zeigt den ersten Versuch, ohne nachträgliche Korrekturen am erzeugten Code. Die Ergebnisse fließen nicht in einen Gesamtscore ein.

Pelikan auf dem Fahrrad

Community-Klassiker für eine freie SVG-Zeichnung.

Gemini 2.5 Pro

Noch nicht getestet

Prompt und Testbedingungen

Generate an SVG of a pelican riding a bicycle

Tokenlimit inklusive Reasoning: 8.192 Token

Ursprung der Aufgabe (Simon Willison)

Nachweise

Quellen und Datenstand

Alle Angaben verweisen auf die zugrunde liegende Dokumentation oder das jeweilige Leaderboard.

Geschwindigkeit: Google. Ausgabetempo nach dem ersten empfangenen Textabschnitt, nicht die gesamte Antwortzeit. Bei Artificial Analysis als veraltet eingeordnet. Artificial Analysis pflegt dort nur noch den Standard-Workload mit 10.000 Eingabe-Token. Abgerufen am 8. September 2026.
Artificial Analysis Messmethode
Preis: API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten.
Preise
Eingabe: Dokumentierte Modalitäten. Abgerufen am 8. September 2026.
Modelldokumentation
Ausgabe: Dokumentierte Modalitäten. Abgerufen am 8. September 2026.
Modelldokumentation

Recherchestand 8. September 2026. 4 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.

Offene Nachweise und Recherchehinweise (Originalwortlaut)

In den geprüften Quellen nicht gefunden

parameters-billions. Google does not publish a parameter count on the Gemini API model page.

In den geprüften Quellen nicht gefunden

active-parameters-billions. Google does not publish active parameter counts for Gemini API models.

ModellmetadatenQuelle
Kontextfenster-Daten (abgerufen 8. September 2026)Quelle
Wissensstand-DatenQuelle
API-PreiseQuelle
Aider (abgerufen 2. September 2026)Quelle
DeepResearch Bench (abgerufen 9. August 2026)Quelle
Google DeepMind (abgerufen 9. August 2026)Quelle
Princeton HAL (abgerufen 6. August 2026)Quelle
Princeton HAL (abgerufen 5. August 2026)Quelle
LongBench (abgerufen 2. September 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Scale AI (abgerufen 26. August 2026)Quelle
Vals AI (abgerufen 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 4. September 2026)Quelle
Vals AI (abgerufen 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 11. August 2026; 4. September 2026)Quelle
Vals AI (abgerufen 4. September 2026)Quelle
Google DeepMind (abgerufen 8. September 2026)Quelle
Artificial Analysis (abgerufen 8. September 2026)Quelle
Modellmetadaten (abgerufen 8. September 2026)Quelle
Messmethode der GeschwindigkeitQuelle

Gemini 2.5 Pro

Veröffentlichte Benchmarks

Aider Polyglot

Wissen

FACTS Benchmark Suite

FACTS Benchmark Suite

FACTS Benchmark Suite

FACTS Benchmark Suite

FACTS Benchmark Suite

Agentenaufgaben

GAIA Reliability

GAIA Reliability

GAIA Reliability

GAIA Reliability

GAIA Reliability

GAIA Reliability

Dokumentierte Messdetails

Community-Tests zum Anschauen

Pelikan auf dem Fahrrad

Technische Daten und Zugang

Weitere Quellenangaben

Veröffentlichte Preise

100 API-Anfragen

Dieses Modell im Vergleich

Quellen und Datenstand