Solar Pro 3
SprachmodellAktiv
Solar Pro 3
Upstage
- Veröffentlicht
- Januar 2026
- Datenstand
- 8. September 2026
- Vorgängermodell
- Solar Pro 2
- Nachfolgermodell
- Solar Pro 4
- Benchmark-Meta-Score
- Werte aus nur einer Quelle
- Geschwindigkeit
- 138,2 Token/sAusgabe-Tempo
- Preis
- Eingabe · Ausgabe / 1 Mio. Token
Solar Pro 3 verbindet 102 Milliarden Gesamtparameter mit etwa 12 Milliarden aktiven Parametern und einem 128K-Kontext. Upstage ergänzt Tool Calling und verbessertes Instruction Following für mehrstufige Arbeit und berichtet gegenüber Solar Pro 2 ungefähr verdoppelte agentische Werte, darunter 72,3 gegenüber 36,0 auf Tau2-all.
Die veröffentlichte Modelllinie führt anschließend Solar Pro 4, dessen Launch-Text einen deutlichen weiteren Sprung bei Terminalaufgaben, langen Dokumenten und mehrstufiger Tool-Nutzung beschreibt.
Technische Daten und Zugang
| Angabe | Wert und Quelle |
|---|---|
| Gewichte | ProprietärQuelle |
| Zugang | APIQuelle |
| Parameter | 102 Mrd.Quelle |
| Aktive Parameter | 12 Mrd.Quelle |
| Kontextfenster | 131.072 TokenQuelle |
| Hinweise | MoE-Modell mit 102B Parametern insgesamt, 12B aktivierten Parametern pro Token und einem 128K-Kontextfenster.Quelle |
| Veröffentlichung | 2026-01 (Month-only precision; source did not expose an exact day.)Quelle |
| Architektur | MoE, 102B total / 12B activeQuelle |
| Reasoning-Modus | JaQuelle |
| Werkzeugaufrufe | JaQuelle |
Benchmark-Metaanalyse
Gesamt- und Bereichsscores
Diese Gradually-Indizes ordnen ausgewählte veröffentlichte Messwerte auf einer Skala von 0 bis 100 ein. Sie sind keine Prozentgenauigkeit und keine Garantie für ein Ergebnis in deiner Anwendung.
Abrufstände der verwendeten Quellen 2026-10-19 - 2026-10-19
Gesamtindex
Noch nicht genug unabhängige Werte für einen Score
Ein Gesamtwert braucht Werte aus mindestens zwei Quellen.
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Testreihen
- 9
- Testfamilien
- 9 / 65
- Quellen
- 1
- Anteil am festen Testpanel (informativ)
- 13 %
Programmieren
Index unter 1 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Standardfehler
- ± 0,0
- 95-%-Intervall
- 0,0 bis 0,0
- Testreihen
- 1
- Testfamilien
- 1 / 15
- Quellen
- 1
- Anteil am festen Testpanel (informativ)
- 3 %
Schlussfolgern
Index unter 1 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Standardfehler
- ± 0,0
- 95-%-Intervall
- 0,0 bis 0,0
- Testreihen
- 3
- Testfamilien
- 3 / 7
- Quellen
- 1
- Anteil am festen Testpanel (informativ)
- 36 %
Wissen
Index unter 1 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Standardfehler
- ± 0,0
- 95-%-Intervall
- 0,0 bis 0,0
- Testreihen
- 1
- Testfamilien
- 1 / 3
- Quellen
- 1
- Anteil am festen Testpanel (informativ)
- 33 %
Agenten
Index unter 1 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Standardfehler
- ± 0,0
- 95-%-Intervall
- 0,0 bis 0,0
- Testreihen
- 3
- Testfamilien
- 3 / 12
- Quellen
- 1
- Anteil am festen Testpanel (informativ)
- 25 %
Allgemein
Index unter 1 / 100
vorläufig
Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.
- Standardfehler
- ± 0,1
- 95-%-Intervall
- 0,0 bis 1,1
- Testreihen
- 1
- Testfamilien
- 1 / 5
- Quellen
- 1
- Anteil am festen Testpanel (informativ)
- 20 %
Dokumentierte Methode · Einbezogene Testfamilien und Messwerte
Methodenfassung: benchmark-meta-score-v3
Es zählen aktive Messwerte aus geprüften Primärquellen, wenn mindestens fünf Modelle im selben dokumentierten Vergleichsschnitt aus Datensatz, Harness, Agent, Werkzeugen und Versuchsanzahl verglichen werden. Pro Benchmark-Reihe und Auswerter zählt ein gemeinsamer Setup-Schnitt aus dem neuesten Abruf. Bei mehreren ausdrücklich erfassten Reasoning-Stufen derselben Quelle und Testreihe zählt die höchste dokumentierte Stufe (none bis max), nicht der höchste Ergebniswert. Die ausdrückliche Quellenangabe „Non-reasoning“ entspricht none. Unbekannte oder mehrdeutige Stufen führen zum Ausschluss des Modells aus der betreffenden Reihe. Innerhalb jeder Reihe werden Prozentwerte und Quoten logit-transformiert, andere Einheiten bleiben unverändert, und anschließend werden alle Werte standardisiert. Ein Ein-Faktor-Modell schätzt daraus eine gemeinsame Leistungsstärke je Modell und je Reihe, wie deutlich sie zwischen den Modellen trennt. Bereichswerte weichen davon nur so weit ab, wie die eigenen Ergebnisse im Bereich es belegen. Der Gesamtwert gewichtet die Kernbereiche mit 75 % und Finanzen, Recht und Gesundheit mit 25 %. Er erfordert mindestens acht Testreihen aus zwei Quellen und drei Bereichen. Die Skala von 0 bis 100 bezieht sich auf eine feste Referenzgruppe aus 29 Sprachmodellen, deren Durchschnitt bei 50 liegt.
Veröffentlichte modellabhängige Parameter können abweichen. Das ist kein kontrolliertes Experiment; solche Vergleiche werden als vorläufig gekennzeichnet.
Nicht gemessene Reihen werden nicht als Nullwert eingesetzt. Fehlen einem Modell eigene Werte in einem Kernbereich, steht dort seine Gesamtstärke, und der Hinweis „geschätzt, ohne eigene Werte in …“ nennt den Bereich. Weniger Testreihen führen zu einem größeren Standardfehler.
Das 95-%-Intervall folgt aus dem Standardfehler von 200 Neuberechnungen mit zufällig neu gezogenen Testfamilien. Es beschreibt, wie genau die erfassten Testreihen den Wert festlegen. Es ist keine Prognose für künftige Aufgaben oder spätere Neuberechnungen mit anderen Teilnehmern.
Die Quellenzahl ist keine Anzahl unabhängiger Experimente.
OECD-Handbuch zu zusammengesetzten IndikatorenAlle 9 Testfamilien und 9 von 9 Rohmesswerten sind hier aufgeführt. Die vollständige Rechnung für alle Modelle enthält der JSON-Export.
Testfamilie: AA-Briefcase
Agenten · Mittleres Rangperzentil der Familie: 11,0 / 100Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-aa-briefcase
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,89 %
- Rohwert:
- 98,98 Elo
- Messgröße:
- AA-Briefcase Elo
- Version:
- v1.1
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 11,0 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-aa-briefcase:v1.1:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-aa-briefcase","v1.1","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: AA-LCR
Schlussfolgern · Mittleres Rangperzentil der Familie: 8,5 / 100Gewicht der Familie im festen Testpanel (informativ): 1,53 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-aa-lcr
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 1,53 %
- Rohwert:
- 32,3333333333333 %
- Messgröße:
- Pass rate
- Version:
- v1.1
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 8,5 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-aa-lcr:v1.1:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-aa-lcr","v1.1","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 32,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: AutomationBench-AA
Agenten · Mittleres Rangperzentil der Familie: 7,3 / 100Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-automationbench-aa
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,89 %
- Rohwert:
- 0,49734242022629577 %
- Messgröße:
- Objectives completed without guardrail violations
- Version:
- unspecified
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 7,3 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-automationbench-aa:unspecified:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-automationbench-aa","unspecified","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 0,5 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: GDP.pdf
Schlussfolgern · Mittleres Rangperzentil der Familie: 14,0 / 100Gewicht der Familie im festen Testpanel (informativ): 1,53 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-gdp-pdf
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 1,53 %
- Rohwert:
- 1,6 %
- Messgröße:
- All-pass rate
- Version:
- unspecified
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 14,0 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-gdp-pdf:unspecified:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-gdp-pdf","unspecified","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 1,6 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: GDPval-AA
Agenten · Mittleres Rangperzentil der Familie: 11,0 / 100Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-gdpval-aa
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,89 %
- Rohwert:
- 264,94 Elo
- Messgröße:
- GDPval-AA Elo
- Version:
- v2.1
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 11,0 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-gdpval-aa:v2.1:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-gdpval-aa","v2.1","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: IFBench
Allgemein · Mittleres Rangperzentil der Familie: 69,6 / 100Gewicht der Familie im festen Testpanel (informativ): 2,14 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-ifbench
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 2,14 %
- Rohwert:
- 71,2018140589569 %
- Messgröße:
- IFBench prompt-level loose accuracy (pass@1)
- Version:
- AA test set: 294 questions
- Teilnehmende Modelle:
- 70
- Rangperzentil innerhalb der Kohorte:
- 69,6 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-ifbench:AA test set: 294 questions:standalone:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-ifbench","AA test set: 294 questions","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Werkzeugregeln:
- Single-turn answer evaluated with the official IFBench source code
- Versuche:
- pass@1, 5 repeats per question
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled. Angezeigter Wert: 71,2 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: AA-Omniscience
Wissen · Mittleres Rangperzentil der Familie: 7,3 / 100Gewicht der Familie im festen Testpanel (informativ): 3,57 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-omniscience
- Gewicht der Messreihe innerhalb der Testfamilie:
- 100 %
- Nominaler Beitrag zum Gesamtpanel:
- 3,57 %
- Rohwert:
- -53,4 points
- Messgröße:
- AA-Omniscience Index
- Version:
- unspecified
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 7,3 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-omniscience:unspecified:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-omniscience","unspecified","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: Humanity’s Last Exam
Schlussfolgern · Mittleres Rangperzentil der Familie: 14,6 / 100Gewicht der Familie im festen Testpanel (informativ): 1,53 % · Abdeckung dieser Testfamilie: 50 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-humanitys-last-exam
- Gewicht der Messreihe innerhalb der Testfamilie:
- 50 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,77 %
- Rohwert:
- 10,2873030583874 %
- Messgröße:
- Text-only pass@1 accuracy
- Version:
- unspecified
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 14,6 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-humanitys-last-exam:unspecified:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-humanitys-last-exam","unspecified","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 10,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Testfamilie: Terminal-Bench
Programmieren · Mittleres Rangperzentil der Familie: 17,7 / 100Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 50 %
- Artificial Analysis
Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
- Einzelmessung:
- artificial-analysis-terminal-bench-4
- Gewicht der Messreihe innerhalb der Testfamilie:
- 50 %
- Nominaler Beitrag zum Gesamtpanel:
- 0,36 %
- Rohwert:
- 0 %
- Messgröße:
- Task success
- Version:
- 4.0
- Teilnehmende Modelle:
- 83
- Rangperzentil innerhalb der Kohorte:
- 17,7 %
- Abgerufen:
- 2026-10-19
- Vergleichskohorte:
- artificial-analysis-terminal-bench-4:4.0:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Dokumentierter Vergleichsaufbau
- Publikationskohorte:
- ["artificial-analysis-terminal-bench-4","4.0","aa-model-page-2026-10-19-8a022369738c"]
- Datensatztyp:
- artificial-analysis-evaluation
- Setup- und Modellparameter
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 0,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Artificial Analysis
Benchmarkquellen im Überblick
Jeder Auswerter misst andere Fähigkeiten unter eigenen Bedingungen. Testreihen, Gesamtindizes und ihre Komponenten bleiben getrennt. Die Ergebnisse darunter behalten ihre Skalen, Konfigurationen und Quelldaten.
| Auswerter | Testreihen | Gesamtindizes | Erfasste aktive Messwerte |
|---|---|---|---|
| Artificial Analysis | 9 | 1 | 19 |
Die Abdeckung ist keine Qualitätsrangliste. Überschneidende Tests und mehrere Einstellungen zählen nicht als unabhängige Versuche. Herstellerangaben, historische und strittige Ergebnisse bleiben außerhalb dieser Übersicht und sind in den Detailbelegen gekennzeichnet.
Bei 7 Messwerten dieser Quellen ist die Zuordnung zu einer Testreihe noch offen. Sie erhöhen die Zahl der Testreihen nicht.
Seite 1 von 3
Messungen ohne passende Vergleichswerte
Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.
AA-LCR: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 32.3333333333333
- Bewertung
- 32.3333333333333
- Messgröße
- Pass rate
- Einheit
- %
- Benchmark-Version
- v1.1
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-aa-lcr:v1.1:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 32,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
AutomationBench-AA: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0.49734242022629577
- Bewertung
- 0.49734242022629577
- Messgröße
- Objectives completed without guardrail violations
- Einheit
- %
- Benchmark-Version
- unspecified
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-automationbench-aa:unspecified:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 0,5 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
CritPt: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0
- Bewertung
- 0
- Messgröße
- Score
- Einheit
- %
- Benchmark-Version
- unspecified
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-critpt:unspecified:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- disputed
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 0,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
- Einordnung
- Artificial Analysis kennzeichnet CritPt als unter Prüfung; Änderungen am Datensatz können die Ergebnisse verändern.. Der Quelldatensatz markiert diesen Wert als umstritten. Er bleibt als dokumentierte Evidenz sichtbar, ist aber kein belastbarer Vergleichsnachweis.
GDP.pdf: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 1.6
- Bewertung
- 1.6
- Messgröße
- All-pass rate
- Einheit
- %
- Benchmark-Version
- unspecified
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-gdp-pdf:unspecified:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 1,6 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Humanity's Last Exam: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 10.2873030583874
- Bewertung
- 10.2873030583874
- Messgröße
- Text-only pass@1 accuracy
- Einheit
- %
- Benchmark-Version
- unspecified
- Kategorie
- reasoning
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-humanitys-last-exam:unspecified:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 10,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
- Einordnung
- Der Anbieter beschreibt seine Vergleichsauswertung als text-only 2.158 Fragen, nicht als den vollständigen 2.500-Fragen-Datensatz.
IFBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 71.2018140589569
- Bewertung
- 71.2018140589569
- Messgröße
- IFBench prompt-level loose accuracy (pass@1)
- Einheit
- %
- Benchmark-Version
- AA test set: 294 questions
- Kategorie
- general
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-ifbench:AA test set: 294 questions:standalone:reasoning:tokens=2000:suffix=unspecified
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled. Angezeigter Wert: 71,2 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled
- Einordnung
- Die Angabe von 58 bezieht sich auf die verifizierbaren Out-of-Domain-Bedingungstypen, nicht auf die Zahl der Fragen im AA-Testlauf.
AA-Omniscience Accuracy: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 18.5
- Bewertung
- 18.5
- Messgröße
- AA-Omniscience Accuracy
- Einheit
- %
- Benchmark-Version
- AA Omniscience diagnostic
- Kategorie
- knowledge
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-omniscience-accuracy:AA Omniscience diagnostic:standalone:reasoning:tokens=2000:suffix=unspecified
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil der insgesamt korrekt beantworteten Fragen, unabhängig davon, ob das Modell andere Fragen beantwortet oder sich enthält.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: reasoning enabled. Angezeigter Wert: 18,5 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil der insgesamt korrekt beantworteten Fragen, unabhängig davon, ob das Modell andere Fragen beantwortet oder sich enthält.. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: reasoning enabled
- Einordnung
- Dies ist die separat veröffentlichte Genauigkeitsdiagnostik, nicht der AA-Omniscience-Index. AA bezeichnet höhere Werte als besser.
AA-Omniscience Hallucination Rate: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 88.22085889570552
- Bewertung
- 88.22085889570552
- Messgröße
- AA-Omniscience Hallucination Rate
- Einheit
- %
- Benchmark-Version
- AA Omniscience diagnostic
- Kategorie
- knowledge
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Weniger ist besser
- Vergleichskohorte
- artificial-analysis-omniscience-hallucination-rate:AA Omniscience diagnostic:standalone:reasoning:tokens=2000:suffix=unspecified
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil falscher Antworten an allen nicht korrekten Antworten: falsch / (falsch + teilweise richtig + nicht beantwortet).. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: reasoning enabled. Angezeigter Wert: 88,2 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil falscher Antworten an allen nicht korrekten Antworten: falsch / (falsch + teilweise richtig + nicht beantwortet).. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: reasoning enabled
- Einordnung
- Dies ist die separat veröffentlichte Halluzinationsraten-Diagnostik, nicht der AA-Omniscience-Index. AA bezeichnet niedrigere Werte als besser.
SciCode: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 25.462962962962997
- Bewertung
- 25.462962962962997
- Messgröße
- SciCode score
- Einheit
- %
- Benchmark-Version
- unspecified
- Kategorie
- coding
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-scicode:unspecified:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- disputed
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 25,5 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
- Einordnung
- Artificial Analysis weist darauf hin, dass SciCode nach einem unabhängigen Datensatz-Audit unter Prüfung steht.. Der Quelldatensatz markiert diesen Wert als umstritten. Er bleibt als dokumentierte Evidenz sichtbar, ist aber kein belastbarer Vergleichsnachweis.
Terminal-Bench: Overall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 0
- Bewertung
- 0
- Messgröße
- Task success
- Einheit
- %
- Benchmark-Version
- 4.0
- Kategorie
- coding
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Vergleichskohorte
- artificial-analysis-terminal-bench-4:4.0:v4.3.2:reasoning:tokens=2000:suffix=unspecified
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Kennung des Quellmodells: artificial-analysis/b89c4faf-219e-4171-a1aa-e3bd2fd0a924/solar-pro-3/solar-pro-3. Name des Quellmodells: Solar Pro 3. Anbieter laut Quelle: Upstage. Modellstand: Solar Pro 3. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Reasoning: reasoning enabled. Angezeigter Wert: 0,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
- Vergleichsmethodik
- Exakte AA-Konfiguration: Solar Pro 3 (Release solar-pro-3, Zeile solar-pro-3, UUID b89c4faf-219e-4171-a1aa-e3bd2fd0a924, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch.. Reasoning: reasoning enabled
Arena Hard v2 (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 62.5
- Bewertung
- 62.5
- Messgröße
- percent
- Einheit
- %
- Kategorie
- preference
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- official model card/release page
- Status
- active
- Abrufdatum
- 2026-09-08
- Methodik
- Vom Anbieter veröffentlichter Wert. vendor-reported; Jan 2026 release page
IFBench (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 55.78
- Bewertung
- 55.78
- Messgröße
- percent
- Einheit
- %
- Kategorie
- instruction
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- official model card/release page
- Status
- active
- Abrufdatum
- 2026-09-08
- Methodik
- Vom Anbieter veröffentlichter Wert. vendor-reported; Jan 2026 release page
Seite 1 von 3
Unsere Tests
SVG-Kurztest
Ein SVG-Prompt, feste Ausgabeparameter. Aufnahmen erscheinen nur bei gemeldeten 0 Reasoning-Tokens oder dokumentiert fehlender Reasoning-Steuerung. Gleiche Testbedingungen machen die interne Rechenleistung der Modelle nicht identisch.
Frühere Tests
Pelikan auf dem Fahrrad
Community-Klassiker für eine freie SVG-Zeichnung.
Solar Pro 3
Reasoning (angefragt): high
Aktueller Versuch
- Datum des Testlaufs
- 02.10.2026
- API-Anbieter
- openrouter
- Angefragtes API-Modell
- upstage/solar-pro-3
- API-Modell laut Antwort
- upstage/solar-pro-3
- Reasoning-Einstellung
- high
- Festgelegter Endpunkt
- Upstage | upstage/solar-pro-3
- Temperatur
- Anbieterstandard
- Tokenlimit inklusive Reasoning
- 8.192 Token
- Testprotokoll
- community-visual-tests-v1
- Technische Prüfung
- Bestanden, keine Qualitätsbewertung
- Antwortzeit
- 11,8 s
Visuell geprüft. Aus diesem Einzeltest ergibt sich kein Gesamturteil über das Modell.
Frühere Versuche (1)
- 01.10.2026Ausgabe aus Sicherheitsgründen nicht dargestelltReasoning-Einstellung: high
Prompt und Testbedingungen
Generate an SVG of a pelican riding a bicycle
Tokenlimit inklusive Reasoning: 8.192 Token
Ursprung der Aufgabe (Simon Willison)Beliebtheit
28,6 / 100