SprachmodellOpen Source

Step 3.7 Flash

StepFun

Veröffentlicht: Mai 2026
Datenstand: 8. September 2026
Vorgängermodell: Step 3.5 Flash

Benchmark-Meta-Score: Nicht berechenbar
Weniger als acht Testreihen
Geschwindigkeit: 81,1 Token/s
Ausgabe-Tempo
Preis: 0,2 $ · 1,15 $
Eingabe · Ausgabe / 1 Mio. Token
Eingabe: Text, Bild
Ausgabe: Text

Neu an Step 3.7 Flash ist das Bildverständnis in StepFuns schneller Step-Reihe. Das sparse MoE verarbeitet Text und Bilder, gibt Text aus, aktiviert ungefähr 11 Milliarden Parameter und bietet 256K Kontext mit niedriger, mittlerer oder hoher Reasoning-Intensität.

StepFun vergleicht die Version direkt mit Step 3.5 Flash und berichtet im Launch-Text +5 % auf SWE-Bench Pro sowie 6,1 % auf Terminal-Bench 2.1.

Technische Daten und Zugang

Angabe	Wert und Quelle
Gewichte	Open WeightsQuelle
Zugang	API, LokalQuelle
Parameter	198 Mrd.Quelle
Aktive Parameter	11 Mrd.Quelle
Kontextfenster	256.000 TokenQuelle
Hinweise	Multimodales MoE-Modell unter Apache-2.0-Lizenz mit 198B Parametern insgesamt, etwa 11B aktiven Parametern und einem 256K-Kontextfenster.Quelle
Lizenz	Apache-2.0Quelle
Parameter	198 Mrd.Quelle
Aktive Parameter	11 Mrd.Quelle
Architektur	sparse MoE vision-language model, 196B language backbone plus 1.8B vision encoderQuelle
Eingabe	Text, Bild (The checked official API/model-page material documents text and image inputs; video is not documented for this checkpoint.)Quelle
Ausgabe	TextQuelle
Reasoning-Modus	selectable low, medium and high reasoning levelsQuelle
Werkzeugaufrufe	JaQuelle
API-Modellkennung	step-3.7-flashQuelle
Token-Durchsatz pro Sekunde	400 (Throughput is a usage claim, not a benchmark score.)Quelle
Veröffentlichung	2026-05-29Quelle

Benchmark-Metaanalyse

Gesamt- und Bereichsscores

Diese Gradually-Indizes ordnen ausgewählte veröffentlichte Messwerte auf einer Skala von 0 bis 100 ein. Sie sind keine Prozentgenauigkeit und keine Garantie für ein Ergebnis in deiner Anwendung.

Abrufstände der verwendeten Quellen 2026-10-19 - 2026-10-19

Gesamtindex

Noch nicht genug unabhängige Werte für einen Score

Ein Gesamtwert braucht mindestens acht Testreihen.

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Testreihen: 4
Testfamilien: 4 / 65
Quellen: 1
Anteil am festen Testpanel (informativ): 5 %

Agenten

Index 2,5 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,7
95-%-Intervall: 1,3 bis 4,3
Testreihen: 2
Testfamilien: 2 / 12
Quellen: 1
Anteil am festen Testpanel (informativ): 17 %

Allgemein

Index 2,8 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,8
95-%-Intervall: 1,5 bis 4,9
Testreihen: 1
Testfamilien: 1 / 5
Quellen: 1
Anteil am festen Testpanel (informativ): 20 %

Multimodal

Index 3,8 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 1,0
95-%-Intervall: 2,3 bis 6,1
Testreihen: 1
Testfamilien: 1 / 4
Quellen: 1
Anteil am festen Testpanel (informativ): 13 %

Dokumentierte Methode · Einbezogene Testfamilien und Messwerte

Methodenfassung: benchmark-meta-score-v3

Es zählen aktive Messwerte aus geprüften Primärquellen, wenn mindestens fünf Modelle im selben dokumentierten Vergleichsschnitt aus Datensatz, Harness, Agent, Werkzeugen und Versuchsanzahl verglichen werden. Pro Benchmark-Reihe und Auswerter zählt ein gemeinsamer Setup-Schnitt aus dem neuesten Abruf. Bei mehreren ausdrücklich erfassten Reasoning-Stufen derselben Quelle und Testreihe zählt die höchste dokumentierte Stufe (none bis max), nicht der höchste Ergebniswert. Die ausdrückliche Quellenangabe „Non-reasoning“ entspricht none. Unbekannte oder mehrdeutige Stufen führen zum Ausschluss des Modells aus der betreffenden Reihe. Innerhalb jeder Reihe werden Prozentwerte und Quoten logit-transformiert, andere Einheiten bleiben unverändert, und anschließend werden alle Werte standardisiert. Ein Ein-Faktor-Modell schätzt daraus eine gemeinsame Leistungsstärke je Modell und je Reihe, wie deutlich sie zwischen den Modellen trennt. Bereichswerte weichen davon nur so weit ab, wie die eigenen Ergebnisse im Bereich es belegen. Der Gesamtwert gewichtet die Kernbereiche mit 75 % und Finanzen, Recht und Gesundheit mit 25 %. Er erfordert mindestens acht Testreihen aus zwei Quellen und drei Bereichen. Die Skala von 0 bis 100 bezieht sich auf eine feste Referenzgruppe aus 29 Sprachmodellen, deren Durchschnitt bei 50 liegt.

Veröffentlichte modellabhängige Parameter können abweichen. Das ist kein kontrolliertes Experiment; solche Vergleiche werden als vorläufig gekennzeichnet.

Nicht gemessene Reihen werden nicht als Nullwert eingesetzt. Fehlen einem Modell eigene Werte in einem Kernbereich, steht dort seine Gesamtstärke, und der Hinweis „geschätzt, ohne eigene Werte in …“ nennt den Bereich. Weniger Testreihen führen zu einem größeren Standardfehler.

Das 95-%-Intervall folgt aus dem Standardfehler von 200 Neuberechnungen mit zufällig neu gezogenen Testfamilien. Es beschreibt, wie genau die erfassten Testreihen den Wert festlegen. Es ist keine Prognose für künftige Aufgaben oder spätere Neuberechnungen mit anderen Teilnehmern.

Die Quellenzahl ist keine Anzahl unabhängiger Experimente.

OECD-Handbuch zu zusammengesetzten Indikatoren

Alle 4 Testfamilien und 4 von 4 Rohmesswerten sind hier aufgeführt. Die vollständige Rechnung für alle Modelle enthält der JSON-Export.

Testfamilie: APEX-Agents-AA
Agenten · Mittleres Rangperzentil der Familie: 30,8 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-apex-agents-aa
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,89 %
  Rohwert:
  14,823008849557501 %
  Messgröße:
  Pass@1 success rate
  Version:
  AA public cohort: 452 tasks
  Teilnehmende Modelle:
  27
  Rangperzentil innerhalb der Kohorte:
  30,8 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-apex-agents-aa:AA public cohort: 452 tasks:standalone:reasoning:tokens=2000:suffix=unspecified
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-apex-agents-aa","AA public cohort: 452 tasks","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Harness:
  Artificial Analysis Stirrup
  Agent:
  Stirrup agent
  Werkzeugregeln:
  200-turn cap; MCP-backed workplace tools in Archipelago
  Versuche:
  pass@1, averaged over 3 repeats per task
  Setup- und Modellparameter
  Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 452 Aufgaben aus der öffentlichen 480-Aufgaben-Version, drei Wiederholungen pro Aufgabe. Ein Durchlauf besteht nur, wenn alle Kriterien der Rubrik erfüllt sind; der Leaderboardwert mittelt pass@1 über die Wiederholungen.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: 200-turn cap; MCP-backed workplace tools in Archipelago. Versuche: pass@1, averaged over 3 repeats per task. Reasoning: reasoning enabled
  Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 452 Aufgaben aus der öffentlichen 480-Aufgaben-Version, drei Wiederholungen pro Aufgabe. Ein Durchlauf besteht nur, wenn alle Kriterien der Rubrik erfüllt sind; der Leaderboardwert mittelt pass@1 über die Wiederholungen.. Kennung des Quellmodells: artificial-analysis/6c7b322e-2f35-48ff-9171-fb621a726fc0/step-3-7-flash/step-3-7-flash. Name des Quellmodells: Step 3.7 Flash. Anbieter laut Quelle: StepFun. Modellstand: Step 3.7 Flash. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: 200-turn cap; MCP-backed workplace tools in Archipelago. Versuche: pass@1, averaged over 3 repeats per task. Reasoning: reasoning enabled. Angezeigter Wert: 14,8 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: IFBench
Allgemein · Mittleres Rangperzentil der Familie: 58,0 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,14 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-ifbench
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,14 %
  Rohwert:
  67,2789115646258 %
  Messgröße:
  IFBench prompt-level loose accuracy (pass@1)
  Version:
  AA test set: 294 questions
  Teilnehmende Modelle:
  70
  Rangperzentil innerhalb der Kohorte:
  58,0 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-ifbench:AA test set: 294 questions:standalone:reasoning:tokens=2000:suffix=unspecified
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-ifbench","AA test set: 294 questions","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Werkzeugregeln:
  Single-turn answer evaluated with the official IFBench source code
  Versuche:
  pass@1, 5 repeats per question
  Setup- und Modellparameter
  Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled
  Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/6c7b322e-2f35-48ff-9171-fb621a726fc0/step-3-7-flash/step-3-7-flash. Name des Quellmodells: Step 3.7 Flash. Anbieter laut Quelle: StepFun. Modellstand: Step 3.7 Flash. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled. Angezeigter Wert: 67,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: ITBench-AA (SRE)
Agenten · Mittleres Rangperzentil der Familie: 14,3 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,89 % · Abdeckung dieser Testfamilie: 100 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-itbench-aa
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,89 %
  Rohwert:
  30,2730696798493 %
  Messgröße:
  Average precision at full recall
  Version:
  AA cohort: 59 tasks
  Teilnehmende Modelle:
  36
  Rangperzentil innerhalb der Kohorte:
  14,3 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-itbench-aa:AA cohort: 59 tasks:standalone:reasoning:tokens=2000:suffix=unspecified
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-itbench-aa","AA cohort: 59 tasks","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Harness:
  Artificial Analysis Stirrup
  Agent:
  Stirrup agent
  Werkzeugregeln:
  Shell access to an offline Kubernetes incident snapshot
  Versuche:
  Average precision at full recall, 3 repeats per task
  Setup- und Modellparameter
  Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled
  Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Kennung des Quellmodells: artificial-analysis/6c7b322e-2f35-48ff-9171-fb621a726fc0/step-3-7-flash/step-3-7-flash. Name des Quellmodells: Step 3.7 Flash. Anbieter laut Quelle: StepFun. Modellstand: Step 3.7 Flash. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled. Angezeigter Wert: 30,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Testfamilie: MMMU-Pro
Multimodal · Mittleres Rangperzentil der Familie: 44,6 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,68 % · Abdeckung dieser Testfamilie: 50 %
- Artificial Analysis
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  artificial-analysis-mmmu-pro
  Gewicht der Messreihe innerhalb der Testfamilie:
  50 %
  Nominaler Beitrag zum Gesamtpanel:
  1,34 %
  Rohwert:
  75,3179190751445 %
  Messgröße:
  pass@1 accuracy
  Version:
  AA cohort: 1,730 questions
  Teilnehmende Modelle:
  57
  Rangperzentil innerhalb der Kohorte:
  44,6 %
  Abgerufen:
  2026-10-19
  Vergleichskohorte:
  artificial-analysis-mmmu-pro:AA cohort: 1,730 questions:standalone:reasoning:tokens=2000:suffix=unspecified
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  ["artificial-analysis-mmmu-pro","AA cohort: 1,730 questions","aa-model-page-2026-10-19-8a022369738c"]
  Datensatztyp:
  artificial-analysis-evaluation
  Werkzeugregeln:
  Ten-option multiple choice; regex answer extraction
  Versuche:
  pass@1, one run per question
  Setup- und Modellparameter
  Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: reasoning enabled
  Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Kennung des Quellmodells: artificial-analysis/6c7b322e-2f35-48ff-9171-fb621a726fc0/step-3-7-flash/step-3-7-flash. Name des Quellmodells: Step 3.7 Flash. Anbieter laut Quelle: StepFun. Modellstand: Step 3.7 Flash. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: reasoning enabled. Angezeigter Wert: 75,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19

Benchmarkquellen im Überblick

Jeder Auswerter misst andere Fähigkeiten unter eigenen Bedingungen. Testreihen, Gesamtindizes und ihre Komponenten bleiben getrennt. Die Ergebnisse darunter behalten ihre Skalen, Konfigurationen und Quelldaten.

Auswerter	Testreihen	Gesamtindizes	Erfasste aktive Messwerte
Artificial Analysis	5	0	12

Die Abdeckung ist keine Qualitätsrangliste. Überschneidende Tests und mehrere Einstellungen zählen nicht als unabhängige Versuche. Herstellerangaben, historische und strittige Ergebnisse bleiben außerhalb dieser Übersicht und sind in den Detailbelegen gekennzeichnet.

Bei 6 Messwerten dieser Quellen ist die Zuordnung zu einer Testreihe noch offen. Sie erhöhen die Zahl der Testreihen nicht.

Messungen ohne passende Vergleichswerte

Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.

APEX-Agents-AA: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 14.823008849557501
Bewertung: 14.823008849557501
Messgröße: Pass@1 success rate
Einheit: %
Benchmark-Version: AA public cohort: 452 tasks
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: artificial-analysis-apex-agents-aa:AA public cohort: 452 tasks:standalone:reasoning:tokens=2000:suffix=unspecified
Quellentyp: independent-evaluator
Auswertung: Artificial Analysis
Status: active
Abrufdatum: 2026-10-19
Methodik: Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 452 Aufgaben aus der öffentlichen 480-Aufgaben-Version, drei Wiederholungen pro Aufgabe. Ein Durchlauf besteht nur, wenn alle Kriterien der Rubrik erfüllt sind; der Leaderboardwert mittelt pass@1 über die Wiederholungen.. Kennung des Quellmodells: artificial-analysis/6c7b322e-2f35-48ff-9171-fb621a726fc0/step-3-7-flash/step-3-7-flash. Name des Quellmodells: Step 3.7 Flash. Anbieter laut Quelle: StepFun. Modellstand: Step 3.7 Flash. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: 200-turn cap; MCP-backed workplace tools in Archipelago. Versuche: pass@1, averaged over 3 repeats per task. Reasoning: reasoning enabled. Angezeigter Wert: 14,8 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Vergleichsmethodik: Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 452 Aufgaben aus der öffentlichen 480-Aufgaben-Version, drei Wiederholungen pro Aufgabe. Ein Durchlauf besteht nur, wenn alle Kriterien der Rubrik erfüllt sind; der Leaderboardwert mittelt pass@1 über die Wiederholungen.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: 200-turn cap; MCP-backed workplace tools in Archipelago. Versuche: pass@1, averaged over 3 repeats per task. Reasoning: reasoning enabled
Einordnung: Zwei Aufgabenwelten aus dem Investment Banking fehlen, weil sie externe Laufzeit-APIs benötigen.

Quelle Artificial Analysis

IFBench: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 67.2789115646258
Bewertung: 67.2789115646258
Messgröße: IFBench prompt-level loose accuracy (pass@1)
Einheit: %
Benchmark-Version: AA test set: 294 questions
Kategorie: general
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: artificial-analysis-ifbench:AA test set: 294 questions:standalone:reasoning:tokens=2000:suffix=unspecified
Quellentyp: independent-evaluator
Auswertung: Artificial Analysis
Status: active
Abrufdatum: 2026-10-19
Methodik: Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Kennung des Quellmodells: artificial-analysis/6c7b322e-2f35-48ff-9171-fb621a726fc0/step-3-7-flash/step-3-7-flash. Name des Quellmodells: Step 3.7 Flash. Anbieter laut Quelle: StepFun. Modellstand: Step 3.7 Flash. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled. Angezeigter Wert: 67,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Vergleichsmethodik: Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Artificial Analysis führt 294 Fragen aus dem IFBench-Testdatensatz mit fünf Wiederholungen je Frage aus. Der offizielle Evaluator bewertet die Genauigkeit je Prompt im Modus loose als pass@1.. Werkzeugrichtlinie: Single-turn answer evaluated with the official IFBench source code. Versuche: pass@1, 5 repeats per question. Reasoning: reasoning enabled
Einordnung: Die Angabe von 58 bezieht sich auf die verifizierbaren Out-of-Domain-Bedingungstypen, nicht auf die Zahl der Fragen im AA-Testlauf.

Quelle Artificial Analysis

ITBench-AA (SRE): Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 30.2730696798493
Bewertung: 30.2730696798493
Messgröße: Average precision at full recall
Einheit: %
Benchmark-Version: AA cohort: 59 tasks
Kategorie: agentic
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: artificial-analysis-itbench-aa:AA cohort: 59 tasks:standalone:reasoning:tokens=2000:suffix=unspecified
Quellentyp: independent-evaluator
Auswertung: Artificial Analysis
Status: active
Abrufdatum: 2026-10-19
Methodik: Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Kennung des Quellmodells: artificial-analysis/6c7b322e-2f35-48ff-9171-fb621a726fc0/step-3-7-flash/step-3-7-flash. Name des Quellmodells: Step 3.7 Flash. Anbieter laut Quelle: StepFun. Modellstand: Step 3.7 Flash. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled. Angezeigter Wert: 30,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Vergleichsmethodik: Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. 59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: reasoning enabled
Einordnung: Die AA-Implementierung deckt hier nur Site Reliability Engineering ab, nicht die weiteren ITBench-Domänen CISO und FinOps.

Quelle Artificial Analysis

MMMU-Pro: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 75.3179190751445
Bewertung: 75.3179190751445
Messgröße: pass@1 accuracy
Einheit: %
Benchmark-Version: AA cohort: 1,730 questions
Kategorie: multimodal
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: artificial-analysis-mmmu-pro:AA cohort: 1,730 questions:standalone:reasoning:tokens=2000:suffix=unspecified
Quellentyp: independent-evaluator
Auswertung: Artificial Analysis
Status: active
Abrufdatum: 2026-10-19
Methodik: Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Kennung des Quellmodells: artificial-analysis/6c7b322e-2f35-48ff-9171-fb621a726fc0/step-3-7-flash/step-3-7-flash. Name des Quellmodells: Step 3.7 Flash. Anbieter laut Quelle: StepFun. Modellstand: Step 3.7 Flash. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: reasoning enabled. Angezeigter Wert: 75,3 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Vergleichsmethodik: Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Der AA-Lauf umfasst 1.730 Fragen mit zehn Antwortoptionen. Die Antwort wird per regulärem Ausdruck extrahiert und als pass@1 bewertet.. Werkzeugrichtlinie: Ten-option multiple choice; regex answer extraction. Versuche: pass@1, one run per question. Reasoning: reasoning enabled
Einordnung: Die Benchmarkseite nennt 3.460 Fragen für den vollständigen MMMU-Pro-Datensatz; die AA-Methodik beschreibt einen 1.730-Fragen-Lauf.

Quelle Artificial Analysis

AA-Omniscience Accuracy: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 25.783333333333335
Bewertung: 25.783333333333335
Messgröße: AA-Omniscience Accuracy
Einheit: %
Benchmark-Version: AA Omniscience diagnostic
Kategorie: knowledge
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: artificial-analysis-omniscience-accuracy:AA Omniscience diagnostic:standalone:reasoning:tokens=2000:suffix=unspecified
Quellentyp: independent-evaluator
Auswertung: Artificial Analysis
Status: active
Abrufdatum: 2026-10-19
Methodik: Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil der insgesamt korrekt beantworteten Fragen, unabhängig davon, ob das Modell andere Fragen beantwortet oder sich enthält.. Kennung des Quellmodells: artificial-analysis/6c7b322e-2f35-48ff-9171-fb621a726fc0/step-3-7-flash/step-3-7-flash. Name des Quellmodells: Step 3.7 Flash. Anbieter laut Quelle: StepFun. Modellstand: Step 3.7 Flash. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: reasoning enabled. Angezeigter Wert: 25,8 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Vergleichsmethodik: Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil der insgesamt korrekt beantworteten Fragen, unabhängig davon, ob das Modell andere Fragen beantwortet oder sich enthält.. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: reasoning enabled
Einordnung: Dies ist die separat veröffentlichte Genauigkeitsdiagnostik, nicht der AA-Omniscience-Index. AA bezeichnet höhere Werte als besser.

Quelle Artificial Analysis

AA-Omniscience Hallucination Rate: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 84.9764203907478
Bewertung: 84.9764203907478
Messgröße: AA-Omniscience Hallucination Rate
Einheit: %
Benchmark-Version: AA Omniscience diagnostic
Kategorie: knowledge
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Weniger ist besser
Vergleichskohorte: artificial-analysis-omniscience-hallucination-rate:AA Omniscience diagnostic:standalone:reasoning:tokens=2000:suffix=unspecified
Quellentyp: independent-evaluator
Auswertung: Artificial Analysis
Status: active
Abrufdatum: 2026-10-19
Methodik: Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil falscher Antworten an allen nicht korrekten Antworten: falsch / (falsch + teilweise richtig + nicht beantwortet).. Kennung des Quellmodells: artificial-analysis/6c7b322e-2f35-48ff-9171-fb621a726fc0/step-3-7-flash/step-3-7-flash. Name des Quellmodells: Step 3.7 Flash. Anbieter laut Quelle: StepFun. Modellstand: Step 3.7 Flash. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: reasoning enabled. Angezeigter Wert: 85,0 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-10-19-8a022369738c. Prüfsumme der Quelldaten: 8a022369738cbe2a0e2f9bf486a2882865dbb0c6f1396dfec84059a802560e3c. Parserversion: artificial-analysis-rsc-models-v2. Importiert am: 2026-10-19
Vergleichsmethodik: Exakte AA-Konfiguration: Step 3.7 Flash (Release step-3-7-flash, Zeile step-3-7-flash, UUID 6c7b322e-2f35-48ff-9171-fb621a726fc0, reasoning=true, source reasoning-token configuration budget=2000, suffix=nicht angegeben). Der konfigurierte Wert ist kein gemessener Tokenverbrauch. Anteil falscher Antworten an allen nicht korrekten Antworten: falsch / (falsch + teilweise richtig + nicht beantwortet).. Versuche: AA-reported aggregate; diagnostic-specific run count is not stated on the leaderboard. Reasoning: reasoning enabled
Einordnung: Dies ist die separat veröffentlichte Halluzinationsraten-Diagnostik, nicht der AA-Omniscience-Index. AA bezeichnet niedrigere Werte als besser.

Quelle Artificial Analysis

SimpleVQA (Search) (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 79.2
Bewertung: 79.2
Messgröße: percent
Einheit: %
Kategorie: mixed
Richtung: Mehr ist besser
Quellentyp: vendor-reported
Auswertung: StepFun Step 3.7 Flash official model page
Status: active
Abrufdatum: 2026-09-08
Methodik: Vom Anbieter veröffentlichter Wert. Official page/benchmark claims; preserve harness, precision and MTP configuration in row names.

Quelle StepFun Step 3.7 Flash official model page

V* (Python) (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 95.3
Bewertung: 95.3
Messgröße: percent
Einheit: %
Kategorie: mixed
Richtung: Mehr ist besser
Quellentyp: vendor-reported
Auswertung: StepFun Step 3.7 Flash official model page
Status: active
Abrufdatum: 2026-09-08
Methodik: Vom Anbieter veröffentlichter Wert. Official page/benchmark claims; preserve harness, precision and MTP configuration in row names.

Quelle StepFun Step 3.7 Flash official model page

ClawEval-1.1 (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 67.1
Bewertung: 67.1
Messgröße: percent
Einheit: %
Kategorie: mixed
Richtung: Mehr ist besser
Quellentyp: vendor-reported
Auswertung: StepFun Step 3.7 Flash official model page
Status: active
Abrufdatum: 2026-09-08
Methodik: Vom Anbieter veröffentlichter Wert. Official page/benchmark claims; preserve harness, precision and MTP configuration in row names.

Quelle StepFun Step 3.7 Flash official model page

Toolathlon (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 49.5
Bewertung: 49.5
Messgröße: percent
Einheit: %
Kategorie: mixed
Richtung: Mehr ist besser
Quellentyp: vendor-reported
Auswertung: StepFun Step 3.7 Flash official model page
Status: active
Abrufdatum: 2026-09-08
Methodik: Vom Anbieter veröffentlichter Wert. Official page/benchmark claims; preserve harness, precision and MTP configuration in row names.

Quelle StepFun Step 3.7 Flash official model page

HLE (with tools) (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 48.1
Bewertung: 48.1
Messgröße: percent
Einheit: %
Kategorie: mixed
Richtung: Mehr ist besser
Quellentyp: vendor-reported
Auswertung: StepFun Step 3.7 Flash official model page
Status: active
Abrufdatum: 2026-09-08
Methodik: Vom Anbieter veröffentlichter Wert. Official page/benchmark claims; preserve harness, precision and MTP configuration in row names.

Quelle StepFun Step 3.7 Flash official model page

SWE-Bench Pro (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 56.3
Bewertung: 56.3
Messgröße: percent
Einheit: %
Kategorie: mixed
Richtung: Mehr ist besser
Quellentyp: vendor-reported
Auswertung: StepFun Step 3.7 Flash official model page
Status: active
Abrufdatum: 2026-09-08
Methodik: Vom Anbieter veröffentlichter Wert. Official page/benchmark claims; preserve harness, precision and MTP configuration in row names.

Quelle StepFun Step 3.7 Flash official model page

Seite 1 von 3

Vorgänger und Nachfolger

Quellen und Datenstand

Art	Nachweis und Datenstand
Geschwindigkeit	StepFun. Ausgabetempo nach dem ersten empfangenen Textabschnitt, nicht die gesamte Antwortzeit. Abgerufen am 8. September 2026. Quelle: Artificial Analysis · Artificial Analysis (abgerufen 8. September 2026)Messmethode der Geschwindigkeit
Preis	API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten. Quelle: Preise · API-Preise
Eingabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · StepFun Step 3.7 Flash official model page (abgerufen 8. September 2026) · StepFun Step 3.7 Flash release · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Ausgabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · StepFun Step 3.7 Flash official model page (abgerufen 8. September 2026) · StepFun Step 3.7 Flash release · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Recherchestand	Recherchestand 8. September 2026. 3 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
In den geprüften Quellen nicht gefunden	knowledge-cutoff Originalwortlaut The exact Step 3.7 Flash page does not publish a knowledge cutoff.
Weitere Quelle	Modellmetadaten (abgerufen 8. September 2026) · StepFun Step 3.7 Flash repository · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	Artificial Analysis (abgerufen 19. Oktober 2026)
Weitere Quelle	StepFun Step 3.5 Flash repository · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Weitere Quelle	OpenRouter: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Vercel AI Gateway: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Ollama: kumulierte Downloads für den Beliebtheitsindex
Weitere Quelle	Replicate: kumulierte Ausführungen für den Beliebtheitsindex
Weitere Quelle	Google Trending Now: begrenzte Feed-Auswahl für Deutschland und USA
Weitere Quelle	Creative Commons Attribution 4.0

Step 3.7 Flash

Technische Daten und Zugang

Gesamt- und Bereichsscores

Gesamtindex

Agenten

Allgemein

Multimodal

Testfamilie: APEX-Agents-AA

Testfamilie: IFBench

Testfamilie: ITBench-AA (SRE)

Testfamilie: MMMU-Pro

Benchmarkquellen im Überblick

Messungen ohne passende Vergleichswerte

Unsere Tests

SVG-Kurztest

Step 3.7 Flash

Pelikan auf dem Fahrrad

Beliebtheit

Veröffentlichte Preise

Vorgänger und Nachfolger

Quellen und Datenstand