SprachmodellAktiv

Nemotron 3 Ultra

NVIDIA

Veröffentlicht: 4. Juni 2026
Datenstand: 8. September 2026

Benchmark-Meta-Score: Nicht berechenbar
Werte aus nur einer Quelle
Geschwindigkeit: 162,9 Token/s
Ausgabe-Tempo
Preis: 0,6 $ · 2,4 $
Eingabe · Ausgabe / 1 Mio. Token
Eingabe: Text
Ausgabe: Text

Nemotron 3 Ultra verbindet 550 Milliarden Gesamtparameter mit 55 Milliarden aktiven Parametern in NVIDIAs LatentMoE-Architektur. Mamba2, MoE, Attention und Multi-Token Prediction bilden dabei die technische Grundlage. Der Checkpoint unterstützt zehn Sprachen und gibt ausschließlich Text aus.

Das 1M-Token-Fenster deckt lange Software- und Dokumentaufgaben ab. NVIDIAs technischer Bericht beschreibt den Effizienzansatz, macht aber keine pauschale Qualitätszusage. Für Speicher und Parallelisierung zählt deshalb weiterhin die Gesamtgröße von 550 Milliarden Parametern.

Technische Daten und Zugang

Angabe	Wert und Quelle
Gewichte	Open WeightsQuelle
Zugang	API, LokalQuelle
Parameter	550 Mrd.Quelle
Aktive Parameter	55 Mrd.Quelle
Kontextfenster	1.000.000 TokenQuelle
Veröffentlichung	2026-06-04Quelle
Lizenz	OpenMDW-1.1Quelle
Architektur	LatentMoE, Mamba-2 + MoE + Attention hybrid with MTPQuelle
Sprachen	English, French, Spanish, Italian, German, Japanese, Hindi, Korean, Brazilian Portuguese, ChineseQuelle
Eingabe	TextQuelle
Ausgabe	TextQuelle

Benchmark-Metaanalyse

Gesamt- und Bereichsscores

Diese Gradually-Indizes ordnen ausgewählte veröffentlichte Messwerte auf einer Skala von 0 bis 100 ein. Sie sind keine Prozentgenauigkeit und keine Garantie für ein Ergebnis in deiner Anwendung.

Abrufstände der verwendeten Quellen 2026-10-15 - 2026-10-15

Gesamtindex

Noch nicht genug unabhängige Werte für einen Score

Ein Gesamtwert braucht Werte aus mindestens zwei Quellen.

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Testreihen: 16
Testfamilien: 16 / 65
Quellen: 1
Anteil am festen Testpanel (informativ): 21 %

Programmieren

Index 1,6 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 1,3
95-%-Intervall: 0,3 bis 6,5
Testreihen: 6
Testfamilien: 6 / 15
Quellen: 1
Anteil am festen Testpanel (informativ): 31 %

Schlussfolgern

Index 3,1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 1,1
95-%-Intervall: 1,4 bis 6,1
Testreihen: 1
Testfamilien: 1 / 7
Quellen: 1
Anteil am festen Testpanel (informativ): 7 %

Wissen

Index 3,2 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 1,2
95-%-Intervall: 1,5 bis 6,3
Testreihen: 1
Testfamilien: 1 / 3
Quellen: 1
Anteil am festen Testpanel (informativ): 33 %

Finanzen

Index 3,1 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 2,0
95-%-Intervall: 0,8 bis 9,6
Testreihen: 4
Testfamilien: 4 / 7
Quellen: 1
Anteil am festen Testpanel (informativ): 57 %

Recht

Index 1,3 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 1,3
95-%-Intervall: 0,1 bis 7,1
Testreihen: 3
Testfamilien: 3 / 4
Quellen: 1
Anteil am festen Testpanel (informativ): 75 %

Gesundheit

Index 1,5 / 100

vorläufig

Die veröffentlichten Konfigurationen unterscheiden sich innerhalb dieser Vergleichskohorte. Den Index daher als vorläufig lesen.

Standardfehler: ± 0,6
95-%-Intervall: 0,6 bis 3,2
Testreihen: 1
Testfamilien: 1 / 3
Quellen: 1
Anteil am festen Testpanel (informativ): 33 %

Dokumentierte Methode · Einbezogene Testfamilien und Messwerte

Methodenfassung: benchmark-meta-score-v3

Es zählen aktive Messwerte aus geprüften Primärquellen, wenn mindestens fünf Modelle im selben dokumentierten Vergleichsschnitt aus Datensatz, Harness, Agent, Werkzeugen und Versuchsanzahl verglichen werden. Pro Benchmark-Reihe und Auswerter zählt ein gemeinsamer Setup-Schnitt aus dem neuesten Abruf. Bei mehreren ausdrücklich erfassten Reasoning-Stufen derselben Quelle und Testreihe zählt die höchste dokumentierte Stufe (none bis max), nicht der höchste Ergebniswert. Die ausdrückliche Quellenangabe „Non-reasoning“ entspricht none. Unbekannte oder mehrdeutige Stufen führen zum Ausschluss des Modells aus der betreffenden Reihe. Innerhalb jeder Reihe werden Prozentwerte und Quoten logit-transformiert, andere Einheiten bleiben unverändert, und anschließend werden alle Werte standardisiert. Ein Ein-Faktor-Modell schätzt daraus eine gemeinsame Leistungsstärke je Modell und je Reihe, wie deutlich sie zwischen den Modellen trennt. Bereichswerte weichen davon nur so weit ab, wie die eigenen Ergebnisse im Bereich es belegen. Der Gesamtwert gewichtet die Kernbereiche mit 75 % und Finanzen, Recht und Gesundheit mit 25 %. Er erfordert mindestens acht Testreihen aus zwei Quellen und drei Bereichen. Die Skala von 0 bis 100 bezieht sich auf eine feste Referenzgruppe aus 29 Sprachmodellen, deren Durchschnitt bei 50 liegt.

Veröffentlichte modellabhängige Parameter können abweichen. Das ist kein kontrolliertes Experiment; solche Vergleiche werden als vorläufig gekennzeichnet.

Nicht gemessene Reihen werden nicht als Nullwert eingesetzt. Fehlen einem Modell eigene Werte in einem Kernbereich, steht dort seine Gesamtstärke, und der Hinweis „geschätzt, ohne eigene Werte in …“ nennt den Bereich. Weniger Testreihen führen zu einem größeren Standardfehler.

Das 95-%-Intervall folgt aus dem Standardfehler von 200 Neuberechnungen mit zufällig neu gezogenen Testfamilien. Es beschreibt, wie genau die erfassten Testreihen den Wert festlegen. Es ist keine Prognose für künftige Aufgaben oder spätere Neuberechnungen mit anderen Teilnehmern.

Die Quellenzahl ist keine Anzahl unabhängiger Experimente.

OECD-Handbuch zu zusammengesetzten Indikatoren

Alle 16 Testfamilien und 12 von 16 Rohmesswerten sind hier aufgeführt. Die vollständige Rechnung für alle Modelle enthält der JSON-Export.

Testfamilie: GPQA Diamond
Schlussfolgern · Mittleres Rangperzentil der Familie: 57,9 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,53 % · Abdeckung dieser Testfamilie: 50 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-gpqa
  Gewicht der Messreihe innerhalb der Testfamilie:
  50 %
  Nominaler Beitrag zum Gesamtpanel:
  0,77 %
  Rohwert:
  86,112 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  77
  Rangperzentil innerhalb der Kohorte:
  57,9 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-gpqa:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-gpqa:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Top P: 0.95. Maximale Ausgabetoken: 128000
  Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 158.471. Standardfehler: 1.738. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-gpqa-2026-10-15-951eb5224097. Prüfsumme der Quelldaten: 951eb5224097733a9d09d06c14908ae2980e2e640e539f2c284877c5092d7077. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: SWE-bench Verified
Programmieren · Mittleres Rangperzentil der Familie: 19,5 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 50 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-swebench
  Gewicht der Messreihe innerhalb der Testfamilie:
  50 %
  Nominaler Beitrag zum Gesamtpanel:
  0,36 %
  Rohwert:
  69 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  60
  Rangperzentil innerhalb der Kohorte:
  19,5 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-swebench:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-swebench:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Top P: 0.95. Maximale Ausgabetoken: 128000
  Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 283.089. Standardfehler: 2.07. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-swebench-2026-10-15-7a4e2e848528. Prüfsumme der Quelldaten: 7a4e2e8485283caac500127419f68ec4bd5414c837ade114fc6afa5b2d34ccaa. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: Terminal-Bench
Programmieren · Mittleres Rangperzentil der Familie: 23,2 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 17 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-terminal-bench-2-1
  Gewicht der Messreihe innerhalb der Testfamilie:
  16,67 %
  Nominaler Beitrag zum Gesamtpanel:
  0,12 %
  Rohwert:
  50,936 %
  Messgröße:
  accuracy
  Version:
  2.1
  Teilnehmende Modelle:
  57
  Rangperzentil innerhalb der Kohorte:
  23,2 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-terminal-bench-2-1:2.1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-terminal-bench-2-1:2.1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Top P: 0.95. Maximale Ausgabetoken: 128000
  Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-28. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 584.116. Standardfehler: 2.925. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-terminal-bench-2-1-2026-10-15-a5306805cdf8. Prüfsumme der Quelldaten: a5306805cdf86495bdcceff6b2c8534a3768b9853f5077895dab975b809b054f. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: Code Migration
Programmieren · Mittleres Rangperzentil der Familie: 8,1 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-code-migration
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,71 %
  Rohwert:
  4,905 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  63
  Rangperzentil innerhalb der Kohorte:
  8,1 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-code-migration:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-code-migration:1:overall
  Datensatztyp:
  private
  Setup- und Modellparameter
  Top P: 0.95. Maximale Ausgabetoken: 128000
  Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 5470.513. Standardfehler: 1.589. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-10-15-3fa9c10568ec. Prüfsumme der Quelldaten: 3fa9c10568ecc117fabec81767c405b49a25d5d2ded308ee435fffb197c53474. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: CorpFin v2
Finanzen · Mittleres Rangperzentil der Familie: 75,7 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-corp-fin-v2
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  1,19 %
  Rohwert:
  65,462 %
  Messgröße:
  accuracy
  Version:
  2
  Teilnehmende Modelle:
  75
  Rangperzentil innerhalb der Kohorte:
  75,7 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-corp-fin-v2:2:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-corp-fin-v2:2:overall
  Datensatztyp:
  private
  Setup- und Modellparameter
  Top P: 0.95. Maximale Ausgabetoken: 128000
  Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 15.015. Standardfehler: 0.937. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: EMB
Finanzen · Mittleres Rangperzentil der Familie: 16,9 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-emb
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  1,19 %
  Rohwert:
  31,735 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  60
  Rangperzentil innerhalb der Kohorte:
  16,9 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-emb:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-emb:1:overall
  Datensatztyp:
  private
  Setup- und Modellparameter
  Top P: 0.95. Maximale Ausgabetoken: 128000
  Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 2382.355. Standardfehler: 2.805. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-emb-2026-10-15-e1170aaade72. Prüfsumme der Quelldaten: e1170aaade72d6b81079f9cb90244c41f028a12e29d982c3ec1d6e9913a9872d. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: Finance Agent (v2)
Finanzen · Mittleres Rangperzentil der Familie: 15,0 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-finance-agent-v2
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  1,19 %
  Rohwert:
  37,667 %
  Messgröße:
  accuracy
  Version:
  2
  Teilnehmende Modelle:
  61
  Rangperzentil innerhalb der Kohorte:
  15,0 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-finance-agent-v2:2:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-finance-agent-v2:2:overall
  Datensatztyp:
  private
  Setup- und Modellparameter
  Top P: 0.95. Maximale Ausgabetoken: 128000
  Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 253.882. Standardfehler: 0.149. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-fabv2-2026-10-15-3780be1a23c9. Prüfsumme der Quelldaten: 3780be1a23c9133a3c34a6095024af162b35a8ef50963a62fc67a6049880426c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: LiveCodeBench v6
Programmieren · Mittleres Rangperzentil der Familie: 76,6 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-lcb
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  0,71 %
  Rohwert:
  85,976 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  78
  Rangperzentil innerhalb der Kohorte:
  76,6 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-lcb:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-lcb:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Top P: 0.95. Maximale Ausgabetoken: 128000
  Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-09-01. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 161.2. Standardfehler: 0.992. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-lcb-2026-10-15-1a7c7dabc9d9. Prüfsumme der Quelldaten: 1a7c7dabc9d95a0182886b1edc42623987cac2095a0d407a5e334f37acdfa2f5. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: Harvey's Legal Agent Benchmark
Recht · Mittleres Rangperzentil der Familie: 24,6 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,08 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-legal-agent-benchmark
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,08 %
  Rohwert:
  0,417 %
  Messgröße:
  task resolution rate
  Version:
  1
  Teilnehmende Modelle:
  62
  Rangperzentil innerhalb der Kohorte:
  24,6 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-legal-agent-benchmark:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-legal-agent-benchmark:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 128000
  Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-10-12. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 2048.539. Standardfehler: 0. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-hlab-2026-10-15-7587eca48586. Prüfsumme der Quelldaten: 7587eca48586be017c9db8c1a11e6f6797b1eb62b7627cbf198f35f592f4fc69. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: LegalBench
Recht · Mittleres Rangperzentil der Familie: 41,0 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,08 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-legal-bench
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,08 %
  Rohwert:
  82,066 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  79
  Rangperzentil innerhalb der Kohorte:
  41,0 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-legal-bench:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-legal-bench:1:overall
  Datensatztyp:
  public
  Setup- und Modellparameter
  Top P: 0.95. Maximale Ausgabetoken: 128000
  Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: public. Stand der Rangliste: 2026-10-13. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 5.179. Standardfehler: 0.46. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_bench-2026-10-15-c8486ba756ba. Prüfsumme der Quelldaten: c8486ba756baa5cd3955d035edff67440e8db23e69d62ad1a9e18d15b8c4bc52. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: Legal Research Bench
Recht · Mittleres Rangperzentil der Familie: 19,2 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,08 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-legal-research
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,08 %
  Rohwert:
  15,385 %
  Messgröße:
  all-pass rate
  Version:
  1
  Teilnehmende Modelle:
  61
  Rangperzentil innerhalb der Kohorte:
  19,2 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-legal-research:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-legal-research:1:overall
  Datensatztyp:
  private
  Setup- und Modellparameter
  Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 128000
  Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 611.366. Standardfehler: 2.508. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-legal_research-2026-10-15-f16d6b6678c0. Prüfsumme der Quelldaten: f16d6b6678c06111a5c628248d14f0eb5c918491d50288c7f649729fcd5dcfaf. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: MedCode
Gesundheit · Mittleres Rangperzentil der Familie: 23,9 / 100
Gewicht der Familie im festen Testpanel (informativ): 2,78 % · Abdeckung dieser Testfamilie: 100 %
- Vals AI
  Veröffentlichte Konfigurationen unterscheiden sich in dieser Kohorte.
  Einzelmessung:
  vals-medcode
  Gewicht der Messreihe innerhalb der Testfamilie:
  100 %
  Nominaler Beitrag zum Gesamtpanel:
  2,78 %
  Rohwert:
  38,621 %
  Messgröße:
  accuracy
  Version:
  1
  Teilnehmende Modelle:
  68
  Rangperzentil innerhalb der Kohorte:
  23,9 %
  Abgerufen:
  2026-10-15
  Vergleichskohorte:
  vals-medcode:1:overall
  Dokumentierter Vergleichsaufbau
  Publikationskohorte:
  vals-medcode:1:overall
  Datensatztyp:
  private
  Setup- und Modellparameter
  Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000
  Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-13. Temperatur: 1. Top P: 0.95. Maximale Ausgabetoken: 30000. Latenz in Sekunden: 18.675. Standardfehler: 2.001. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-medcode-2026-10-15-988a6ae1e07e. Prüfsumme der Quelldaten: 988a6ae1e07e33ce031572ed4a804be11c36ee97a1dd75cbe4740fff3b534f8c. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Testfamilie: MMLU-Pro
Wissen · Mittleres Rangperzentil der Familie: 50,6 / 100
Gewicht der Familie im festen Testpanel (informativ): 3,57 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: ProgramBench
Programmieren · Mittleres Rangperzentil der Familie: 24,5 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: TaxEval v2
Finanzen · Mittleres Rangperzentil der Familie: 53,9 / 100
Gewicht der Familie im festen Testpanel (informativ): 1,19 % · Abdeckung dieser Testfamilie: 100 %
Testfamilie: Vibe Code Bench v1.1
Programmieren · Mittleres Rangperzentil der Familie: 12,5 / 100
Gewicht der Familie im festen Testpanel (informativ): 0,71 % · Abdeckung dieser Testfamilie: 100 %

Benchmarkquellen im Überblick

Jeder Auswerter misst andere Fähigkeiten unter eigenen Bedingungen. Testreihen, Gesamtindizes und ihre Komponenten bleiben getrennt. Die Ergebnisse darunter behalten ihre Skalen, Konfigurationen und Quelldaten.

Auswerter	Testreihen	Gesamtindizes	Erfasste aktive Messwerte
Artificial Analysis	2	0	9
Vals AI	16	0	143
Epoch AI	2	0	2

Die Abdeckung ist keine Qualitätsrangliste. Überschneidende Tests und mehrere Einstellungen zählen nicht als unabhängige Versuche. Herstellerangaben, historische und strittige Ergebnisse bleiben außerhalb dieser Übersicht und sind in den Detailbelegen gekennzeichnet.

Bei 7 Messwerten dieser Quellen ist die Zuordnung zu einer Testreihe noch offen. Sie erhöhen die Zahl der Testreihen nicht.

Veröffentlichte Benchmarks

Programmieren

Code Migration

Teilaufgabe	Nemotron 3 Ultra (Dieses Modell)	Kimi K2.6	Kimi K2.5
CLI	4,64 %	17,98 % (bester Wert dieser Zeile)	8,03 %
COBOL	5,71 %	57,14 % (bester Wert dieser Zeile)	3,77 %
Overall	4,91 %	27,77 % (bester Wert dieser Zeile)	6,96 %

höhere Werte sind besserStand 15. Oktober 2026Quelle: Vals AIBalken je Zeile skaliert, nicht über Zeilen hinweg

Methodik und Einordnung

Messgröße: accuracy

Code Migration

Code Quality

1.Kimi K2.53,27 Bewertung

2.Nemotron 3 Ultra3,25 Bewertung

3.Kimi K2.63,15 Bewertung

höhere Werte sind besserStand 15. Oktober 2026Skala: 0 Bewertung - 3,27 Bewertung

Quelle: Vals AI

|

gradually.ai

Methodik und Einordnung

Vergleichskohorte: vals-code-migration:1:code_quality
Messgröße: mean reviewer code-quality rating
Skala: Keine obere Grenze dokumentiert. Die Darstellung umfasst die erfassten Werte und den Nullpunkt.
Teilnehmer: 3
Methodik und Einordnung: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 5470.513. Standardfehler: 0.045. Angezeigter Wert: 3,245 / 5. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-10-15-3fa9c10568ec. Prüfsumme der Quelldaten: 3fa9c10568ecc117fabec81767c405b49a25d5d2ded308ee435fffb197c53474. Parserversion: vals-astro-v3. Importiert am: 2026-10-15

Quelle: Vals AI

Finanzen

CorpFin v2

Teilaufgabe	Nemotron 3 Ultra (Dieses Modell)	Kimi K2.5
Exact Pages	64,34 %	66,2 % (bester Wert dieser Zeile)
Max Fitting Context	67,13 %	68,42 % (bester Wert dieser Zeile)
Overall	65,46 %	68,26 % (bester Wert dieser Zeile)
Shared Max Context	64,92 %	70,16 % (bester Wert dieser Zeile)

höhere Werte sind besserStand 15. Oktober 2026Quelle: Vals AIBalken je Zeile skaliert, nicht über Zeilen hinweg

Methodik und Einordnung

Messgröße: accuracy

Dokumentierte Messdetails

Code Migration: CLI (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 4.636
Bewertung: 4.636
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: cli
Aufgabenbezeichnung: CLI
Richtung: Mehr ist besser
Vergleichskohorte: vals-code-migration:1:cli
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 6272.162. Standardfehler: 0.929. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-10-15-3fa9c10568ec. Prüfsumme der Quelldaten: 3fa9c10568ecc117fabec81767c405b49a25d5d2ded308ee435fffb197c53474. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Top P: 0.95. Maximale Ausgabetoken: 128000

Code Migration: COBOL (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 5.714
Bewertung: 5.714
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: cobol
Aufgabenbezeichnung: COBOL
Richtung: Mehr ist besser
Vergleichskohorte: vals-code-migration:1:cobol
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 3065.567. Standardfehler: 5.714. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-10-15-3fa9c10568ec. Prüfsumme der Quelldaten: 3fa9c10568ecc117fabec81767c405b49a25d5d2ded308ee435fffb197c53474. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Top P: 0.95. Maximale Ausgabetoken: 128000

Code Migration: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 4.905
Bewertung: 4.905
Messgröße: accuracy
Einheit: %
Benchmark-Version: 1
Kategorie: coding
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-code-migration:1:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 5470.513. Standardfehler: 1.589. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-10-15-3fa9c10568ec. Prüfsumme der Quelldaten: 3fa9c10568ecc117fabec81767c405b49a25d5d2ded308ee435fffb197c53474. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Top P: 0.95. Maximale Ausgabetoken: 128000

Code Migration: Code Quality (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 3.245
Bewertung: 3.245
Messgröße: mean reviewer code-quality rating
Einheit: rating
Benchmark-Version: 1
Kategorie: coding
Aufgabe: code_quality
Aufgabenbezeichnung: Code Quality
Richtung: Mehr ist besser
Vergleichskohorte: vals-code-migration:1:code_quality
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-10-12. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 5470.513. Standardfehler: 0.045. Angezeigter Wert: 3,245 / 5. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-code-migration-2026-10-15-3fa9c10568ec. Prüfsumme der Quelldaten: 3fa9c10568ecc117fabec81767c405b49a25d5d2ded308ee435fffb197c53474. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Top P: 0.95. Maximale Ausgabetoken: 128000

CorpFin v2: Exact Pages (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 64.336
Bewertung: 64.336
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: exact_pages
Aufgabenbezeichnung: Exact Pages
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:exact_pages
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 6.738. Standardfehler: 1.635. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Top P: 0.95. Maximale Ausgabetoken: 128000

CorpFin v2: Max Fitting Context (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 67.133
Bewertung: 67.133
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: max_fitting_context
Aufgabenbezeichnung: Max Fitting Context
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:max_fitting_context
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 22.607. Standardfehler: 1.604. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Top P: 0.95. Maximale Ausgabetoken: 128000

CorpFin v2: Overall (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 65.462
Bewertung: 65.462
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: overall
Aufgabenbezeichnung: Overall
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:overall
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 15.015. Standardfehler: 0.937. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Top P: 0.95. Maximale Ausgabetoken: 128000

CorpFin v2: Shared Max Context (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 64.918
Bewertung: 64.918
Messgröße: accuracy
Einheit: %
Benchmark-Version: 2
Kategorie: finance
Aufgabe: shared_max_context
Aufgabenbezeichnung: Shared Max Context
Richtung: Mehr ist besser
Vergleichskohorte: vals-corp-fin-v2:2:shared_max_context
Quellentyp: independent-evaluator
Auswertung: Vals AI
Status: active
Abrufdatum: 2026-10-15
Methodik: Kennung des Quellmodells: nvidia/nemotron-3-ultra-550b-a55b. Name des Quellmodells: Nemotron 3 Ultra. Anbieter laut Quelle: Nvidia. Evaluator: Vals AI. Datensatztyp: private. Stand der Rangliste: 2026-08-12. Top P: 0.95. Maximale Ausgabetoken: 128000. Latenz in Sekunden: 15.701. Standardfehler: 1.629. Quellenkennung: vals-ai. Kennung der Evidenzaufnahme: vals-corp_fin_v2-2026-10-15-7cf2217ab372. Prüfsumme der Quelldaten: 7cf2217ab3728d5a84bffce82aab9fc52d7f810b0cbe8c65b387df47f3d31c9b. Parserversion: vals-astro-v3. Importiert am: 2026-10-15
Vergleichsmethodik: Top P: 0.95. Maximale Ausgabetoken: 128000

Seite 1 von 12

Quellen und Datenstand

Art	Nachweis und Datenstand
Geschwindigkeit	Median der bereitstellenden Anbieter. Ausgabetempo nach dem ersten empfangenen Textabschnitt, nicht die gesamte Antwortzeit. Abgerufen am 8. September 2026. Quelle: Artificial Analysis · Artificial Analysis (abgerufen 8. September 2026)Messmethode der Geschwindigkeit
Preis	API-Basispreise ohne Cache- oder Batch-Rabatt. Höhere Kontextstufen und weitere Tarife stehen unter Kosten. Quelle: Preise · API-Preise
Eingabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · Modellmetadaten (abgerufen 8. September 2026) · NVIDIA Nemotron 3 Ultra model card · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Ausgabe	Dokumentierte Modalitäten. Abgerufen am 8. September 2026. Quelle: Modelldokumentation · Modellmetadaten (abgerufen 8. September 2026) · NVIDIA Nemotron 3 Ultra model card · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Recherchestand	Recherchestand 8. September 2026. 3 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
In den geprüften Quellen nicht gefunden	knowledge-cutoff Originalwortlaut No exact value located in the checked primary model card/API documentation.
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Vals AI (abgerufen 15. Oktober 2026)
Weitere Quelle	Epoch AI benchmark run dataset snapshot (abgerufen 19. Oktober 2026)
Weitere Quelle	Nemotron 3 Ultra technical report · Redaktionelle Beschreibung geprüft am 2. Oktober 2026
Weitere Quelle	OpenRouter: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Vercel AI Gateway: Beliebtheitsindex (abgeleitet), CC BY 4.0
Weitere Quelle	Ollama: kumulierte Downloads für den Beliebtheitsindex
Weitere Quelle	Replicate: kumulierte Ausführungen für den Beliebtheitsindex
Weitere Quelle	Google Trending Now: begrenzte Feed-Auswahl für Deutschland und USA
Weitere Quelle	Creative Commons Attribution 4.0