SprachmodellIn Devin verfügbar
SWE-2
Cognition
- Veröffentlicht
- 10. September 2026
- Datenstand
- 7. Oktober 2026
SWE-2 ist Cognitions Coding-Modell für Devin. Der Anbieter beschreibt als Kern des Trainings einen RL-Lauf, der alle Reasoning-Aufwandsstufen gemeinsam optimiert und dabei Kosten in die Belohnung einbezieht. Verfügbar ist das Modell in Devin Desktop und CLI; der Zugang über Devin Web und Fusion wurde beim Start ausgerollt.
Technische Daten und Zugang
| Angabe | Wert und Quelle |
|---|---|
| Zugang | Ab Ankündigung in Devin Desktop und CLI verfügbar; Rollout für Devin Web und Fusion angekündigt.Quelle |
| Trainingsstand | Post-Training auf Kimi K3; Cognition trainiert alle Reasoning-Aufwandsstufen in einem RL-Lauf.Quelle |
| Öffentliche Gewichte | Die Ankündigung dokumentiert den Devin-Zugang, aber keine öffentliche Gewichtsveröffentlichung.Quelle |
Seite 1 von 2
Messungen ohne passende Vergleichswerte
Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.
FrontierCode 1.1 Main (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 50
- Bewertung
- 50
- Messgröße
- reported score
- Einheit
- %
- Benchmark-Version
- 1.1 Main
- Kategorie
- source-specific
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Cognition SWE-2 launch announcement
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Cognitions Tabelle berichtet ein SWE-2-Ergebnis aus der Devin-Coding-Evaluation. Vollständiges Serving-, Agenten-Harness-, Tool- und Decoding-Setup der Zeile wird nicht veröffentlicht. Daher als berichtete System-/Serviceleistung behandeln, nicht als isolierten Sprachmodell-Lauf.
- Einordnung
- Vom Anbieter berichtet; Stichprobengröße und genügend Harness-Details zur Trennung des Basismodells vom deployten Coding-Agent-Pfad fehlen.
DeepSWE (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 73
- Bewertung
- 73
- Messgröße
- reported score
- Einheit
- %
- Benchmark-Version
- 1.1
- Kategorie
- source-specific
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Cognition SWE-2 launch announcement
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Cognitions Tabelle berichtet ein SWE-2-Ergebnis aus der Devin-Coding-Evaluation. Vollständiges Serving-, Agenten-Harness-, Tool- und Decoding-Setup der Zeile wird nicht veröffentlicht. Daher als berichtete System-/Serviceleistung behandeln, nicht als isolierten Sprachmodell-Lauf.
- Einordnung
- Vom Anbieter berichtet; Stichprobengröße und genügend Harness-Details zur Trennung des Basismodells vom deployten Coding-Agent-Pfad fehlen.
Terminal-Bench (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 92.8
- Bewertung
- 92.8
- Messgröße
- reported score
- Einheit
- %
- Benchmark-Version
- 2.1
- Kategorie
- source-specific
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Cognition SWE-2 launch announcement
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Cognitions Tabelle berichtet ein SWE-2-Ergebnis aus der Devin-Coding-Evaluation. Vollständiges Serving-, Agenten-Harness-, Tool- und Decoding-Setup der Zeile wird nicht veröffentlicht. Daher als berichtete System-/Serviceleistung behandeln, nicht als isolierten Sprachmodell-Lauf.
- Einordnung
- Vom Anbieter berichtet; Stichprobengröße und genügend Harness-Details zur Trennung des Basismodells vom deployten Coding-Agent-Pfad fehlen.
Terminal-Bench (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 27.3
- Bewertung
- 27.3
- Messgröße
- reported score
- Einheit
- %
- Benchmark-Version
- 4
- Kategorie
- source-specific
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Cognition SWE-2 launch announcement
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Cognitions Tabelle berichtet ein SWE-2-Ergebnis aus der Devin-Coding-Evaluation. Vollständiges Serving-, Agenten-Harness-, Tool- und Decoding-Setup der Zeile wird nicht veröffentlicht. Daher als berichtete System-/Serviceleistung behandeln, nicht als isolierten Sprachmodell-Lauf.
- Einordnung
- Vom Anbieter berichtet; Stichprobengröße und genügend Harness-Details zur Trennung des Basismodells vom deployten Coding-Agent-Pfad fehlen.
Propaganda and censorship evaluation, pass rate (overall) (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 98
- Bewertung
- 98
- Messgröße
- judge pass rate
- Einheit
- %
- Benchmark-Version
- Cognition trustworthiness evaluation (2026)
- Kategorie
- model-output-evaluation
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Cognition SWE-2 launch announcement
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Cognition stellte SWE-2 145 politisch sensible Fragen zu China in Englisch, vereinfachtem Chinesisch und traditionellem Chinesisch. GPT-5.6 Luna bewertete substanzielle Antworten, die nicht die offizielle Position der VR China übernehmen. Leere Antworten sowie Ausführungs- und Bewertungsfehler wurden ausgeschlossen; der genaue verbleibende Nenner ist nicht genannt.
- Einordnung
- Vom Anbieter durchgeführte Beurteilung von Modellausgaben. Der effektive Nenner nach ausgeschlossenen Antworten und Fehlern wird nicht genannt; daher fehlt sampleCount.
Propaganda and censorship evaluation, pass rate (English) (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 99.8
- Bewertung
- 99.8
- Messgröße
- judge pass rate
- Einheit
- %
- Benchmark-Version
- Cognition trustworthiness evaluation (2026)
- Kategorie
- model-output-evaluation
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Cognition SWE-2 launch announcement
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Cognition stellte SWE-2 145 politisch sensible Fragen zu China in Englisch, vereinfachtem Chinesisch und traditionellem Chinesisch. GPT-5.6 Luna bewertete substanzielle Antworten, die nicht die offizielle Position der VR China übernehmen. Leere Antworten sowie Ausführungs- und Bewertungsfehler wurden ausgeschlossen; der genaue verbleibende Nenner ist nicht genannt.
- Einordnung
- Vom Anbieter durchgeführte Beurteilung von Modellausgaben. Der effektive Nenner nach ausgeschlossenen Antworten und Fehlern wird nicht genannt; daher fehlt sampleCount.
Propaganda and censorship evaluation, pass rate (Simplified Chinese) (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 95.2
- Bewertung
- 95.2
- Messgröße
- judge pass rate
- Einheit
- %
- Benchmark-Version
- Cognition trustworthiness evaluation (2026)
- Kategorie
- model-output-evaluation
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Cognition SWE-2 launch announcement
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Cognition stellte SWE-2 145 politisch sensible Fragen zu China in Englisch, vereinfachtem Chinesisch und traditionellem Chinesisch. GPT-5.6 Luna bewertete substanzielle Antworten, die nicht die offizielle Position der VR China übernehmen. Leere Antworten sowie Ausführungs- und Bewertungsfehler wurden ausgeschlossen; der genaue verbleibende Nenner ist nicht genannt.
- Einordnung
- Vom Anbieter durchgeführte Beurteilung von Modellausgaben. Der effektive Nenner nach ausgeschlossenen Antworten und Fehlern wird nicht genannt; daher fehlt sampleCount.
Propaganda and censorship evaluation, pass rate (Traditional Chinese) (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 99.1
- Bewertung
- 99.1
- Messgröße
- judge pass rate
- Einheit
- %
- Benchmark-Version
- Cognition trustworthiness evaluation (2026)
- Kategorie
- model-output-evaluation
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Cognition SWE-2 launch announcement
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Cognition stellte SWE-2 145 politisch sensible Fragen zu China in Englisch, vereinfachtem Chinesisch und traditionellem Chinesisch. GPT-5.6 Luna bewertete substanzielle Antworten, die nicht die offizielle Position der VR China übernehmen. Leere Antworten sowie Ausführungs- und Bewertungsfehler wurden ausgeschlossen; der genaue verbleibende Nenner ist nicht genannt.
- Einordnung
- Vom Anbieter durchgeführte Beurteilung von Modellausgaben. Der effektive Nenner nach ausgeschlossenen Antworten und Fehlern wird nicht genannt; daher fehlt sampleCount.
FrontierCode 1.1 Main score (medium) (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 43.09
- Bewertung
- 43.09
- Messgröße
- weighted aggregate of rubric items; runs failing blocker criteria receive zero
- Einheit
- %
- Benchmark-Version
- 1.1 Main
- Kategorie
- agent-system
- Richtung
- Mehr ist besser
- Quellentyp
- official-leaderboard
- Auswertung
- Cognition official FrontierCode 1.1 leaderboard data
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Offizielle Benchmark-Rangliste. Offizieller FrontierCode-1.1-Leaderboardeintrag von Cognition für SWE-2 im Devin-Harness mit der Reasoning-Einstellung „medium“. Die Teilmenge Main umfasst 100 Aufgaben. Die aktuelle Revision setzt wegen unfairer Internetnutzung markierte Läufe auf null. Das veröffentlichte Datenset nennt weder die Zahl der Läufe je Aufwand noch eine genauere Laufzeitkonfiguration.
- Einordnung
- Von Cognition berichtetes Ergebnis des Devin-Agentensystems, keine isolierte Sprachmodellmessung. Eine Zahl der Läufe je Aufwand wird nicht veröffentlicht.
FrontierCode 1.1 Main score (high) (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 47.2
- Bewertung
- 47.2
- Messgröße
- weighted aggregate of rubric items; runs failing blocker criteria receive zero
- Einheit
- %
- Benchmark-Version
- 1.1 Main
- Kategorie
- agent-system
- Richtung
- Mehr ist besser
- Quellentyp
- official-leaderboard
- Auswertung
- Cognition official FrontierCode 1.1 leaderboard data
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Offizielle Benchmark-Rangliste. Offizieller FrontierCode-1.1-Leaderboardeintrag von Cognition für SWE-2 im Devin-Harness mit der Reasoning-Einstellung „high“. Die Teilmenge Main umfasst 100 Aufgaben. Die aktuelle Revision setzt wegen unfairer Internetnutzung markierte Läufe auf null. Das veröffentlichte Datenset nennt weder die Zahl der Läufe je Aufwand noch eine genauere Laufzeitkonfiguration.
- Einordnung
- Von Cognition berichtetes Ergebnis des Devin-Agentensystems, keine isolierte Sprachmodellmessung. Eine Zahl der Läufe je Aufwand wird nicht veröffentlicht.
FrontierCode 1.1 Main pass rate (medium) (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 48.33
- Bewertung
- 48.33
- Messgröße
- share of trials satisfying every blocker rubric criterion, averaged over the selected tasks
- Einheit
- %
- Benchmark-Version
- 1.1 Main
- Kategorie
- agent-system
- Richtung
- Mehr ist besser
- Quellentyp
- official-leaderboard
- Auswertung
- Cognition official FrontierCode 1.1 leaderboard data
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Offizielle Benchmark-Rangliste. Offizieller FrontierCode-1.1-Leaderboardeintrag von Cognition für SWE-2 im Devin-Harness mit der Reasoning-Einstellung „medium“. Die Teilmenge Main umfasst 100 Aufgaben. Die aktuelle Revision setzt wegen unfairer Internetnutzung markierte Läufe auf null. Das veröffentlichte Datenset nennt weder die Zahl der Läufe je Aufwand noch eine genauere Laufzeitkonfiguration.
- Einordnung
- Von Cognition berichtetes Ergebnis des Devin-Agentensystems, keine isolierte Sprachmodellmessung. Eine Zahl der Läufe je Aufwand wird nicht veröffentlicht.
FrontierCode 1.1 Main pass rate (high) (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 52.35
- Bewertung
- 52.35
- Messgröße
- share of trials satisfying every blocker rubric criterion, averaged over the selected tasks
- Einheit
- %
- Benchmark-Version
- 1.1 Main
- Kategorie
- agent-system
- Richtung
- Mehr ist besser
- Quellentyp
- official-leaderboard
- Auswertung
- Cognition official FrontierCode 1.1 leaderboard data
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Offizielle Benchmark-Rangliste. Offizieller FrontierCode-1.1-Leaderboardeintrag von Cognition für SWE-2 im Devin-Harness mit der Reasoning-Einstellung „high“. Die Teilmenge Main umfasst 100 Aufgaben. Die aktuelle Revision setzt wegen unfairer Internetnutzung markierte Läufe auf null. Das veröffentlichte Datenset nennt weder die Zahl der Läufe je Aufwand noch eine genauere Laufzeitkonfiguration.
- Einordnung
- Von Cognition berichtetes Ergebnis des Devin-Agentensystems, keine isolierte Sprachmodellmessung. Eine Zahl der Läufe je Aufwand wird nicht veröffentlicht.
Seite 1 von 2
Quellen und Datenstand
| Art | Nachweis und Datenstand |
|---|---|
| Recherchestand | Recherchestand 7. Oktober 2026. 4 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell. |
| In den geprüften Quellen nicht gefunden | independent-evaluation-and-harness Originalwortlaut Cognitions Startbeitrag und das FrontierCode-1.1-Datenset veröffentlichen nun exakte SWE-2-Ergebnisse mit Devin-Harness, Aufwand und Main-/Extended-Teilmenge. Eine unabhängige Einzelmodell-Auswertung mit exakt gebundenem Checkpoint und reproduzierbarem externem Harness wurde nicht gefunden. Vollständige Laufzeitdetails und Laufzahlen je Aufwand veröffentlicht Cognition nicht. |
| In den geprüften Quellen nicht gefunden | context-dependent-vulnerability-values Originalwortlaut Cognition beschreibt die 1-bis-5-Bewertung und Konfidenzintervalle, veröffentlicht im lesbaren Text aber keine numerischen SWE-2-Werte für die einzelnen Framings. |
| Weitere Quelle | Cognition SWE-2 announcement (abgerufen 7. Oktober 2026) · Cognition SWE-2 announcement · Redaktionelle Beschreibung geprüft am 7. Oktober 2026 |
| Weitere Quelle | Cognition official FrontierCode 1.1 leaderboard data (abgerufen 7. Oktober 2026) |
| Weitere Quelle | Modellmetadaten (abgerufen 7. Oktober 2026) |
| Weitere Quelle | Modellmetadaten (abgerufen 7. Oktober 2026) |