SpezialmodellOffene Gewichte
AstaBrief-8B
Allen Institute for AI
- Veröffentlicht
- 2. Oktober 2026
- Datenstand
- 7. Oktober 2026
AstaBrief-8B macht aus einer Forschungsfrage und bereits abgerufenen wissenschaftlichen Textauszügen einen Bericht mit Quellenangaben. Es übernimmt also das Schreiben und Zitieren, nicht die vorgelagerte Literatursuche.
Ai2 hat den Checkpoint für den schnellen Berichtsmodus von Asta veröffentlicht. Er basiert auf Qwen3-8B, ist für Forschung und Bildung gedacht und steht unter Apache-2.0.
Technische Daten und Zugang
| Angabe | Wert und Quelle |
|---|---|
| Modellklasse | Spezialisiertes Modell für zitierte Berichte aus wissenschaftlicher LiteraturQuelle |
| Eingabemodalitäten | Text: Forschungsfrage und bereits abgerufene wissenschaftliche LiteraturauszügeQuelle |
| Ausgabemodalitäten | Textbericht mit QuellenangabenQuelle |
| Basismodell | Qwen3-8BQuelle |
| Lizenz | Apache-2.0; laut Ai2 für Forschung und Bildung vorgesehenQuelle |
Seite 1 von 2
Messungen ohne passende Vergleichswerte
Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.
Win rate vs Asta SQA, SQA-CS2 Dev (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 55
- Bewertung
- 55
- Messgröße
- pairwise win rate
- Einheit
- %
- Benchmark-Version
- SQA-CS2 Dev
- Kategorie
- pairwise report comparison
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Ai2 AstaBrief-8B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Gewinnraten-Spalte der AstaBrief-8B-Vergleichstabelle gegenüber Asta SQA.
- Einordnung
- Die Modellkarte veröffentlicht für diese Tabelle weder Anzahl der verglichenen Berichtspaare noch den Umgang mit Gleichständen.
Win rate vs Asta SQA, SQA-CS2 Test (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 72
- Bewertung
- 72
- Messgröße
- pairwise win rate
- Einheit
- %
- Benchmark-Version
- SQA-CS2 Test
- Kategorie
- pairwise report comparison
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Ai2 AstaBrief-8B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Gewinnraten-Spalte der AstaBrief-8B-Vergleichstabelle gegenüber Asta SQA.
- Einordnung
- Die Modellkarte veröffentlicht für diese Tabelle weder Anzahl der verglichenen Berichtspaare noch den Umgang mit Gleichständen.
ScholarQA-CS2 test set, Average (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 87
- Bewertung
- 87
- Messgröße
- Average
- Einheit
- Keine Einheit angegeben
- Benchmark-Version
- ScholarQA-CS2 test
- Kategorie
- scientific report generation
- Richtung
- Mehr ist besser
- Stichprobe
- 100
- Quellentyp
- vendor-reported
- Auswertung
- Ai2 AstaBrief-8B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. AstaBrief-8B-DPO-Checkpoint. ScholarQA-CS2-Testset mit 100 von Nutzenden verfassten Informatik-Forschungsfragen. Jede Frage ist bereits mit abgerufenen Literaturauszügen verknüpft. Gemessen werden Berichtserstellung und Quellenbezug, nicht Retrieval.
- Einordnung
- Die Modellkarte druckt Skalarwerte ohne Einheit und ohne Prozentzeichen. Die Werte bleiben unverändert.
ScholarQA-CS2 test set, Ingredient Recall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 90.2
- Bewertung
- 90.2
- Messgröße
- Ingredient Recall
- Einheit
- Keine Einheit angegeben
- Benchmark-Version
- ScholarQA-CS2 test
- Kategorie
- scientific report generation
- Richtung
- Mehr ist besser
- Stichprobe
- 100
- Quellentyp
- vendor-reported
- Auswertung
- Ai2 AstaBrief-8B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. AstaBrief-8B-DPO-Checkpoint. ScholarQA-CS2-Testset mit 100 von Nutzenden verfassten Informatik-Forschungsfragen. Jede Frage ist bereits mit abgerufenen Literaturauszügen verknüpft. Gemessen werden Berichtserstellung und Quellenbezug, nicht Retrieval.
- Einordnung
- Die Modellkarte druckt Skalarwerte ohne Einheit und ohne Prozentzeichen. Die Werte bleiben unverändert.
ScholarQA-CS2 test set, Answer Precision (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 89
- Bewertung
- 89
- Messgröße
- Answer Precision
- Einheit
- Keine Einheit angegeben
- Benchmark-Version
- ScholarQA-CS2 test
- Kategorie
- scientific report generation
- Richtung
- Mehr ist besser
- Stichprobe
- 100
- Quellentyp
- vendor-reported
- Auswertung
- Ai2 AstaBrief-8B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. AstaBrief-8B-DPO-Checkpoint. ScholarQA-CS2-Testset mit 100 von Nutzenden verfassten Informatik-Forschungsfragen. Jede Frage ist bereits mit abgerufenen Literaturauszügen verknüpft. Gemessen werden Berichtserstellung und Quellenbezug, nicht Retrieval.
- Einordnung
- Die Modellkarte druckt Skalarwerte ohne Einheit und ohne Prozentzeichen. Die Werte bleiben unverändert.
ScholarQA-CS2 test set, Citation Precision (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 90.5
- Bewertung
- 90.5
- Messgröße
- Citation Precision
- Einheit
- Keine Einheit angegeben
- Benchmark-Version
- ScholarQA-CS2 test
- Kategorie
- scientific report generation
- Richtung
- Mehr ist besser
- Stichprobe
- 100
- Quellentyp
- vendor-reported
- Auswertung
- Ai2 AstaBrief-8B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. AstaBrief-8B-DPO-Checkpoint. ScholarQA-CS2-Testset mit 100 von Nutzenden verfassten Informatik-Forschungsfragen. Jede Frage ist bereits mit abgerufenen Literaturauszügen verknüpft. Gemessen werden Berichtserstellung und Quellenbezug, nicht Retrieval.
- Einordnung
- Die Modellkarte druckt Skalarwerte ohne Einheit und ohne Prozentzeichen. Die Werte bleiben unverändert.
ScholarQA-CS2 test set, Citation Recall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 78.2
- Bewertung
- 78.2
- Messgröße
- Citation Recall
- Einheit
- Keine Einheit angegeben
- Benchmark-Version
- ScholarQA-CS2 test
- Kategorie
- scientific report generation
- Richtung
- Mehr ist besser
- Stichprobe
- 100
- Quellentyp
- vendor-reported
- Auswertung
- Ai2 AstaBrief-8B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. AstaBrief-8B-DPO-Checkpoint. ScholarQA-CS2-Testset mit 100 von Nutzenden verfassten Informatik-Forschungsfragen. Jede Frage ist bereits mit abgerufenen Literaturauszügen verknüpft. Gemessen werden Berichtserstellung und Quellenbezug, nicht Retrieval.
- Einordnung
- Die Modellkarte druckt Skalarwerte ohne Einheit und ohne Prozentzeichen. Die Werte bleiben unverändert.
SQA-CS2 (Dev) (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 86.3
- Bewertung
- 86.3
- Messgröße
- reported benchmark score
- Einheit
- Keine Einheit angegeben
- Benchmark-Version
- SQA-CS2 (Dev)
- Kategorie
- scientific report generation
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Ai2 AstaBrief-8B model card
- Status
- disputed
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Wert aus der AstaBrief-8B-Zeile der Vergleichstabelle. Die Karte definiert weder die Skala noch die Stichprobengröße dieses Splits.
- Einordnung
- Die Modellkarte für den genauen Checkpoint nennt 86,3 als Dev-Aggregat, definiert aber weder dessen Skala noch die Stichprobengröße des Dev-Splits. Das offizielle Ai2-Diagramm ordnet die vier Einzelmetriken einer Skala von 0 bis 100 zu und nennt 86,5 als deren Mittel. Der Widerspruch zwischen den Aggregatangaben bleibt ungeklärt; dieser Datensatz behält den Wert der Modellkarte bei.
SQA-CS2 (Test) (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 87
- Bewertung
- 87
- Messgröße
- reported benchmark score
- Einheit
- Keine Einheit angegeben
- Benchmark-Version
- SQA-CS2 (Test)
- Kategorie
- scientific report generation
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Ai2 AstaBrief-8B model card
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. Wert aus der AstaBrief-8B-Zeile der Vergleichstabelle. Die Karte definiert weder die Skala noch die Stichprobengröße dieses Splits.
- Einordnung
- Die Modellkartentabelle nennt weder Score-Einheit noch genaue Bewertungsrubrik oder Stichprobengröße für diesen Split.
DeepScholarBench (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 53.5
- Bewertung
- 53.5
- Messgröße
- mean of Organization, Nugget coverage, Citation precision, and Claim coverage
- Einheit
- points
- Benchmark-Version
- DeepScholarBench
- Kategorie
- scientific report generation
- Richtung
- Mehr ist besser
- Stichprobe
- 63
- Quellentyp
- vendor-reported
- Auswertung
- Ai2 AstaBrief-8B model card, cross-checked with the official evaluation post
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. AstaBrief-8B-Zeile der Modellkartentabelle. Das offizielle Diagramm weist den Wert als Mittel aus vier Metriken des zurückgehaltenen DeepScholarBench mit 63 Anfragen aus. Höhere Werte sind auf der Skala von 0 bis 100 besser.
- Einordnung
- Vom Anbieter berichtet. Die Quelle nennt weder Einzelwerte je Anfrage noch Bewertungsmodell und Aggregationsverfahren für die Komponentenwerte.
SQABench-CS2 dev, Ingredient Recall (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 89.3
- Bewertung
- 89.3
- Messgröße
- Ingredient Recall
- Einheit
- points
- Benchmark-Version
- SQABench-CS2 development split
- Kategorie
- scientific report generation
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Ai2 AstaBrief official SQABench-CS2 evaluation chart
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. AstaBrief-8B-Berichtsgenerierung im Dev-Split von SQABench-CS2. Das Diagramm definiert die vier Kennzahlen, nutzt eine Skala von 0 bis 100 und wertet höhere Scores besser. Ai2 nennt keine Stichprobengröße des Dev-Splits.
- Einordnung
- Die Modellkarte nennt 86,3 als Dev-Aggregat, das offizielle Diagramm dagegen 86,5 als Mittel dieser vier Dev-Metriken. Der Widerspruch beim Aggregat ist ungeklärt; die Einzelwerte stammen aus dem Diagramm.
SQABench-CS2 dev, Answer Precision (Messwert, Testbedingungen und Quelle anzeigen)
- Originalwert
- 89.2
- Bewertung
- 89.2
- Messgröße
- Answer Precision
- Einheit
- points
- Benchmark-Version
- SQABench-CS2 development split
- Kategorie
- scientific report generation
- Richtung
- Mehr ist besser
- Quellentyp
- vendor-reported
- Auswertung
- Ai2 AstaBrief official SQABench-CS2 evaluation chart
- Status
- active
- Abrufdatum
- 2026-10-07
- Methodik
- Vom Anbieter veröffentlichter Wert. AstaBrief-8B-Berichtsgenerierung im Dev-Split von SQABench-CS2. Das Diagramm definiert die vier Kennzahlen, nutzt eine Skala von 0 bis 100 und wertet höhere Scores besser. Ai2 nennt keine Stichprobengröße des Dev-Splits.
- Einordnung
- Die Modellkarte nennt 86,3 als Dev-Aggregat, das offizielle Diagramm dagegen 86,5 als Mittel dieser vier Dev-Metriken. Der Widerspruch beim Aggregat ist ungeklärt; die Einzelwerte stammen aus dem Diagramm.
Seite 1 von 2
Quellen und Datenstand
| Art | Nachweis und Datenstand |
|---|---|
| Recherchestand | Recherchestand 7. Oktober 2026. 6 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell. |
| Ungeklärt | SQABench-CS2 dev split size and aggregate reconciliation; pairwise comparison counts Originalwortlaut Ai2 definiert die vier SQABench-CS2-Metriken und nennt 200 selbst verfasste Informatikfragen für den Hauptsatz, aber keine Größe des Dev-Splits. Die Modellkarte des genauen Checkpoints nennt 86,3 als Dev-Aggregat; das offizielle Diagramm weist 86,5 als Mittel seiner vier Dev-Werte aus. Stichprobenzahlen der Paarvergleiche und die Aggregation der Urteile bleiben offen. DeepScholarBench ist laut Beitrag ein zurückgehaltener Satz mit 63 Anfragen; seine Komponentenwerte sind jetzt erfasst. |
| Weitere Quelle | Ai2 AstaBrief announcement (abgerufen 7. Oktober 2026) · Ai2 AstaBrief announcement · Redaktionelle Beschreibung geprüft am 7. Oktober 2026 |
| Weitere Quelle | AstaBrief-8B model card (abgerufen 7. Oktober 2026) · AstaBrief-8B model card · Redaktionelle Beschreibung geprüft am 7. Oktober 2026 |
| Weitere Quelle | Ai2 AstaBrief official SQABench-CS2 evaluation chart (abgerufen 7. Oktober 2026) |
| Weitere Quelle | Ai2 AstaBrief official DeepScholarBench evaluation chart (abgerufen 7. Oktober 2026) |
| Weitere Quelle | Modellmetadaten (abgerufen 7. Oktober 2026) |
| Weitere Quelle | Modellmetadaten (abgerufen 7. Oktober 2026) |