- Originalwert
- 0.5649717514124291
- Bewertung
- 0.5649717514124291
- Messgröße
- Average precision at full recall
- Einheit
- %
- Benchmark-Version
- AA cohort: 59 tasks
- Kategorie
- agentic
- Aufgabe
- overall
- Aufgabenbezeichnung
- Overall
- Richtung
- Mehr ist besser
- Quellentyp
- independent-evaluator
- Auswertung
- Artificial Analysis
- Status
- superseded
- Abrufdatum
- 2026-11-02
- Methodik
- Exakte AA-Konfiguration: Llama 3.3 Instruct 70B (Release llama-3-3-instruct-70b, Zeile llama-3-3-instruct-70b, UUID 976cc8ad-7904-4056-83c5-960181f47d5f, reasoning=false, effort=nicht angegeben, suffix=nicht angegeben). AA kennzeichnet diese Modellvariante als non-reasoning und weist 0 Reasoning-Tokens aus.
59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Kennung des Quellmodells: artificial-analysis/976cc8ad-7904-4056-83c5-960181f47d5f/llama-3-3-instruct-70b/llama-3-3-instruct-70b. Name des Quellmodells: Llama-3.3-70B-Instruct. Anbieter laut Quelle: Meta. Modellstand: Llama 3.3 Instruct 70B. Evaluator: Artificial Analysis. Datensatztyp: artificial-analysis-evaluation. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: non-reasoning. Reasoning-Stufe: none. Angezeigter Wert: 0,6 %. Quellenkennung: artificial-analysis. Kennung der Evidenzaufnahme: aa-model-page-2026-11-02-67d46be20a5b. Prüfsumme der Quelldaten: 67d46be20a5b412db6cfb60ad190441fcaa5513500b8fd47d033168d0e97b6b2. Parserversion: artificial-analysis-rsc-models-v3. Importiert am: 2026-11-02. Quellenkohorte: artificial-analysis-itbench-aa:AA cohort: 59 tasks:standalone:non-reasoning:effort=unspecified:suffix=unspecified
- Vergleichsmethodik
- Exakte AA-Konfiguration: Llama 3.3 Instruct 70B (Release llama-3-3-instruct-70b, Zeile llama-3-3-instruct-70b, UUID 976cc8ad-7904-4056-83c5-960181f47d5f, reasoning=false, effort=nicht angegeben, suffix=nicht angegeben). AA kennzeichnet diese Modellvariante als non-reasoning und weist 0 Reasoning-Tokens aus.
59 Kubernetes-Incidentaufgaben, davon 40 öffentliche und 19 private, mit drei Wiederholungen je Aufgabe. Ein Lauf erhält null, wenn eine tatsächliche Ursache fehlt, sonst die Präzision bei vollständigem Recall. Dies ist nur die SRE-Teilmenge von ITBench.. Harness: Artificial Analysis Stirrup. Agent: Stirrup agent. Werkzeugrichtlinie: Shell access to an offline Kubernetes incident snapshot. Versuche: Average precision at full recall, 3 repeats per task. Reasoning: non-reasoning. Reasoning-Stufe: none
- Einordnung
- Die AA-Implementierung deckt hier nur Site Reliability Engineering ab, nicht die weiteren ITBench-Domänen CISO und FinOps.. Dieser Wert wird als historische Evidenz geführt und ist nicht mit aktuellen Ergebnissen gleichzusetzen.