- Originalwert
- 6.1
- Bewertung
- 6.1
- Messgröße
- format-invariant word error rate (WER), lower is better
- Einheit
- %
- Benchmark-Version
- VoiceCodeBench v2, arXiv:2608.28916v2 Table 5; per-model artifact date is not linked to the aggregate CSV revision
- Kategorie
- audio
- Richtung
- Weniger ist besser
- Quellentyp
- community-reported
- Auswertung
- BeSimple AI Voice Code Bench
- Status
- active
- Abrufdatum
- 2026-10-17
- Methodik
- Community-Messung. Tabelle 5 der arXiv-v2-Fassung weist für `OpenAI gpt-transcribe` im Batch-Modus mit rohem VoiceCodeBench-Audio und ohne Benchmark-Prompts, Zielentitäten, Domänenlabels, eigene Vokabellisten, Grammatikvorgaben oder Korrektur nach der Transkription einen WER von 6,1 % aus. Für diese Zelle gilt die veröffentlichte Tabellenpräzision. Ein separat gepinntes Modellartefakt nennt die API-Modell-ID `gpt-transcribe`, den Endpunkt `https://api.openai.com/v1/audio/transcriptions`, den Batch-Modus und das Auswertungsdatum 2026-09-01. Die separat gepinnte Aggregat-CSV enthält den passenden Zeilennamen `openai_gpt_transcribe` und den WER-Anteil 0.061431750390606506 in ihrem nativen Verhältnisformat. Die CSV ist auf Repository-Revision `8edfa398...` gepinnt, das Modellartefakt auf `bef2824...`. Eine veröffentlichte Commit-Brücke, die beide Dateien demselben Lauf zuordnet, fehlt. Daher wird weder ein genauerer Prozentwert umgerechnet noch das JSON-Datum der CSV-Zeile zugeschrieben. Wortnenner, Konfidenzintervall und unveränderlicher API-Backend-Snapshot sind nicht veröffentlicht.
- Einordnung
- BeSimple AI ist der kommerzielle externe Herausgeber des Benchmarks. Die verfügbaren Quellen belegen weder eine unabhängige Durchführung noch eine unabhängige Reproduktion. Deshalb ist dies eine neutral als Community-Angabe klassifizierte Messung und keine OpenAI- oder Herstellerangabe. Das API-Modell ist ein unversionierter Alias; ein unveränderlicher Serving-Snapshot ist nicht veröffentlicht. Die aktuelle OpenAI-Dokumentation bestätigt den Datei-Transkriptionsendpunkt, belegt aber nicht, welcher Backend-Snapshot den Lauf vom 01.09.2026 bedient hat. Die bestehende VoiceCodeBench-Seite von Vals AI erklärt, dass deren eigene Werte wegen möglicher Unterschiede bei Modellversionen, Providern und Streaming-Einstellungen nicht direkt mit Paper-Baselines vergleichbar sind. Im eingefrorenen Lane-Input gab es keine Vals-Beobachtung für GPT-Transcribe im Batch-Modus. Warum Werte verschiedener Konfigurationen abweichen, wird nicht abgeleitet.