- Originalwert
- 5,73
- Messgröße
- Word Error Rate (WER), shared recording set; reference-word denominator not stated
- Einheit
- %
- Benchmark-Version
- Omi realtime transcription, edition 2026-10-18.1
- Kategorie
- audio
- Richtung
- Weniger ist besser
- Quellentyp
- community-reported
- Auswertung
- Omi Health Medical Speech-to-Text Benchmark
- Status
- active
- Abrufdatum
- 2026-10-19
- Methodik
- Community-Messung. Exakte Zeilenbezeichnung der Echtzeittabelle: Microsoft MAI-Transcribe-2 Streaming. Die Quelle beschreibt einen gemeinsamen Satz aus 1.513 englischen Aufnahmen (7,2 Stunden); für alle Modelle werden dieselben Audiodaten und derselbe Scorer verwendet. Medical WER umfasst 2.872 medizinische Wörter, Arzneimittelfehler 442 Vorkommen und der Abgleich von Dosis/Einheit 94 Referenzereignisse. Laut Quelle wurde die MAI-Streaming-Zeile im Oktober 2026 ergänzt, ein genaues Laufdatum der Accuracy-Messung und eine unveränderliche Serving-Revision fehlen. Für das Timing nennt die Seite einen US-AWS-Ohio-Client am 19. Oktober 2026, ein Deployment in Azure Sweden Central, ein gemeinsames Ende-der-Sprache-Signal, 200 kurze Clips unter 30 Sekunden, einen Durchlauf und Timing n=199 nach Ausschlüssen.
- Einordnung
- Omi führt diesen Benchmark selbst durch und veröffentlicht ihn, während das Unternehmen ein konkurrierendes medizinisches Transkriptionsprodukt betreibt. Daher bleibt sourceType community-reported; das Ergebnis ist keine neutrale unabhängige Reproduktion. Laut Quelle stammen die Accuracy-Werte anderer Anbieter aus September 2026 und die MAI-Zeile wurde im Oktober ergänzt, das genaue Accuracy-Laufdatum dieser Zeile fehlt jedoch. Konfidenzintervall und unveränderliche MAI-Serving-Revision werden nicht veröffentlicht; die Quelle warnt, dass kleine Abstände keine statistische Signifikanz belegen und die Scores keine klinische Sicherheit nachweisen. Der Referenzwortnenner des allgemeinen WER fehlt; 1.513 bezeichnet die Aufnahmen. Nenner von Precision/F1 werden nicht getrennt angegeben.