- Originalwert
- 16,0778669871
- Messgröße
- diarization error rate (DER), corpus-aggregated
- Einheit
- %
- Benchmark-Version
- raven.eval run 2026-07-31-callhome-de; published at results-2026-10-02, commit c3c21c94ec9bd127651643af047fbbe3b42528c6
- Kategorie
- speaker-diarization
- Richtung
- Weniger ist besser
- Stichprobe
- 120
- Untere Konfidenzgrenze
- 14.97
- Obere Konfidenzgrenze
- 17.27
- Quellentyp
- vendor-reported
- Auswertung
- Raven raven.eval
- Status
- active
- Abrufdatum
- 2026-10-17
- Methodik
- Vom Anbieter veröffentlichter Wert. Deutsche Telefon-Diarisierung auf talkbank/callhome, Konfiguration deu (CALLHOME-de), 120 Dateien. Exaktes Modell pyannote/speaker-diarization-community-1, Revision 3533c8cf8e369892e6b79ff1bf80f7b0286a54ee; Datensatzrevision 17c8a153215aa7c50b805078fd6284ba81c2fc47. Collar 0,25 s, skip_overlap=false, Corpus-Aggregation, automatische VAD, Hungarian Speaker Mapping, primärer Scorer pyannote.metrics. Der Bericht veröffentlicht ein 95-%-Perzentil-Bootstrap-CI über Dateien, 10.000 Resamples, Seed 20260903. Dies ist die NIST/CALLHOME-Classic-Metrik, getrennt von der Zeile mit 0,0 s Collar.
- Einordnung
- Raven vertreibt ein Transkriptionsprodukt für Besprechungen und gibt an, dieses pyannote-Modell darin einzusetzen. Das Ergebnis ist daher als vom Anbieter berichtete, reproduzierbare Messung auf öffentlichen Daten einzuordnen, nicht als unabhängige Evaluation.