AudiomodellOffene Gewichte

Index-Echo-S2ST-2B

Bilibili Index Team

Veröffentlicht: -
Datenstand: 7. Oktober 2026

Modellaufgabe: Sprachübersetzung mit Sprachausgabe
Zugang: Öffentliche Hugging-Face-Gewichte zur lokalen Ausführung

Index-Echo-S2ST-2B ergänzt die Untertitelübersetzung um eine gesprochene Zielversion. Ein S2TT-Backbone, ein Hidden2CV-Mapper und CosyVoice3 bilden zusammen die Pipeline. Die Stimme der Eingabe dient als Referenz, wobei die Ähnlichkeit laut Bilibili variieren kann.

Technische Daten und Zugang

Angabe	Wert und Quelle
Modelltyp	Offene GewichteQuelle
Modellkennung	IndexTeam/Index-Echo-S2ST-2BQuelle
Modellaufgabe	Sprachübersetzung mit SprachausgabeQuelle
Zugang	Öffentliche Hugging-Face-Gewichte zur lokalen AusführungQuelle
Eingabemodalitäten	Chinesische oder englische SpracheQuelle
Ausgabemodalitäten	Übersetzte Sprache, an der Stimme der Eingabe orientiertQuelle
Lizenz	Apache 2.0 laut Hugging-Face-ModellkarteQuelle
Übersetzungsrichtungen	Chinesisch nach Englisch, Spanisch oder Japanisch; Englisch nach Chinesisch, Spanisch oder JapanischQuelle
Decodergröße	2 Milliarden Parameter im Textdecoder; keine Gesamtgröße des Audio-PaketsQuelle
Stimmsteuerung	Die Zielstimme wird anhand der Sprechstimme der Eingabe erzeugt; die Ähnlichkeit kann variierenQuelle
Aufbau der Sprachausgabe	Paket aus eingefrorenem S2TT-Backbone, Hidden2CV-Mapper und CosyVoice3-SpracherzeugungQuelle

Messungen ohne passende Vergleichswerte

Für diese Messungen fehlen passende Vergleichswerte unter gleichen Testbedingungen. Die Originalwerte und Quellen bleiben hier nachlesbar.

Index-Echo S2ST WER mean: zh → en (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.0709
Bewertung: 0.0709
Messgröße: end-to-end mean WER content error
Einheit: ratio
Benchmark-Version: arXiv:2609.40181v1, Table 8
Kategorie: audio
Richtung: Weniger ist besser
Stichprobe: 100
Quellentyp: vendor-reported
Auswertung: Index-Translate paper v1, Table 8
Status: active
Abrufdatum: 2026-10-07
Methodik: Vom Anbieter veröffentlichter Wert. Index-Echo-S2ST-2B End-to-End-Synchronisation; Chinese-to-English; 100 verbliebene Beispiele. Gepaarter In-house-Videodubbing-Test. E2E-Inhaltsfehler; der gemeinsame S2TT-Text wird nicht als S2ST-Ausgabe gewertet.
Einordnung: Herstellerinterner Test ohne externe Replikation; die Übersetzungstext-Judges stammen aus dem gemeinsam eingefrorenen S2TT-Pfad und werden hier nicht dem S2ST-Modell zugerechnet.

Quelle Index-Translate paper v1, Table 8

Index-Echo S2ST WER median: zh → en (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.029
Bewertung: 0.029
Messgröße: end-to-end median WER content error
Einheit: ratio
Benchmark-Version: arXiv:2609.40181v1, Table 8
Kategorie: audio
Richtung: Weniger ist besser
Stichprobe: 100
Quellentyp: vendor-reported
Auswertung: Index-Translate paper v1, Table 8
Status: active
Abrufdatum: 2026-10-07
Methodik: Vom Anbieter veröffentlichter Wert. Index-Echo-S2ST-2B End-to-End-Synchronisation; Chinese-to-English; 100 verbliebene Beispiele. Gepaarter In-house-Videodubbing-Test. E2E-Inhaltsfehler; der gemeinsame S2TT-Text wird nicht als S2ST-Ausgabe gewertet.
Einordnung: Herstellerinterner Test ohne externe Replikation; die Übersetzungstext-Judges stammen aus dem gemeinsam eingefrorenen S2TT-Pfad und werden hier nicht dem S2ST-Modell zugerechnet.

Quelle Index-Translate paper v1, Table 8

Index-Echo S2ST source-speaker similarity: zh → en (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.743
Bewertung: 0.743
Messgröße: cosine similarity to source speaker
Einheit: ratio
Benchmark-Version: arXiv:2609.40181v1, Table 8
Kategorie: audio
Richtung: Mehr ist besser
Stichprobe: 100
Quellentyp: vendor-reported
Auswertung: Index-Translate paper v1, Table 8
Status: active
Abrufdatum: 2026-10-07
Methodik: Vom Anbieter veröffentlichter Wert. Index-Echo-S2ST-2B End-to-End-Synchronisation; Chinese-to-English; 100 verbliebene Beispiele. Gepaarter In-house-Videodubbing-Test. E2E-Inhaltsfehler; der gemeinsame S2TT-Text wird nicht als S2ST-Ausgabe gewertet. Sprecherähnlichkeit ist die Cosinus-Ähnlichkeit zur Eingabestimme.
Einordnung: Herstellerinterner Test ohne externe Replikation; die Übersetzungstext-Judges stammen aus dem gemeinsam eingefrorenen S2TT-Pfad und werden hier nicht dem S2ST-Modell zugerechnet.

Quelle Index-Translate paper v1, Table 8

Index-Echo S2ST WER mean: zh → es (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.0704
Bewertung: 0.0704
Messgröße: end-to-end mean WER content error
Einheit: ratio
Benchmark-Version: arXiv:2609.40181v1, Table 8
Kategorie: audio
Richtung: Weniger ist besser
Stichprobe: 200
Quellentyp: vendor-reported
Auswertung: Index-Translate paper v1, Table 8
Status: active
Abrufdatum: 2026-10-07
Methodik: Vom Anbieter veröffentlichter Wert. Index-Echo-S2ST-2B End-to-End-Synchronisation; Chinese-to-Spanish; 200 verbliebene Beispiele. Gepaarter In-house-Videodubbing-Test. E2E-Inhaltsfehler; der gemeinsame S2TT-Text wird nicht als S2ST-Ausgabe gewertet.
Einordnung: Herstellerinterner Test ohne externe Replikation; die Übersetzungstext-Judges stammen aus dem gemeinsam eingefrorenen S2TT-Pfad und werden hier nicht dem S2ST-Modell zugerechnet.

Quelle Index-Translate paper v1, Table 8

Index-Echo S2ST WER median: zh → es (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.051
Bewertung: 0.051
Messgröße: end-to-end median WER content error
Einheit: ratio
Benchmark-Version: arXiv:2609.40181v1, Table 8
Kategorie: audio
Richtung: Weniger ist besser
Stichprobe: 200
Quellentyp: vendor-reported
Auswertung: Index-Translate paper v1, Table 8
Status: active
Abrufdatum: 2026-10-07
Methodik: Vom Anbieter veröffentlichter Wert. Index-Echo-S2ST-2B End-to-End-Synchronisation; Chinese-to-Spanish; 200 verbliebene Beispiele. Gepaarter In-house-Videodubbing-Test. E2E-Inhaltsfehler; der gemeinsame S2TT-Text wird nicht als S2ST-Ausgabe gewertet.
Einordnung: Herstellerinterner Test ohne externe Replikation; die Übersetzungstext-Judges stammen aus dem gemeinsam eingefrorenen S2TT-Pfad und werden hier nicht dem S2ST-Modell zugerechnet.

Quelle Index-Translate paper v1, Table 8

Index-Echo S2ST source-speaker similarity: zh → es (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.743
Bewertung: 0.743
Messgröße: cosine similarity to source speaker
Einheit: ratio
Benchmark-Version: arXiv:2609.40181v1, Table 8
Kategorie: audio
Richtung: Mehr ist besser
Stichprobe: 200
Quellentyp: vendor-reported
Auswertung: Index-Translate paper v1, Table 8
Status: active
Abrufdatum: 2026-10-07
Methodik: Vom Anbieter veröffentlichter Wert. Index-Echo-S2ST-2B End-to-End-Synchronisation; Chinese-to-Spanish; 200 verbliebene Beispiele. Gepaarter In-house-Videodubbing-Test. E2E-Inhaltsfehler; der gemeinsame S2TT-Text wird nicht als S2ST-Ausgabe gewertet. Sprecherähnlichkeit ist die Cosinus-Ähnlichkeit zur Eingabestimme.
Einordnung: Herstellerinterner Test ohne externe Replikation; die Übersetzungstext-Judges stammen aus dem gemeinsam eingefrorenen S2TT-Pfad und werden hier nicht dem S2ST-Modell zugerechnet.

Quelle Index-Translate paper v1, Table 8

Index-Echo S2ST Kata CER mean: zh → ja (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.0493
Bewertung: 0.0493
Messgröße: end-to-end mean Kata CER content error
Einheit: ratio
Benchmark-Version: arXiv:2609.40181v1, Table 8
Kategorie: audio
Richtung: Weniger ist besser
Stichprobe: 200
Quellentyp: vendor-reported
Auswertung: Index-Translate paper v1, Table 8
Status: active
Abrufdatum: 2026-10-07
Methodik: Vom Anbieter veröffentlichter Wert. Index-Echo-S2ST-2B End-to-End-Synchronisation; Chinese-to-Japanese; 200 verbliebene Beispiele. Gepaarter In-house-Videodubbing-Test. E2E-Inhaltsfehler; der gemeinsame S2TT-Text wird nicht als S2ST-Ausgabe gewertet.
Einordnung: Herstellerinterner Test ohne externe Replikation; die Übersetzungstext-Judges stammen aus dem gemeinsam eingefrorenen S2TT-Pfad und werden hier nicht dem S2ST-Modell zugerechnet.

Quelle Index-Translate paper v1, Table 8

Index-Echo S2ST Kata CER median: zh → ja (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.027
Bewertung: 0.027
Messgröße: end-to-end median Kata CER content error
Einheit: ratio
Benchmark-Version: arXiv:2609.40181v1, Table 8
Kategorie: audio
Richtung: Weniger ist besser
Stichprobe: 200
Quellentyp: vendor-reported
Auswertung: Index-Translate paper v1, Table 8
Status: active
Abrufdatum: 2026-10-07
Methodik: Vom Anbieter veröffentlichter Wert. Index-Echo-S2ST-2B End-to-End-Synchronisation; Chinese-to-Japanese; 200 verbliebene Beispiele. Gepaarter In-house-Videodubbing-Test. E2E-Inhaltsfehler; der gemeinsame S2TT-Text wird nicht als S2ST-Ausgabe gewertet.
Einordnung: Herstellerinterner Test ohne externe Replikation; die Übersetzungstext-Judges stammen aus dem gemeinsam eingefrorenen S2TT-Pfad und werden hier nicht dem S2ST-Modell zugerechnet.

Quelle Index-Translate paper v1, Table 8

Index-Echo S2ST source-speaker similarity: zh → ja (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.78
Bewertung: 0.78
Messgröße: cosine similarity to source speaker
Einheit: ratio
Benchmark-Version: arXiv:2609.40181v1, Table 8
Kategorie: audio
Richtung: Mehr ist besser
Stichprobe: 200
Quellentyp: vendor-reported
Auswertung: Index-Translate paper v1, Table 8
Status: active
Abrufdatum: 2026-10-07
Methodik: Vom Anbieter veröffentlichter Wert. Index-Echo-S2ST-2B End-to-End-Synchronisation; Chinese-to-Japanese; 200 verbliebene Beispiele. Gepaarter In-house-Videodubbing-Test. E2E-Inhaltsfehler; der gemeinsame S2TT-Text wird nicht als S2ST-Ausgabe gewertet. Sprecherähnlichkeit ist die Cosinus-Ähnlichkeit zur Eingabestimme.
Einordnung: Herstellerinterner Test ohne externe Replikation; die Übersetzungstext-Judges stammen aus dem gemeinsam eingefrorenen S2TT-Pfad und werden hier nicht dem S2ST-Modell zugerechnet.

Quelle Index-Translate paper v1, Table 8

Index-Echo S2ST CER mean: en → zh (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.0372
Bewertung: 0.0372
Messgröße: end-to-end mean CER content error
Einheit: ratio
Benchmark-Version: arXiv:2609.40181v1, Table 8
Kategorie: audio
Richtung: Weniger ist besser
Quellentyp: vendor-reported
Auswertung: Index-Translate paper v1, Table 8
Status: active
Abrufdatum: 2026-10-07
Methodik: Vom Anbieter veröffentlichter Wert. Index-Echo-S2ST-2B End-to-End-Synchronisation; English-to-Chinese; englischsprachiges Quellset begann mit 200 Beispielen; das Paper nennt nach Filterung nur 146–198 über die Richtungen, keine Fallzahl für diese Richtung. Gepaarter In-house-Videodubbing-Test. E2E-Inhaltsfehler; der gemeinsame S2TT-Text wird nicht als S2ST-Ausgabe gewertet.
Einordnung: Herstellerinterner Test ohne externe Replikation. Die englischen Quellrichtungen haben keine genaue verbleibende Fallzahl in der Tabelle; diese Richtung wird daher ohne sampleCount geführt.

Quelle Index-Translate paper v1, Table 8

Index-Echo S2ST CER median: en → zh (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0
Bewertung: 0
Messgröße: end-to-end median CER content error
Einheit: ratio
Benchmark-Version: arXiv:2609.40181v1, Table 8
Kategorie: audio
Richtung: Weniger ist besser
Quellentyp: vendor-reported
Auswertung: Index-Translate paper v1, Table 8
Status: active
Abrufdatum: 2026-10-07
Methodik: Vom Anbieter veröffentlichter Wert. Index-Echo-S2ST-2B End-to-End-Synchronisation; English-to-Chinese; englischsprachiges Quellset begann mit 200 Beispielen; das Paper nennt nach Filterung nur 146–198 über die Richtungen, keine Fallzahl für diese Richtung. Gepaarter In-house-Videodubbing-Test. E2E-Inhaltsfehler; der gemeinsame S2TT-Text wird nicht als S2ST-Ausgabe gewertet.
Einordnung: Herstellerinterner Test ohne externe Replikation. Die englischen Quellrichtungen haben keine genaue verbleibende Fallzahl in der Tabelle; diese Richtung wird daher ohne sampleCount geführt.

Quelle Index-Translate paper v1, Table 8

Index-Echo S2ST source-speaker similarity: en → zh (Messwert, Testbedingungen und Quelle anzeigen)

Originalwert: 0.623
Bewertung: 0.623
Messgröße: cosine similarity to source speaker
Einheit: ratio
Benchmark-Version: arXiv:2609.40181v1, Table 8
Kategorie: audio
Richtung: Mehr ist besser
Quellentyp: vendor-reported
Auswertung: Index-Translate paper v1, Table 8
Status: active
Abrufdatum: 2026-10-07
Methodik: Vom Anbieter veröffentlichter Wert. Index-Echo-S2ST-2B End-to-End-Synchronisation; English-to-Chinese; englischsprachiges Quellset begann mit 200 Beispielen; das Paper nennt nach Filterung nur 146–198 über die Richtungen, keine Fallzahl für diese Richtung. Gepaarter In-house-Videodubbing-Test. E2E-Inhaltsfehler; der gemeinsame S2TT-Text wird nicht als S2ST-Ausgabe gewertet. Sprecherähnlichkeit ist die Cosinus-Ähnlichkeit zur Eingabestimme.
Einordnung: Herstellerinterner Test ohne externe Replikation. Die englischen Quellrichtungen haben keine genaue verbleibende Fallzahl in der Tabelle; diese Richtung wird daher ohne sampleCount geführt.

Quelle Index-Translate paper v1, Table 8

Seite 1 von 2

Quellen und Datenstand

Art	Nachweis und Datenstand
Recherchestand	Recherchestand 7. Oktober 2026. 1 Quellen-URLs geprüft. Das dokumentiert die geprüften Quellen, nicht sämtliche Veröffentlichungen zu diesem Modell.
Nicht veröffentlicht	english-source-sample-count Originalwortlaut Tabelle 8 nennt für englische Quellrichtungen nach Filterung nur 146–198 Fälle über die Richtungen, nicht die genaue Zahl je Richtung.
Ungeklärt	text-judge-attribution Originalwortlaut Die Text-Judge-Spalte aus Tabelle 8 bewertet den eingefrorenen, gemeinsam genutzten S2TT-Text. Sie wurde nicht als S2ST-Ergebnis übernommen; ein separater Textwert für den S2ST-Audiopfad fehlt.
In den geprüften Quellen nicht gefunden	independent-s2st-replication Originalwortlaut Die S2ST-E2E-Inhaltsfehler und Sprecherähnlichkeit stammen aus dem In-house-Test des Modellteams; eine externe Wiederholung für diesen Paketcheckpoint wurde nicht gefunden.
Weitere Quelle	Index-Echo-S2ST-2B Hugging Face model card (abgerufen 7. Oktober 2026) · Index-Echo-S2ST-2B model card · Redaktionelle Beschreibung geprüft am 7. Oktober 2026
Weitere Quelle	Bilibili Index-Translate repository (abgerufen 7. Oktober 2026) · Bilibili Index-Translate repository · Redaktionelle Beschreibung geprüft am 7. Oktober 2026
Weitere Quelle	Index-Translate paper v1, Table 8 (abgerufen 7. Oktober 2026)