Record #624212

DFG project G:(GEPRIS)554605289

Audiovisuelle Sprachverbesserung für stark gestörte räumliche Audiosignale

Coordinator	Professorin Dr.-Ing. Dorothea Kolossa
Grant period	2025 -
Funding body	Deutsche Forschungsgemeinschaft
	DFG
Identifier	G:(GEPRIS)554605289

Note: Die Sprachverbesserung in realen Umgebungen ist seit einigen Jahrzehnten ein bedeutendes Forschungsthema. Jüngste technologische Entwicklungen bringen neue Möglichkeiten und Herausforderungen. Zwei besondere Herausforderungen sind der Wunsch nach Algorithmen für zunehmend komplexe Umgebungen mit mehreren Sprechern und Hintergrundgeräuschen, sowie die wachsende Bedeutung räumlicher Audiosignale für Virtual- und Augmented-Reality- (VR und AR) Anwendungen. Neue Möglichkeiten ergeben sich aus der Verfügbarkeit von Mehrkanal-Audio mit Videoaufnahmen sowie Fortschritten in datengetriebenen Verarbeitungstechniken. Es bestehen jedoch zwei wesentliche Lücken im Stand der Technik der Sprachverbesserung: Die Leistungsfähigkeit nimmt bei sehr niedrigen Signal-to-Noise Ratios (SNRs) erheblich ab, und binaurale Cues bleiben in den verarbeiteten Audiosignalen oft nicht erhalten. Dieses Projekt zielt darauf ab, diese kritischen Lücken zu schließen, indem Algorithmen entwickelt werden, die Sprache aus sehr niedrigen SNRs durch die Integration visueller Informationen wiederherstellen. Dabei konzentrieren wir uns auf die Erhaltung räumlicher Informationen durch dedizierte, mehrkanalige Verarbeitung. Trotz des schnellen Fortschritts in der audiovisuellen (AV) Sprachverbesserung und in räumlichem Audio liefern bestehende Ansätze keine hochwertigen binauralen Signale aus AV-Mehrkanaleingaben. Vor allem fehlt es an zuverlässiger Performanz bei schlechten SNRs und an einem holistischen Ansatz, der sowohl Verständlichkeit als auch räumliche Wahrnehmung während der Design- und Bewertungsphasen einbezieht. Das Hauptziel dieses Projekts ist die Entwicklung generativer und diskriminativer Methoden zur AV-Sprachverbesserung. Die Methoden sollen systematisch bewertet, verglichen und optimiert werden, um die Erhaltung räumlicher Informationen, die Sprachverständlichkeit und die Robustheit bei niedrigen SNRs zu gewährleisten. Zu den erwarteten Beiträgen gehören die Erstellung einer öffentlich zugänglichen Datenbank mit AV-Daten, einschließlich Ein- und Mehrkanal-Audio, annotiert mit Sprecheraktivität und -identität, sowie Referenztranskripte zur Bewertung der Sprachverständlichkeit. Wir werden offenen Quellcode für generative und diskriminative Mehrkanal-AV-Sprachverbesserung entwickeln und bereitstellen, der auf beliebige Arrays anwendbar ist. Umfassende Leistungsbewertungen der neuen Algorithmen unter verschiedenen akustischen Bedingungen werden unter Verwendung instrumenteller Metriken durchgeführt und mit bestehenden Baselines verglichen. Zusätzlich organisieren wir eine Machine-Learning-Challenge zur Mehrkanal-AV-Sprachverbesserung, um reproduzierbare und direkt vergleichbare Forschung in diesem Bereich zu unterstützen. So soll unsere Forschung das Feld der Sprachverbesserung insbesondere in herausfordernden realen Umgebungen vorantreiben und die Entwicklung natürlicherer und verständlicherer Audioerlebnisse in VR und AR-Anwendungen unterstützen.

Recent Publications

There are no publications

Record created 2025-02-24, last modified 2025-03-04

Similar records

Rate this document:

(Not yet reviewed)

Add to personal basket
Export as Author List with IDs BibTeX (UTF-8), EndNote XML, EndNote Text, RIS, MARC, Print MARC, MARCXML, DC,
Request correction
Submit fulltext

guest :: login PUBDB
		Search		Submit		Personalize Your alerts Your baskets Your searches		Help