Tecnologías para traducción y doblaje automático en sistemas de videoconferencia o streaming

El proyecto Substream II se enmarca en una línea de investigación destinada a desarrollar tecnologías de traducción y doblaje automático en tiempo real para videollamadas bilingües, complementando el proyecto anterior Substream, que se centró en la transcripción y subtitulación en directo de las conversaciones. La iniciativa aborda las fases posteriores a la transcripción: la traducción automática de las intervenciones y la síntesis de voz doblada, buscando facilitar la comunicación multilingüe sin intervención humana directa.

Entre los retos principales se encuentran las particularidades del discurso espontáneo en videollamadas, como errores, interrupciones, frases largas o incoherencias gramaticales, que dificultan la traducción automática. Además, se busca que la voz sintetizada mantenga cierta similitud con la del hablante original para mejorar la comprensión y la naturalidad del doblaje, a pesar de los inevitables retrasos en la reproducción del audio traducido. Esto requiere desarrollar técnicas de imitación de voz con muestras limitadas, sin necesidad de que el hablante forme parte del entrenamiento previo del sistema de síntesis.