Programa específico: Liderazgo industrial: TIC
UPV/EHU Estado de socio: Beneficiario
UPV/EHU IP: Gorka Labaka

Inicio del proyecto: 01/01/2021
Fin del proyecto: 31/12/2023

Breve descripción: Hoy en día, cualquier barrera de comunicación es perjudicial para la sociedad. Este proyecto investigará y desarrollará el servicio de comunicación SignON que utiliza la traducción automática para traducir entre el lenguaje de signos y el lenguaje hablado. Este servicio facilitará el intercambio de información entre personas sordas o con dificultades auditivas y personas oyentes. En este proyecto centrado en el usuario e impulsado por la comunidad, colaboraremos estrechamente con las comunidades europeas de personas sordas o con dificultades auditivas para (re)definir los casos de uso, diseñar y desarrollar conjuntamente el servicio y la aplicación SignON, evaluar la calidad y validar su aceptación. Nuestro objetivo final es la difusión justa, imparcial e inclusiva de la información y el contenido digital en la sociedad europea. Nuestro proyecto desarrollará una aplicación y un marco libres y abiertos para la conversión entre vídeo (captura y comprensión del lenguaje de señas), audio y texto y la traducción entre el lenguaje de señas y el hablado. Para facilitar estas tareas, proponemos una representación común para el mapeo de vídeo, audio y texto en un espacio unificado que se utilizará para traducir a la modalidad y el idioma de destino. Para garantizar una amplia adopción, una mejor detección y síntesis del lenguaje de señas, así como un procesamiento de voz multilingüe en dispositivos móviles para todos, implementaremos el servicio SignON como una aplicación de teléfono inteligente que se ejecuta en dispositivos modernos estándar. Prevemos la aplicación como una interfaz liviana. El marco SignON, sin embargo, se distribuirá en la nube donde se ejecutarán las tareas computacionalmente intensivas. El proyecto estará impulsado por un conjunto enfocado de casos de uso adaptados a las comunidades sordas. Nos dirigimos a los idiomas de señas irlandés, británico, holandés, flamenco y español y al inglés, irlandés, holandés y español hablados. Sin embargo, SignON incorporará capacidades sofisticadas de aprendizaje automático que permitirán (i) aprender nuevos idiomas de señas, escritos y hablados; (ii) adaptación al estilo, dominio y usuario y (iii) corrección automática de errores, basada en la retroalimentación del usuario.