¿Puede la IA leer labios a partir de un video silencioso ?

La IA puede reconstruir palabras habladas únicamente a partir de imágenes de vídeo de los movimientos de los labios, incluso sin acceso a grabaciones de audio.

Los sistemas actuales de IA pueden reconstruir el habla inteligible a partir de vídeo mudo de los movimientos de la boca de un hablante mediante el entrenamiento de modelos profundos en grandes conjuntos de datos de vídeo mudo emparejado y audio correspondiente. Arquitecturas recientes como Wav2Lip, AV-HuBERT y VCA-GAN logran una alta precisión en lectura de labios en condiciones controladas, pero aún tienen dificultades con el habla rápida, hablantes superpuestos y oclusiones. Los mejores sistemas igualan o superan el rendimiento humano en lectura de labios en conjuntos de datos de referencia como LRS2 y LRS3, y se están adaptando para comunicación asistencial e interfaces seguras. Sin embargo, la robustez en escenarios del mundo real, con poca luz o vistas de perfil sigue siendo un desafío activo de investigación.

— Enriched 12 de mayo de 2026 · Fuente: preimpresión de arXiv "Reconocimiento Visual del Habla Usando un Marco de Aprendizaje Profundo Multimodal" — https://arxiv.org/abs/2305.11541