Un sistema llamado TongueReenact combina reconstrucción geométrica y difusión para incorporar movimientos de la lengua a rostros animados con IA. Sus autores reportan mejores resultados que varios métodos comparados, aunque la evaluación aún enfrenta límites propios de un campo recién explorado.
***

• TongueReenact busca generar la lengua que suele faltar en sistemas de reanimación facial, vinculando su forma y posición con la geometría de cada rostro.
• En pruebas con 9.000 pares de videos, el método obtuvo un IoU de lengua de 0,3582 y una similitud de área de 0,4338, más del doble del competidor más cercano en esas métricas, según los investigadores.
• El trabajo combina datos de NERSemble y VFHQ, segmentación asistida por modelos existentes y generación con Stable Diffusion; todavía no contaba con código ni video suplementario disponible, según el artículo consultado.

TongueReenact busca corregir una falla anatómica de la animación facial con IA

Los sistemas de animación facial con inteligencia artificial pueden trasladar expresiones y movimientos entre personas, pero suelen dejar sin resolver una parte pequeña y muy visible de la anatomía: la lengua. Un trabajo académico llamado TongueReenact propone combinar reconstrucción geométrica y generación por difusión para añadirla a rostros animados, con movimientos guiados por un video de referencia. El artículo se titula “TongueReenact: Geometry-Anchored Tongue Synthesis for Face Reenactment”.

La propuesta aborda un problema difícil de capturar porque la lengua permanece oculta durante buena parte del tiempo y aparece de forma intermitente al hablar o gesticular. En las pruebas descritas por los investigadores, el marco superó a los sistemas comparados en las métricas específicas de lengua, aunque el contexto de investigación todavía limita la solidez de algunas comparaciones.

El vacío anatómico detrás de la propuesta

En muchos modelos de reanimación facial, la región interior de la boca funciona como un espacio vacío o sin textura definida. Esa simplificación puede pasar inadvertida en expresiones neutras, pero se vuelve evidente cuando una persona ríe, expresa asco o sorpresa, o articula de una manera que deja la lengua expuesta.

Los autores sostienen que la lengua no se comporta como un rasgo facial estático que pueda ajustarse una sola vez para cada identidad. Está escondida en reposo, aparece durante ciertos sonidos y puede dominar la zona oral en expresiones intensas, por lo que su forma y ubicación cambian con la expresión y la geometría de cada fotograma.

El equipo describe su propuesta como el primer marco para transferir dinámicas de lengua entre identidades dentro de la reanimación facial. El sistema recibe un fotograma de una persona fuente y un video conductor, y busca trasladar tanto el movimiento facial como la articulación visible de la lengua, en lugar de tratar el interior de la boca como una zona genérica que solo necesita rellenarse.

Ese matiz importa porque una generación plausible no basta si la lengua aparece despegada de la boca o fuera de lugar cuando cambia la expresión. Según los investigadores, la síntesis debe permanecer anclada a la geometría del rostro fuente, que también se modifica en cada fotograma conductor; esa dependencia es central para el método y para evaluar si el resultado parece consistente.

Cómo construye los datos y genera la lengua

Para reconocer lenguas en imágenes faciales ordinarias, los investigadores recurrieron a grabaciones multivista de cabezas humanas de NERSemble y a fotogramas sintéticos derivados de VFHQ, un conjunto que contiene más de 16.000 videos faciales de alta calidad. La combinación permitió ampliar la variedad de ejemplos disponibles para un rasgo que rara vez aparece anotado de forma específica en los conjuntos de datos existentes.

El flujo de preparación comienza con MaskGAN para localizar la boca y utiliza TongueSAM, un detector desarrollado para análisis médico, para proponer la región probable de la lengua. Después, SegmentAnything genera un contorno inicial, o pseudoetiqueta, que los investigadores revisan y corrigen manualmente para separar la lengua de labios, dientes y otros tejidos bucales.

El equipo clasificó las máscaras según la cantidad de lengua visible, descartó los ejemplos incorrectos y ajustó las anotaciones prometedoras antes de entrenar una red BiSeNet. Luego aplicó el modelo a otros sujetos de NERSemble y a fotogramas de VFHQ, revisó sus predicciones con intervención humana y repitió el proceso hasta estabilizar el rendimiento en personas que no habían aparecido durante el entrenamiento.

BiSeNet aprendió a distinguir dos clases, fondo y lengua, con imágenes de 512 por 512 píxeles, tamaño de lote 4 y una tasa de aprendizaje de 10⁻³ durante 50.000 iteraciones. El entrenamiento se realizó en una GPU NVIDIA A40 con 48 GB de memoria; estas especificaciones describen la etapa de segmentación, no todo el proceso posterior de generación.

Geometría facial, difusión y evaluación

Para animar el rostro, TongueReenact primero transfiere los movimientos del video conductor mediante 3D Gaussian Splatting y el modelo facial paramétrico FLAME. Esa etapa produce la pose y la expresión del rostro fuente, pero todavía no incorpora la lengua, que el sistema genera después en la región oral identificada por BiSeNet.

La síntesis utiliza Stable Diffusion Image Variations y combina señales de la geometría facial reconstruida con la apariencia de la lengua en el video conductor. El área de la boca se amplía ligeramente antes de la generación para que el modelo tenga margen cuando la forma cambia, y el proceso vuelve a generar solo la región oral señalada, en vez de rehacer todo el rostro.

Para esta parte, el equipo partió del avatar GAGAvatar basado en Gaussian Splatting y de un punto de control de Stable Diffusion Image Variations. Los codificadores VAE y CLIP permanecieron congelados, mientras que los codificadores de guía y el UNET de eliminación de ruido se entrenaron con datos de NERSemble durante 85.000 iteraciones, con lotes de 8 e imágenes de 512 por 512 píxeles.

La inferencia empleó 20 pasos DDIM. Los investigadores compararon el método con GPAvatar, LivePortrait, X-NeMo y X-Portrait, y reportaron una evaluación sobre 9.000 pares de fuente y conductor con identidades distintas, extraídos de VFHQ.

Resultados, límites y lo que falta por comprobar

La evaluación incluyó LPIPS, una métrica perceptual de imagen, además de presencia de lengua, intersección sobre unión (IoU) de la región lingual y similitud del área de la lengua generada frente a la del video conductor. TongueReenact obtuvo un IoU de 0,3582, una similitud de área de 0,4338 y una presencia de lengua de 0,7891, según los resultados reportados por sus autores.

Los investigadores afirmaron que el IoU y la similitud de área superaron más del doble al competidor más cercano, y que la presencia de lengua muestra una capacidad más fiable para producir articulación visible. El artículo también presenta el método como el mejor en las cuatro métricas de comparación, pero conviene leer esa afirmación dentro de un escenario nuevo, donde los sistemas previos no fueron diseñados específicamente para generar lenguas.

El equipo examinó además la consistencia temporal mediante T-LPIPS y medidas del flujo óptico. Para el modelo completo reportó un jitter de flujo de 0,218543, frente a 0,622901 en la comparación indicada, y una magnitud de flujo de 0,513165 frente a 1,254073; los autores interpretan esos valores como señales de un movimiento más estable y menos tembloroso.

Las cifras no eliminan las limitaciones de evaluación: el artículo consultado señalaba que todavía no había un video suplementario disponible y que el código prometido no parecía haberse publicado. Sin ese material, resulta difícil valorar por cuenta propia la naturalidad visual y el comportamiento fotograma a fotograma, mientras que las comparaciones con técnicas que no modelan la lengua pueden favorecer al sistema diseñado expresamente para esa tarea.

El trabajo fue presentado como una respuesta a una carencia concreta de los avatares y la reanimación facial, no como una solución general a todos los problemas del video generado. Su siguiente prueba será demostrar que la lengua mantiene una apariencia convincente en más identidades, expresiones y condiciones, sin perder sincronía ni coherencia temporal; por ahora, los resultados publicados describen un avance técnico y no una verificación definitiva de realismo.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín