Diseño interactivo digital impulsado por la inteligencia artificial y comunicación pública de los frolics de cinco animales de Hua Tuo
Feb 26, 2025
3. Captura de movimiento basada en algoritmos de inteligencia artificial
Para habilitar la funcionalidad interactiva del dispositivo de ejercicios de cinco animales frente a una cámara, el núcleo radica en establecer una conexión entre las representaciones virtuales y del mundo real. El participante existe en el mundo real, pero primero debe reconstruirse en el mundo virtual. Luego, el carácter virtual se combina con la imagen reconstruida del participante, lo que permite varias características interactivas. Para lograr interacciones altamente sincronizadas, se deben abordar dos desafíos técnicos principales:Estimación de pose humanayReorientación de movimiento humano. Los métodos tradicionales de reconstrucción humana a menudo dependen de equipos costosos de captura de movimiento, pero este estudio aprovecha las ventajas de la inteligencia artificial para lograr la reconstrucción humana a un costo menor.
Nuevo TCM Herbal Cistanche para culturismo
El objetivo principal de la tecnología de estimación de pose humana es detectar posiciones y puntos clave humanos de las transmisiones de video. Esta tecnología se puede aplicar a dos características clave del diseño del dispositivo:
Las transmisiones de video en tiempo real se capturan a través de una cámara, y el modelo detecta puntos clave humanos, preparándose para operaciones posteriores.
Para cumplir con los requisitos de los movimientos de cinco ejercicios de animales, los videoclips de estos ejercicios se precargan en el modelo, que detecta los puntos clave para cada movimiento y genera secuencias esqueléticas de los caracteres de los cinco ejercicios animales, preparándose para la transferencia de representaciones de los usuarios.
Nuevo TCM Herbal Cistanche for Body Building
La siguiente sección proporciona una explicación detallada del proceso de implementación técnica.
Nuevo TCM Herbal Cistanche for Body Building
3.1 Extracción de esqueleto
Este estudio utiliza elManiobra abiertaHerramienta [13] Para lograr la captura y grabación de punto clave 2D en tiempo real. OpenPose se utiliza principalmente para la estimación de pose 2D en tiempo real en tiempo real. Al detectar y asociar los puntos clave (como las posiciones conjuntas) de cada persona en una imagen, permite el reconocimiento de pose, aunque no proporciona información de superficie 3D o segmentación detallada de las partes del cuerpo. Este método presenta el concepto dePart Affinity Fields (PAFS), que, a través de redes neuronales convolucionales (CNN), predice simultáneamente mapas de confianza para las partes del cuerpo y los campos de afinidad entre las partes. Los puntos clave se analizan utilizando un proceso de inferencia codicioso, que ofrece un fuerte rendimiento en tiempo real.
Con el modelo de poste abierto previamente entrenado preparado, este estudio alimenta los datos de la transmisión de video (utilizando videos de demostración del campeón nacional Cao Jin) en el modelo de inferencia, extrayendo datos esqueléticos para obtener secuencias esqueléticas (ver Figura 4).
Fig.4 Resultados de detección de puntos clave del cuerpo humano
3.2 Estimación de pose humana densa
La extracción de esqueleto 2D proporciona un soporte limitado para las tareas de reorientación de movimiento posterior y solo es aplicable al mapeo de caracteres simple en esqueletos 2D. Para satisfacer las necesidades de representaciones de carácter más complejas, la estructura de superficie 3D del cuerpo humano también debe extraerse.Posposición densa[14] tiene como objetivo lograr una estimación densa de pose humana al mapear todos los píxeles humanos en una imagen a sus puntos correspondientes en una superficie humana 3D. Este método no solo detecta puntos clave, sino que también proporciona una parametrización de superficie detallada para cada parte del cuerpo, que genera coordenadas UV y máscaras de segmentación del cuerpo.
ElDensePose-RcnnEl sistema utiliza una red neuronal convolucional (CNN) que combina elDenseregMétodo con la arquitectura Mask-RCNN. Emplea una cascada de generación de propuestas de región y agrupación de características, luego utiliza una red totalmente convolucional para predicciones densas. Esto genera etiquetas de piezas discretas y coordenadas de superficie continua, prediciendo la densa relación de correspondencia de la superficie humana a través del entrenamiento.
Dado que DensePose proporciona información rica en la superficie del cuerpo, es adecuado para aplicaciones que requieren formas y apariencias humanas detalladas, como el modelado 3D, la realidad virtual (VR) y la realidad aumentada (AR). En última instancia, DensePose es capaz de generar datos detallados que incluyen información de la superficie humana y secuencias de movimiento, lo que respalda la transferencia de representaciones de caracteres más complejas (ver Figura 5).
Fig.
3.3 Redargeting de movimiento humano
Ya sea que permita a un personaje virtual imitar los movimientos en tiempo real de un usuario o animar la foto de un usuario para realizar los ejercicios de cinco animales, todo se basa enReorientación de movimiento humanotecnología. Esta tecnología redirige una secuencia de movimiento de origen a una nueva secuencia de movimiento. Existen varios enfoques para lograr esto, y en base a los requisitos del dispositivo interactivo, este estudio adopta dos técnicas aplicables.
Para el extraídosecuencia de esqueleto, el procesamiento simple basado en el esqueleto es suficiente para transferirlo a una nueva forma. Por ejemplo, al diseñar un modelo de "figura de palo", podemos ampliar los puntos clave de la cabeza y agregar diferentes colores a las partes del cuerpo, generando así una nueva representación.Tabla 3ilustra los efectos de la reorientación de movimiento utilizando el video de cinco ejercicios animales.
Tab.3 Resultados que contienen imagen de punto clave e imagen de video reorientado
Para escenarios de reorientación de movimiento más complejos, se pueden introducir modelos de difusión para ayudar a lograr el objetivo. ElMágicoFramework [15] permite generar animaciones de video que se adhieren a una secuencia de movimiento dada mientras mantienen la consistencia temporal y la fidelidad a la imagen de referencia. Este modelo incorpora la imagen de referencia en un codificador de apariencia para generar una apariencia de incrustación, mientras que la secuencia de pose de destino (p. Ej., DensePose) se ingresa en una red de control de pose (Controlnet) para extraer condiciones de movimiento. Basado en estas dos señales, el modelo entrena un modelo de difusión de video que anima la identidad de referencia de acuerdo con la pose dada.
Usando esta característica, nuestro dispositivo interactivo puede tomar la secuencia de movimiento del usuario como la secuencia de pose de destino y la imagen de caracteres de cinco animales de ejercicios como la imagen de referencia. Esto permite que los movimientos libres del usuario frente a la cámara impulsen el movimiento sincronizado del personaje de los ejercicios de cinco animales, creando una experiencia interactiva (verFigura 6).
Fig.6 Generación de efectos de pantalla
4. "Muévete, mantente saludable y disfruta del" diseño público de dispositivos interactivos
4.1 Características funcionales
El dispositivo "Move, Mantente saludable y disfruta" aprovecha el dispositivo interactivo y aprovecha las cámaras y la tecnología de inteligencia artificial para permitir a los participantes realizar una serie de tareas frente al dispositivo. Estos movimientos se registran en tiempo real y se combinan con imágenes de caracteres virtuales, proporcionando una experiencia interactiva inmersiva. Los escenarios de aplicación del dispositivo interactivo se muestran enFigura 7.
Característica 1: Los usuarios pueden elegir entre una variedad de representaciones de caracteres virtuales basados en preferencias personales, incluidos personajes de Kung Fu animados, personajes de bloque de estilo exclusivo y figuras de palo simplificadas. A través de estos efectos visuales, los usuarios disfrutan de una rica experiencia interactiva. Estos personajes no solo imitan los movimientos de los usuarios sino que también responden a ellos.
Característica 2: Los usuarios pueden tomar fotos de cuerpo completo frente a la cámara para mejorar la experiencia de realizar los ejercicios de cinco animales. El sistema inserta la imagen del usuario en los videos de ejercicio de cinco animales, lo que permite a los usuarios imaginarse a sí mismos como maestros de los ejercicios de cinco animales de Hua Tuo, ejecutando varios movimientos profesionales con precisión.
Fig.7 Escenarios de aplicación Wildfit
4.2 Configuración de parámetros
El dispositivo se nombra"Muévete, mantente saludable y disfruta"establecer una conexión entre animales, naturaleza y aptitud. El objetivo es hacer del diseño un puente entre estos tres elementos. Según este concepto, el dispositivo es una instalación de pantalla interactiva destinada a colocarse en céspedes al aire libre o en parques de diversiones. Está equipado con varios parámetros, como se muestra enTabla 4.
Tabla 4: "Muévete, mantente saludable y disfruta de" Configuración de parámetros
| Parámetro | Detalles |
|---|---|
| Tamaño de pantalla | 2.5m × 1.5m |
| Resolución | 1920 píxeles × 1080 píxeles |
| Botones interactivos | Botón de inicio; Botón de seguimiento de movimiento e indicador de retroalimentación; botón de salida |
| Touch sensibilidad | Tiempo de respuesta de 10 ms, velocidad de cuadro de 30 fps; admite gestos manuales, postura corporal y detección física |
| Interacción de retroalimentación | Información de la voz; o retroalimentación visual (por ejemplo, indicadores que muestran una postura corporal no alineada o gestos de movimiento incompletos) |
| Durabilidad | Calificación impermeable IP65; carcasa de material de aleación de aluminio
|
Fig.8 Demostración de concepto de diseño de fit wildfit
4.3.2 Evaluación física: contenido y métodos
Para evaluar aún más el impacto del dispositivo físico después de su aplicación, se proponen los siguientes métodos de evaluación:
1) Indicadores de salud física
Objetivo: Compare los indicadores de salud física de los participantes antes y después de participar en el programa de acondicionamiento físico (por ejemplo, peso, porcentaje de grasa corporal, frecuencia cardíaca, presión arterial) para evaluar el impacto del programa de acondicionamiento físico en la salud física.
Método: Análisis de regresión lineal
La regresión lineal se utiliza para analizar los cambios en los indicadores de salud física de los participantes antes y después del programa de acondicionamiento físico. La fórmula es la siguiente:
Y=β₀ + β₁x + ε
Y: Variable dependiente (por ejemplo, cambio de peso).
X: Variable independiente.
β₀yβ₁: Coeficientes de regresión.
ε: Error aleatorio.
2) Indicadores de salud psicológica
Objetivo: Investigue los indicadores de salud psicológicos de los participantes después de participar en el programa de acondicionamiento físico (p. Ej., Estado emocional, niveles de estrés, felicidad) para evaluar su impacto en el bienestar mental.
Método: Análisis de regresión logística
La regresión logística se utiliza para evaluar el impacto del programa en los indicadores de salud psicológica (por ejemplo, felicidad). La fórmula es la siguiente:
P (y =1)=1 / (1 + e^-(β₀ + β₁x)))
Y: Variable binaria (por ejemplo, si el participante se siente feliz).
X: Variable independiente.
β₀yβ₁: Coeficientes de regresión.
Para el dispositivo "mover, mantenerse saludable y disfrutar", las variables independientes se detallan enTabla 5.
3) Encuesta de compromiso y satisfacción
Objetivo: Investigue el compromiso y la satisfacción de los participantes con el programa de acondicionamiento físico.
Método: Diseñe y distribuya un cuestionario de encuesta para recopilar comentarios de los usuarios sobre la usabilidad, el disfrute y la practicidad del dispositivo, así como la satisfacción general con el dispositivo interactivo de ejercicio de cinco animales.
Los participantes calificarán estos aspectos, y los puntajes y sugerencias de retroalimentación se utilizarán para evaluar la efectividad del dispositivo.
