MyMallow - Diario emocional de un personaje 3D creado con RealityKit

Presentamos MyMallow, una app para iOS donde las personas pueden personificar sus emociones como un personaje 3D y personalizarlo directamente. Es un proyecto desarrollado durante 2 meses, enfocado no solo en escribir un diario, sino en la "producción de contenido 3D participativo por parte del usuario".

Funciones principales

• Texturas personalizadas: los dibujos que la persona hace en un lienzo se analizan con el framework Vision y se mapean en tiempo real al material del modelo 3D.
• Captura de movimiento propia: además de los 195 movimientos integrados, también se pueden grabar directamente los movimientos de la persona usando Body Position Tracking de ARKit y aplicarlos al personaje.
• NPC con comportamiento autónomo: al combinar la máquina de estados (State Machine) de GameplayKit con búsqueda de rutas, los personajes actúan de forma autónoma según el entorno, por ejemplo bailando cerca de una fogata.

Puntos clave de implementación técnica

• RealityKit y pipeline 3D: se usan modelos creados en Blender y convertidos a .usdz, controlando dinámicamente en tiempo de ejecución las texturas y la estructura de rigging del modelo.
• Optimización de movimiento: para reducir el ruido de los datos capturados, se aplicaron un filtro low-pass y Slerp (interpolación lineal esférica) para lograr animaciones suaves.
• Física y audio espacial: se construyó un espacio 3D inmersivo mediante simulación física basada en Collision Detection y un sistema de partículas compatible con Spatial Audio.
• Integración de estructura de huesos: para resolver el problema de las diferentes estructuras de huesos entre Mixamo (65) y Apple ARBody (91), se adoptó un método de intercambio de modelos riggeados según la situación.

Más que una simple herramienta de registro, este proyecto explora las distintas posibilidades de RealityKit.

👉 App Store

[ffdd270]

Me parece muy impresionante. No le había prestado atención a esa librería, pero gracias a tu artículo, tan bien organizado, tuve la oportunidad de ampliar un poco más mi perspectiva.