Técnicas para compartir datos mutables entre Rust y Python con PyO3

Conclusión (Conclusion)

Que PyO3 no pueda exponer directamente a Python structs que usan lifetimes de Rust puede parecer una limitación al principio. Sin embargo, la biblioteca estándar de Rust y PyO3 ofrecen herramientas potentes para superar esa limitación. std::mem::take y std::mem::replace permiten manejar con soltura referencias mutables (mutable reference) y valores con propiedad (owned value), mientras que Arc y Mutex son muy útiles para exponer a Python datos mutables compartidos. En particular, MutexExt de PyO3 es una herramienta esencial para evitar deadlocks al usar mutexes junto con Python.

---

Resumen de puntos clave

Este documento explica paso a paso los problemas técnicos encontrados y cómo se resolvieron al compartir datos mutables entre Rust y Python en un proyecto que reimplementa el lenguaje de plantillas de Django en Rust.

• Contexto: El lenguaje de plantillas de Django usa un objeto llamado context para proporcionar datos dinámicos a las plantillas. En la implementación en Rust del proyecto, este context se definió como un struct de Rust, y al renderizar etiquetas de plantilla debe pasarse como una referencia mutable (&mut Context).

• Problema inicial: La referencia mutable (&mut Context) del código Rust debe pasarse a una función de Python para ejecutar etiquetas personalizadas. Sin embargo, Python no entiende los lifetimes de Rust, y PyO3, la biblioteca de integración entre Rust y Python, requiere valores con propiedad (owned value), por lo que pasar la referencia directamente provoca un error de compilación.

• Proceso de solución:

  1. Resolver el problema de propiedad: Se usa std::mem::take para tomar temporalmente la propiedad desde &mut Context y crear un objeto Context con propiedad que pueda pasarse a Python. Después de ejecutar el código Python, se intenta devolver el Context procesado a la ubicación original de la referencia usando std::mem::replace.
  2. Resolver el error de 'Moved Value': Sin embargo, en este proceso aparece un error de compilación de “use of moved value” al intentar reutilizar el objeto Context después de que fue movido (move) a la función de Python. Para resolverlo, se introduce Arc (Atomic Reference Count) para envolver Context. Esto permite pasar a Python una referencia clonada (clone) sin transferir la propiedad.
  3. Manejo cuando Python conserva la referencia: Si Python sigue conservando una referencia a Context, puede fallar la recuperación de la propiedad mediante Arc::try_unwrap. En ese caso, se implementa un método fallback como clone_ref que hace una copia profunda (deep clone) de los datos internos de Context para duplicarlos.
  4. Permitir la modificación de datos desde Python: Finalmente, para que el código Python no solo lea Context sino que también pueda modificarlo, se introduce Mutex. Al usar una estructura Arc<Mutex<Context>>, se garantiza que los datos puedan consultarse y modificarse de forma segura desde múltiples hilos. Aquí se utiliza el método lock_py_attached de MutexExt, provisto por PyO3, para evitar deadlocks con el intérprete de Python.