- Biblioteca de tensores de alto rendimiento y framework de deep learning basado en Rust para cálculo numérico, inferencia de modelos y entrenamiento
- Mantiene el rendimiento de optimización al nivel de los frameworks de grafos estáticos, mientras ofrece flexibilidad dinámica
- Soporte para múltiples backends de GPU/CPU
- GPU: CUDA, ROCm, Metal, Vulkan, WebGPU, LibTorch, Candle, etc.
- CPU: basado en CubeCL, NdArray, Candle y LibTorch
- También puede funcionar en entornos Wasm y no_std
- Diseñado alrededor del trait Backend, con una arquitectura de backends intercambiables para distintos entornos de hardware y runtime
- Decorador de backend Autodiff: agrega diferenciación automática a cualquier backend
- Decorador de backend Fusion: funcionalidad de fusión de kernels
- Backend Router: soporta distribución de operaciones entre múltiples tipos de hardware como CPU y GPU
- Backend Remote: permite operaciones distribuidas y ejecución remota a través de la red
- Soporte integral para todo el proceso de entrenamiento e inferencia
- Monitoreo de entrenamiento en tiempo real con un dashboard de terminal basado en Ratatui
- Puede desplegarse con el mismo código desde dispositivos embebidos hasta grandes clústeres de GPU
- Soporta reutilizar modelos existentes mediante importación de modelos de PyTorch, Safetensors y ONNX
- Inferencia en navegador basada en WebAssembly y WebGPU
- Soporte para entornos no_std, por lo que puede ejecutarse incluso en dispositivos embebidos sin sistema operativo
- Distribuido bajo licencia dual MIT/Apache 2.0
2 comentarios
Me pregunto qué tal será el rendimiento en comparación con PyTorch.
Rust, Wasm y WebGPU, nombres que da gusto ver.