Torchchat - haz posible conversar con LLM en cualquier lugar

• Una base de código pequeña que permite ejecutar PyTorch LLM localmente (servidor, escritorio, móvil)
  • Ejecuta LLM usando Python en aplicaciones propias (C/C++) para escritorio o servidor, y en iOS y Android
• Interacción por línea de comandos con LLM populares como Llama 3/2, Mistral y otros
• Soporte para hardware y sistemas operativos populares: Linux(x86), Mac OS(M1/M2/M3), Android(dispositivos compatibles con XNNPACK), iOS 17+(iPhone 13 Pro+)
• Varios tipos de datos: float32, float16, bfloat16
• Soporte para diversos esquemas de cuantización (Quantization)
• Múltiples modos de ejecución: Python (Eager, compilado) o nativo (AOT Inductor (AOTI), ExecuTorch)