LiteRT-LM-Unity - Wrapper de Android para Unity de LiteRT-LM
(github.com/Leuconoe)Estoy desarrollando un LLM on-device para Android.
Antes usaba whisper.cpp, pero como no tenía aceleración por GPU, sentía la limitación en velocidad.
Tras publicarse LiteRT-LM, y especialmente al aplicarse incluso MTP, consideré que la velocidad era bastante rápida, así que avancé con el trabajo de portabilidad,
y obtuve resultados satisfactorios.
También realicé pruebas de benchmark con varios modelos publicados en la comunidad de LiteRT.
Lo comparto por si a alguien le puede servir.
1 comentarios
Se implementó compatibilidad con Parakeet ASR y se está trabajando en la compatibilidad con Whisper ASR.