2 puntos por wedding 13 일 전 | 1 comentarios | Compartir por WhatsApp

Estoy desarrollando un LLM on-device para Android.

Antes usaba whisper.cpp, pero como no tenía aceleración por GPU, sentía la limitación en velocidad.
Tras publicarse LiteRT-LM, y especialmente al aplicarse incluso MTP, consideré que la velocidad era bastante rápida, así que avancé con el trabajo de portabilidad,
y obtuve resultados satisfactorios.

También realicé pruebas de benchmark con varios modelos publicados en la comunidad de LiteRT.

Lo comparto por si a alguien le puede servir.

1 comentarios

 
wedding 10 일 전

Se implementó compatibilidad con Parakeet ASR y se está trabajando en la compatibilidad con Whisper ASR.