speculative_decoding.c: código C de speculative decoding escrito sobre la base de llama2.c
(github.com/mscheong01)Es un código simple de inferencia de speculative decoding implementado en C.
Lo escribí como un código sencillo con fines educativos, al igual que llama2.c, que tomé como base.
Lo siguiente que planeo hacer es implementar algunos artículos más recientes.
Aún no hay comentarios.