Tabby: asistente de codificación con IA autohospedado

• Introducción a Tabby

  • Tabby es una alternativa a GitHub Copilot y un asistente de codificación con IA que puede autohospedarse.
  • Tiene una arquitectura independiente que no requiere un DBMS ni servicios en la nube.
  • Puede integrarse fácilmente con la infraestructura existente mediante una interfaz OpenAPI.
  • Es compatible con GPUs de gama de consumo.

• Nuevas funciones

  • 6 de diciembre de 2024: La integración de despliegue con Llamafile y una experiencia de usuario mejorada del Answer Engine se agregarán en Tabby v0.21.0.
  • 10 de noviembre de 2024: El cambio entre varios modelos de chat backend en Answer Engine es compatible en Tabby v0.20.0.
  • 30 de octubre de 2024: Tabby v0.19.0 agrega hilos recientes compartidos en la página principal para aumentar la visibilidad.
  • 9 de julio de 2024: Anuncio de la integración con Codestral.
  • 5 de julio de 2024: Tabby v0.13.0 introduce Answer Engine, que integra datos internos del equipo de desarrollo para ofrecer respuestas confiables.
  • 13 de junio de 2024: VSCode 1.7 ofrece diversas experiencias de chat a lo largo de toda la experiencia de codificación.
  • 10 de junio de 2024: Publicación de una entrada de blog sobre la comprensión mejorada del contexto de código en Tabby.
  • 6 de junio de 2024: Tabby v0.12.0 ofrece integración fluida con Gitlab SSO, GitHub/GitLab autohospedados y más.
  • 22 de mayo de 2024: Tabby VSCode 1.6 ofrece múltiples opciones en el autocompletado en línea y compatibilidad con mensajes de commit generados automáticamente.
  • 11 de mayo de 2024: v0.11.0 ofrece una importante actualización empresarial que incluye integración con GitHub y GitLab, página de actividad y la función Ask Tabby.
  • 22 de abril de 2024: v0.10.0 introduce una nueva pestaña de reportes que ofrece análisis por equipo.
  • 19 de abril de 2024: Tabby integra fragmentos locales relevantes para la finalización de código.
  • 17 de abril de 2024: Las series de modelos CodeGemma y CodeQwen se agregan al registro oficial.
  • 20 de marzo de 2024: v0.9 destaca una interfaz de administración con funciones completas.
  • 23 de diciembre de 2023: Tabby puede desplegarse sin problemas en la nube mediante SkyServe de SkyPilot.
  • 15 de diciembre de 2023: v0.7.0 ofrece gestión de equipos y acceso seguro.
  • 15 de octubre de 2023: La finalización de código basada en RAG se habilita en v0.3.0.
  • 27 de noviembre de 2023: Lanzamiento de v0.6.0.
  • 9 de noviembre de 2023: v0.5.5 incluye rediseño de la UI y mejoras de rendimiento.
  • 24 de octubre de 2023: Actualización importante para los plugins IDE de Tabby en VSCode/Vim/IntelliJ.
  • 4 de octubre de 2023: Los modelos más recientes compatibles con Tabby pueden consultarse en el directorio de modelos.
  • 18 de septiembre de 2023: El soporte de inferencia Metal de Apple M1/M2 se agregó en v0.1.1.
  • 31 de agosto de 2023: Lanzamiento de la primera versión estable de Tabby, v0.0.1.
  • 28 de agosto de 2023: Soporte experimental para CodeLlama 7B.
  • 24 de agosto de 2023: Tabby se registra en JetBrains Marketplace.

• Primeros pasos

  • En la documentación se puede consultar cómo instalarlo, las extensiones para IDE/editor y cómo configurarlo.

• Comunidad

  • Es posible conectarse con TabbyML a través de Twitter/X, LinkedIn y el boletín informativo.

[GN⁺]

Opiniones de Hacker News

• Un usuario mencionó que podría ser un buen producto, pero que el proceso de entrevistas fue terrible. Dijo que pasó por varias entrevistas, pero después de la última dejaron de responderle sin ninguna explicación. Comentó que no recibió noticias durante meses después de escribir una publicación de blog, y que solo obtuvo respuesta tras insistir repetidamente. Añadió que todas las entrevistas fueron en formato de tarea y que invirtió más de 10 horas en total.

• Mencionó que las supuestas alternativas a GitHub Copilot no funcionan en VS2022. Dijo que quiere un asistente de IA autoalojado que pueda usar en VS2022. Cuestionó por qué no existen alternativas si VS2022 sí admite plugins.

• Comentó que la demo para completar la función findMaxElement en la página principal parece un ejemplo actual o futuro. Dijo que las 6 líneas de código Python sugeridas podrían reemplazarse por return max(arr). Evaluó el código propuesto como de nivel principiante. Le preocupa que quienes usan el autocompletado a ciegas se estanquen técnicamente. Señaló que quizá sirva para ganar story points, pero cuestionó si eso realmente mejora las habilidades.

• Mencionó que nunca imaginó ver el proyecto Tabby en la portada de HN. Dijo que Tabby ha avanzado bastante desde su lanzamiento y se ha convertido en una plataforma integral de IA para desarrolladores, con funciones de autocompletado de código y chat con la base de código. Comentó que descubrió Tabby como la única plataforma que ofrece una experiencia de onboarding autoatendida. También dijo que el rendimiento está a la altura de otras opciones del mercado. Recomendó probarlo si da curiosidad.

• Un usuario que no está familiarizado con la IA local comentó que le gustaría probar Tabby. Se preguntó cómo se compara “run tabby in 1 minute” con el 4o-mini gratuito de ChatGPT. Preguntó si en una MacBook Pro de gama media puede ejecutar el comando de Docker y obtener una IA rápida y competente. Mencionó que la potencia de cómputo de los M1/M2 es limitada y que probablemente solo sea adecuada para uso personal. Recomendó considerar hosting con Docker junto con CUDA o ROCm si se necesita una instancia compartida para un equipo.

• Mencionó que en la Community Edition no se puede desactivar la telemetría del IDE/las extensiones. Se preguntó qué datos incluye esa telemetría.

• Comentó que todos los ejemplos son código que se puede encontrar en bibliotecas. Dijo que parte del código tiene una calidad cuestionable. Le preocupa que los LLMs puedan convertirse en bots de spam para las bases de código.

• Mencionó que le gusta la idea de no enviar datos a grandes empresas y poder confiar en los TOS. Dijo que la efectividad de un asistente de programación es proporcional a la longitud del contexto, y que los modelos abiertos que pueden ejecutarse en una computadora suelen ser más pequeños. Le gustaría ver material que cuantifique su utilidad en bases de código más complejas.

• Mencionó que en su trabajo están investigando soluciones de IA autoalojadas. Se preguntó cómo gana dinero esta empresa. Dijo que hay opciones gratuitas/community/open source, y preguntó cómo se monitorea eso de “hasta 5 usuarios”. También se preguntó qué ocurre si hay más de 5 usuarios.

• Mencionó que Tabby solo admite el uso de una sola GPU. Dijo que, para usar varias GPU, hay que iniciar varias instancias de Tabby y configurar CUDA_VISIBLE_DEVICES o HIP_VISIBLE_DEVICES. Preguntó si no se admite usar dos GPU conectadas por NVLink, o si la situación es distinta porque NVLink hace que ambas GPU se traten como una sola.