Lanzamiento de Phind-70B: un modelo ejecutable 4 veces más rápido que reduce la brecha de calidad de código con GPT-4 Turbo

• Procesa hasta 80 tokens por segundo (GPT-4 Turbo procesa ~20 tokens por segundo)
• Soporta una ventana de 32K tokens
• Basado en el modelo CodeLlama-70B y ajustado adicionalmente con 50B tokens
• Obtuvo 82.3% en HumanEval, superando el 81% de GPT-4 Turbo (gpt-3-0125-preview)
• En CRUXEval de Meta logró 59%, quedando un poco por debajo del 62% de GPT-4
• En generación de código es casi igual a GPT-4 Turbo o incluso lo supera en algunas tareas
• Es menos "perezoso" que GPT-4 Turbo, por lo que no duda en generar ejemplos de código detallados

[cosine20]

Desde que conocí Phind por GeekNews hace como un año, he hecho casi todas mis preguntas de código en Phind. A veces se nota que se pierde un poco, pero igual ya le agarré la maña para preguntar de forma que se pierda menos.

[xguru]

phind - motor de búsqueda de IA generativa para desarrolladores
phind - motor de búsqueda basado en GPT-4 para desarrolladores

[GN⁺]

Comentarios en Hacker News

• Experiencia de uso de Phind

  • He usado Phind casi todos los días durante las últimas 3-4 semanas, y la calidad del código generado es buena y además funciona bien.
  • Tiene más precisión que ChatGPT y apunta en la dirección correcta.
  • ChatGPT se ha vuelto más lento en los últimos más de 2 meses, pero para estudiar un tema ChatGPT es más detallado y explicativo.

• Dudas sobre la evaluación de la calidad del código

  • Resolví un problema para dividir cadenas usando una expresión regular proporcionada por GPT-4, agregué las pruebas unitarias necesarias y pude hacer commit con éxito.
  • El modelo 70B no logró dar una respuesta para este problema incluso después de varios intentos.
  • Cada vez que intento usar un modelo distinto de GPT-4, siento que es una pérdida de tiempo.

• Guía del fundador de Phind

  • Se puede probar gratis el modelo Phind-70B sin iniciar sesión.

• Impresión sobre la velocidad de respuesta y la calidad de Phind

  • La velocidad de respuesta impresiona, pero la calidad no me deja muy satisfecho.
  • GPT-4 termina considerando y manejando solicitudes POST después de algunos intentos, pero Phind se enfoca sobre todo solo en solicitudes GET.

• Un reto divertido para los LLM

  • Se les plantea a los LLM un rompecabezas lógico básico para probar su capacidad de resolverlo.
  • Phind-34B responde de forma especialmente entretenida y a veces cae en un bucle.

• Comparación de la experiencia al escribir un plugin de Wireshark

  • Se comparte una experiencia comparando Phind y ChatGPT al escribir un plugin de Wireshark.

• Consulta sobre la posibilidad de integración con API

  • Se pregunta si la API de Phind puede integrarse con aider.chat, que está optimizado para usar GPT-4 para programar.

• Experiencia de uso de Phind

  • Un usuario que ha usado Phind durante más de un año dice que lo prefiere sobre GPT.
  • Hubo un problema de respuestas repetitivas o de caer en bucle después de hilos largos de preguntas.

• La respuesta de Phind a la traducción de código

  • ChatGPT 3.5/4 a veces traduce por completo archivos Go a C#, mientras que Phind se niega a traducir el código completo.

• Velocidad y rendimiento de Phind-70B

  • Phind-70B es mucho más rápido que GPT-4 Turbo, y esto se logra usando la biblioteca TensorRT-LLM de NVIDIA y GPUs H100.