Reseña tras una semana usando Gemini Pro 1.5: realmente es fantástico

• Gemini Pro 1.5, el nuevo LLM en beta privada de Google, muestra un rendimiento muy superior al de los modelos anteriores
• Gemini 1.5 Pro
  • lee una novela completa y describe en detalle una escena oculta en la mitad
  • lee una base de código completa y sugiere dónde agregar una nueva función y código de ejemplo
  • lee todos los highlights de lectura en Readwise y selecciona los destacados para escribir un ensayo
• Puede procesar hasta 1 millón de tokens con un solo prompt
  • comparado con otros modelos, la ventana de contexto de Gemini Pro 1.5 es mucho mayor (GPT-4 Turbo tiene 128000, así que es aproximadamente 8 veces más grande)
  • incluso usando una ventana de contexto grande, maneja muy bien prompts de gran tamaño
  • mientras que otros modelos pierden rendimiento a medida que crece el tamaño del prompt, Gemini no tiene ese problema
• Puntos a tener en cuenta
  • Gemini Pro 1.5 sigue en beta privada, y su rendimiento podría cambiar cuando se publique
  • Gemini Pro 1.5 es lento al procesar, especialmente en solicitudes grandes
  • OpenAI tiene terreno por recuperar, y la capacidad de recuperación de información sigue siendo importante

[dahada]

Pegué una novela y probé conversar sobre ella, pero si aparece aunque sea una expresión un poco sexual, se niega a procesarla. Incluso bajando el nivel de filtro, sigue habiendo novelas que no acepta. Parece que eligieron la seguridad por encima de la flexibilidad.

[ajh508]

Hasta ahora, cada vez que salía algo hacían muchísimo ruido, pero no creo que haya habido nada que realmente superara a OpenAI..
En lo personal, ojalá salga pronto un LLM que haya reemplazado todos los backbones por Mamba

[xguru]

Opiniones de Hacker News

• Me gusta la idea de darle a la IA el texto completo de un libro. A veces, cuando leo una novela, no recuerdo a los personajes, y me gustaría poder resaltar un nombre en un e-reader para que supiera que voy en la página 85 de Neuromancer y me respondiera sin spoilers. O también sería genial tener libros de texto que, cuando te atoras resolviendo un problema, puedan ayudarte y darte pistas como un buen compañero de estudio.
• ¿Se puede tener la certeza de que, por la política identitaria de Google, no va a alterar los hechos de los libros? ¿Ajusta el contenido cuando le das un libro “problemático”? Por eso, para mí es totalmente inútil.
• Un artículo que expone ejemplos concretos de lo que uno querría leer sobre este tema, con equilibrio y advertencias, y que revela sus propios intereses creados (por ejemplo, ser inversionista en 'LlamaIndex').
• Lo que más me entusiasma es ver cómo sería usar una ventana de contexto enorme en combinación con RAG, en lugar de desecharlo. Si puedes parsear un libro completo para identificar las partes relevantes y poner todo el libro en la ventana de contexto, eso significa que también podrías poner en la ventana de contexto las partes relevantes de toda una biblioteca de referencia, y eso es muy prometedor.
• Después de que algunas personas ya tuvieron acceso durante unos días, parece que esto no es solo una mejora en longitud, sino un verdadero avance en el uso del contexto. Lo aprovecha mucho mejor que otros modelos. Es una lástima que no hayan compartido cómo lo hacen posible.
• ¿No sería carísimo hacer eso? Si ya darle a gpt-4 el máximo cuesta $1.28 por una sola interacción. ¿Gemini es mucho más barato que eso?
• En la NSA deben estar frotándose las manos con las posibilidades que esto va a abrir. Podrán usarlo para consultar los datos que han estado almacenando diligentemente durante años.
• Lee una base de código completa, sugiere dónde agregar nuevas funciones e incluso presenta código de ejemplo. Espero que esto no sea como la invención del automóvil, que eliminó el carruaje, sino más bien como la invención de la caja de ritmos, que no hizo desaparecer a los bateristas.
• Estos modelos suelen funcionar distinto (y peor) cuando se lanzan públicamente, y no sabemos qué pasará con Gemini cuando opere a escala de Google. De verdad espero que Google aprenda de la reputación cada vez peor de ChatGPT y encuentre una forma de mantener el mejor rendimiento del modelo. Ya sea limitando el acceso, subiendo el precio, o ambas cosas, quiero tener una experiencia de alta calidad con este modelo cuando se publique.