- Todo el mundo ya sabe que Google Bard dio una respuesta incorrecta en un anuncio, pero Bing AI también dio respuestas completamente equivocadas en la demo y nadie se dio cuenta
Aspiradoras para mascotas
- Al buscar
Pet Vacuums, en las desventajas de un producto aparecía que "tiene poca potencia de succión, el cable es corto y hace ruido"
- Fui a ver el artículo de HGTV que daba como fuente de la información, y no decía nada de eso. Incluso ese producto es "inalámbrico". Es una aspiradora portátil "sin cable"
Vida nocturna en México
- Bing armó un itinerario de 5 días para Ciudad de México, así que le pregunté qué hacer por la noche
- Un bar que supuestamente se podía reservar en la web no tiene sitio web
- Un club nocturno supuestamente popular entre los jóvenes no tiene ninguna reseña desde 2014/16. Parece que todo sobre ese lugar fue inventado por la IA
- Un bar que describió como atractivo es el bar gay más antiguo de México. Tiene más de 500 reseñas en Google, pero también llamó la atención que dijera que aún no tenía calificación ni reseñas
- De 5 lugares recomendados, solo 1 era correcto
Resumen de los estados financieros de Gap
- Fue el error más grande de la demo y no me lo esperaba
- Dice que el margen bruto (
Gross Margin) es 37.4%, pero ese es el Unadjusted Gross Margin. El margen bruto ajustado por costos por deterioro es 38.7%
- Dice que el margen operativo es 5.9%, pero ese número no aparece en ninguna parte del documento
- El EPS diluido también aparece como $1.6/$1.75, pero esos números no están en el documento; son $0.71/$0.77
- En la guía de 2022 dice que se espera que las ventas netas crezcan a una tasa baja de dos dígitos, pero en realidad se proyecta una caída de un dígito medio
- O lo sacó de un documento aparte, o se lo inventó por completo
- Lo mismo pasa con la comparación entre Gap y Lululemon
- Los números de Lululemon tampoco coinciden con la fuente
Conclusión
- Bing AI logró captar la atención de los medios, pero no es para nada mejor que Google Bard
- No puedo creer que el equipo de Bing haya grabado esta demo preliminar con información incorrecta
- Aún más sorprendente es que esto haya sido considerado un éxito y que todos se subieran al tren de elogios a Bing AI sin verificar nada bien
- Bing AI no puede extraer cifras correctas de los documentos y, aunque dice tener fuentes, arma la información con total confianza como se le da la gana
- Es un producto que todavía no está listo y que no debería usar nadie que quiera datos precisos
7 comentarios
Yo también, mientras sigo investigando aprendizaje profundo, pienso que los modelos tienen un problema bastante grande de exceso de confianza, y aquí también aparece un problema parecido.
Como inventa las fuentes a su antojo, y eso también pasa mucho con ChatGPT, tenía muchas expectativas con Bard, pero...
Parece que hay que verlo en relación con ChatGPT es el JPEG borroso de la web.
Sí que lograron crear una IA que parece una persona de verdad.
Con ChatGPT pasa exactamente lo mismo. Si no tienes conocimientos especializados, muchas veces da respuestas cuyos errores no notas.
A diferencia de ChatGPT, que por parte de OpenAI deja claramente establecido que no está conectado a internet y, por diseño, a menudo se niega a responder preguntas como la del artículo.
Sí, si no sabe, debería decir que no sabe; parece que no deja de mentir.