Últimamente siento que la calidad de GPT-4 ha bajado notablemente, ¿soy el único?

Comparto una pregunta publicada en HN junto con varias respuestas:

• Ahora es más rápido que antes, pero la calidad de los resultados ha bajado mucho, al punto de sentirse como un GPT-3.5++. Genera código con más bugs y da la impresión de que las respuestas tienen menos profundidad.
• Parece que lo nerfearon, como si le hubieran agregado una capa para clasificar ciertas tareas de programación y por eso responde con cosas inútiles. Por eso cancelé la membresía premium y estoy pensando en buscar opciones del lado de modelos DIY.
• Antes de las actualizaciones resolvía problemas de programación muy complejos y también daba respuestas muy consideradas a preguntas no relacionadas con programación, pero ahora ya no es así. El GPT-4 original parecía magia, pero ahora se siente como un loro probabilístico tonto.
• Da la impresión de que solo entrega respuestas superficiales y te empuja a hacer seguimiento en otro lado.
• En programación claramente está empeorando. Cada vez que sale una versión nueva le pido lo mismo y cada vez responde cosas más raras.
• Para mí todavía está bien, pero ya me cansé de que en todas las respuestas incluya una frase explicando lo complejo que es el mundo. Sí, ya lo sé, no me trates como si fuera un niño.
• Esta es la razón por la que los modelos open source son importantes. Y también por la que existen la regulación y el lobby. Imagina que la gente común use una IA castrada (Neutered) mientras la élite usa un GPT-4 sin filtros.
• Los investigadores que escribieron el paper "Sparks of AGI" señalaron que, mientras más alineaba OpenAI a GPT-4, más bajaban sus capacidades. Parece que esa tendencia sigue.

[wedding]

Siento que, después de tocar fondo una vez, el rendimiento volvió a subir.

Creo que parte de eso también se debe a mejoras en el prompt que estoy usando.

[hhcrux]

Últimamente hice preguntas y respuestas sobre programación, y aunque le corrija los errores sigue repitiendo lo mismo, así que me preguntaba qué le pasaba, pero resulta que no era solo cosa mía.

[botplaysdice]

Parece que la IA generativa de verdad está dando muchísimo de qué hablar. También están saliendo publicaciones de seguimiento...

https://news.ycombinator.com/item?id=36155267

[test4458]

Yo también lo sentí...
La velocidad de respuesta también estaba más lenta y se volvió más tonto.

Últimamente, al darle unas 200 líneas de código, GPT-4 topaba con el límite máximo de entrada,
mientras que GPT-3 sí lo procesaba... ¿?

No sé si se descompuso temporalmente por algún problema de alineación... o si lo nerfearon a propósito...

[noziroh]

Ah, yo también lo sentí. O sea que no era solo yo... Parece que quienes usan GPT todos los santos días lo perciben sutilmente en la piel.

[colus001]

Siento mucho esto al redactar JD; usando el mismo prompt, noté una sutil diferencia de calidad entre lo que escribí hace mes y medio y lo que escribí recientemente. No sé cómo decirlo, quizá se siente como si tuviera menos esmero.

[kuroneko]

Parece que ese GPT-4 con rendimiento increíble que mostraron al principio ya no existe...

[iolothebard]

Al principio, GPT-4 era tan bueno que hasta parecía que había una persona respondiendo detrás (¿Simsimi??)...
La ética da así de miedo.

[cherrycoder]

No es que quiera escuchar respuestas moralistas de GPT, pero da la impresión de que la máquina ahora piensa demasiado en una cosa y otra. Como si pasara demasiado por un filtro de "¿será inmoral responder así?" y por eso sus respuestas terminan volviéndose más extrañas.

[xguru]

Ya hay más de 600 comentarios.

Sobre todo, a mí me molesta un poco que incluso al pedirle lo mismo, los resultados varían demasiado. Y eso que le pongo un temperature bajo.