Automatizamos el 'bullshit'

Debate sobre la IA

• El debate sobre la IA comenzó con una pregunta sobre la importancia de la IA en África.
• El interés por el futuro de la IA ha aumentado recientemente, ya que el presidente de Estados Unidos y el primer ministro del Reino Unido han emitido órdenes ejecutivas y celebrado cumbres sobre la IA.
• Se plantea el problema de que la IA en realidad genera 'bullshit' basado en texto predictivo, y no en lógica o hechos.

Cómo funciona la IA

• Rodney Brooks, profesor de IA en el MIT, resume que ChatGPT "produce cosas que suenan bien".
• "Cosas que suenan bien" se refiere a un algoritmo que imita textos encontrados en internet, y "produce" implica una aleatoriedad básica basada en texto predictivo.
• Otros investigadores líderes en IA también han expresado opiniones similares, y esto se explica con más detalle técnico en artículos como 'stochastic parrots'.

IA y verdad

• Geoffrey Hinton, considerado el "padrino" de la IA, advierte sobre el riesgo de que los chatbots generen texto persuasivo más que inteligente.
• En un mundo donde la evidencia y la lógica no son respetadas, existe la preocupación de que sistemas que operan sin evidencia ni lógica puedan convertirse en dominantes a través de la persuasión.
• En 'On Bullshit', el filósofo Harry Frankfurt explica el 'bullshit' como algo que no rechaza la autoridad de la verdad, sino que simplemente la ignora.

IA e impacto social

• ¿Por qué el primer ministro británico quedó impresionado por la IA y por un "generador automatizado de bullshit"?
• El análisis de David Graeber en 'Bullshit Jobs' revela la verdadera naturaleza de la IA.
• Más del 30% de los trabajadores británicos creen que su trabajo no aporta ningún valor a la sociedad.
• Parte de la educación universitaria prepara a los jóvenes para adaptarse a procesos burocráticos sin esperar demasiado de la vida.

Entrenamiento de los sistemas de IA

• Los sistemas de IA se entrenan con enormes archivos de 'bullshit' y también con textos que contienen hechos reales, provenientes de Twitter, Facebook, Reddit y otras fuentes.
• ChatGPT no tiene ningún algoritmo que verifique qué parte es verdad, por lo que su salida se define como 'bullshit'.
• Twitter fomenta a políticos a quienes no les interesa si algo es verdad, y los archivos de sus declaraciones pueden usarse para entrenar generadores automáticos de 'bullshit'.

Opinión de GN⁺

• Lo más importante de este texto es que el contenido generado por la IA no se basa en la verdad ni en la lógica, y puede producir 'bullshit' capaz de persuadir a las personas.
• Esto puede afectar la calidad de la conversación social y de la información, y el problema será aún más importante a medida que avance la tecnología de IA.
• Resulta interesante para la gente porque ayuda a entender el posible impacto de la IA en la vida cotidiana y en el mercado laboral, y a prepararse para los cambios que traerá la tecnología.

[GN⁺]

Opiniones de Hacker News

• Resumen del primer comentario:

  • Los LLM (modelos de lenguaje grandes) funcionan con el criterio de "¿parece correcto?", y si uno no es experto, es difícil juzgar si sus respuestas son precisas.
  • Los LLM son herramientas útiles para los expertos, ya que en su propio campo pueden evaluar la exactitud de los fragmentos de código que generan.

• Resumen del segundo comentario:

  • ChatGPT fue entrenado con datos de muchas fuentes distintas y genera respuestas sin distinguir entre hechos correctos e información incierta.
  • Los humanos también aprendemos de una forma parecida, así que no se debe confiar ciegamente en la salida de un LLM.

• Resumen del tercer comentario:

  • Las respuestas que da un LLM se parecen a la forma en que, en una conversación humana, se genera el siguiente token predecible.
  • Aunque los LLM aún están en una etapa temprana, muestran una capacidad considerable para resolver problemas mediante el diálogo.

• Resumen del cuarto comentario:

  • Los LLM imitan el lenguaje humano y con ello también imitan la capacidad de razonamiento codificada dentro de su estructura.
  • Los LLM no tienen una memoria precisa, pero esto puede compensarse si se incluye la información necesaria mediante prompts adecuados.

• Resumen del quinto comentario:

  • Los LLM usan un enfoque conversacional para resolver problemas y están aportando innovación a los flujos de trabajo.

• Resumen del sexto comentario:

  • Los LLM son una tecnología especializada en capacidades lingüísticas, y pueden surgir problemas si no se integran con un sistema de razonamiento más amplio o con una base de datos factual.

• Resumen del séptimo comentario:

  • Los LLM a veces pueden dar respuestas inexactas, pero según cómo los use la persona, también pueden aumentar la productividad.

• Resumen del octavo comentario:

  • El lenguaje mismo puede verse como un "bullshit generator" que funciona de manera independiente de la "verdad", y los LLM aprovechan esa característica del lenguaje.

• Resumen del noveno comentario:

  • En francés, la palabra "baratineur" se refiere a alguien que dice lo que el otro quiere oír, sin importar si es verdad o mentira, y podría ser una expresión más adecuada para los LLM.

• Resumen del décimo comentario:

  • Si el código generado por un LLM cumple con los requisitos, entonces no es "bullshit" y puede ser útil en ciertos contextos.