Feedback de Sam Altman y Greg Brockman sobre las afirmaciones de un investigador de Safety en OpenAI

• Agradecimiento por las contribuciones de Jan y explicación de la estrategia

  • Agradecen las contribuciones de Jan y creen que seguirá aportando a la misión desde afuera.
  • Quieren explicar su estrategia respecto a las preguntas que planteó su salida.

• Aumentar la conciencia sobre los riesgos y oportunidades de la AGI

  • Buscan aumentar la conciencia sobre los riesgos y oportunidades de la AGI para que el mundo pueda estar mejor preparado.
  • Han demostrado en repetidas ocasiones la escalabilidad del deep learning y han analizado sus implicaciones.
  • Han pedido gobernanza internacional para la AGI, un tema que en ese momento no era popular.
  • Fueron pioneros en la ciencia de evaluación de riesgos catastróficos en sistemas de IA.

• Sentar las bases para desplegar sistemas seguros

  • Están sentando las bases para el despliegue seguro de sistemas cada vez más capaces.
  • Hacer segura una nueva tecnología por primera vez no es algo sencillo.
  • Realizaron mucho trabajo para presentar GPT-4 al mundo de forma segura.
  • Siguen mejorando continuamente el comportamiento del modelo y el monitoreo de abusos con base en las lecciones aprendidas del despliegue.

• Desafíos a futuro

  • El futuro será más difícil que el pasado.
  • Deben seguir elevando el trabajo de seguridad de acuerdo con la importancia de los nuevos modelos.
  • Lo han sistematizado mediante el Preparedness Framework introducido el año pasado.

• Visión del futuro

  • Esperan que, a medida que los modelos se vuelvan más poderosos, se integren más profundamente en el mundo.
  • Los usuarios ya no interactuarán solo con un único modelo y entradas y salidas de texto, sino con sistemas compuestos por múltiples modelos multimodales y herramientas.

• Desarrollo de sistemas seguros y beneficiosos

  • Creen que estos sistemas serán muy beneficiosos y útiles para las personas, y que podrán ofrecerlos de forma segura.
  • Para lograrlo, hace falta mucho trabajo de base.
  • Esto incluye considerar cuidadosamente con qué cosas se conectan durante el entrenamiento y encontrar soluciones a problemas difíciles como la supervisión escalable.
  • Aún no saben cuándo alcanzarán el nivel de seguridad de lanzamiento mientras construyen en esa dirección, pero está bien si el calendario de lanzamiento se retrasa.

• Bucles de retroalimentación y pruebas exhaustivas

  • Reconocen que no pueden imaginar todos los escenarios futuros posibles.
  • Se necesitan bucles de retroalimentación muy estrechos, pruebas exhaustivas, consideración cuidadosa en cada etapa, seguridad de clase mundial y un equilibrio entre seguridad y capacidad.
  • Seguirán realizando investigación de seguridad en distintos horizontes temporales.
  • Mantienen la colaboración con gobiernos y diversas partes interesadas.

• Comprensión del camino hacia la AGI

  • No existe un manual probado para recorrer el camino hacia la AGI.
  • La comprensión empírica ayudará a orientar cómo avanzar.
  • Están trabajando para ofrecer enormes beneficios mientras mitigan riesgos serios.
  • Se toman su papel muy en serio y revisan cuidadosamente el feedback sobre sus acciones.

[GN⁺]

Opinión de Hacker News

Resumen de comentarios de Hacker News

• Preocupaciones sobre los riesgos de la IA

  • Hablar de que la IA provocará el fin del mundo hace que se pasen por alto los riesgos reales que ya se están desarrollando.
  • Los estafadores se están volviendo más hábiles al usar IA.
  • La gente se está volviendo cada vez más tonta al confiar ciegamente en resultados erróneos de la IA.
  • La comunicación cotidiana se está desmoronando al copiar/pegar contenido generado por IA en lugar de tener conversaciones reales.
  • La aparición de productos de novia virtual con IA reduce la confianza en el futuro de la humanidad.
  • Los altos ejecutivos de las empresas están realizando despidos masivos para reducir costos y reemplazando personal con chatbots de IA.
  • Existe la preocupación de que la IA no lance armas nucleares, pero sí reemplace los empleos de todos y haga más poderosos a quienes ya tienen poder.

• Mitigación de riesgos en grandes empresas

  • El liderazgo de mitigación de riesgos en grandes empresas debe equilibrar los riesgos legales, de adquisiciones, de TI y otros.
  • Si a la persona encargada de mitigación de riesgos la ignoran repetidamente, al final terminará yéndose.
  • El miedo a eventos de nivel extinción potencial, como AGI, podría estar exagerado.
  • Si se reemplaza AGI por "sin política de BYOD", se parece a casos de startups donde la persona de seguridad insiste en la política y finalmente se va.

• Utilidad y límites de los LLM

  • Los LLM son útiles para tareas básicas, pero todavía no están listos para trabajos más complejos.
  • Las advertencias exageradas sobre la seguridad de la IA podrían ser una estrategia para aumentar la importancia de OpenAI.
  • La era actual de la IA no sería más que fingir que las máquinas pueden pensar.

• Riesgos reales de la IA

  • Los riesgos de la IA no provienen de una entidad superhumana fuera de control, sino de problemas más realistas y cotidianos.
  • Reconocimiento de voz incorrecto al aplicar LLM a la moderación de chats.
  • Conclusiones erróneas en resúmenes de reportes militares.
  • Casos en los que detalles mal reconocidos en noticias terminan aceptándose como hechos históricos.
  • El impacto a largo plazo de estos resultados podría ser tan grande como el uso mismo de los LLM.

• Alineación de IA y ética

  • No hay contenido concreto sobre la alineación de IA.
  • No se sabe cuándo se desarrollará la alineación de IA.
  • La ética de la IA y el sesgo de la IA son problemas distintos de la alineación de IA.
  • Existe el riesgo de que se desarrolle una IA capaz de causar la extinción humana antes de que se logre la alineación de IA.
  • OpenAI no está asignando suficientes recursos a la alineación de IA.

• Desconfianza hacia el lenguaje corporativo

  • Usar nombres como "Sam y Greg" para insinuar cercanía se siente falso.
  • La afirmación de que se hizo mucho trabajo para lanzar GPT-4 de forma segura no resulta creíble.
  • No hay por qué preocuparse por la superalineación antes de definir o probar qué es AGI.
  • El miedo a que AGI destruya a la humanidad surge de la sospecha de que un agente que razona lógicamente concluiría que debe eliminar a la humanidad.
  • El lenguaje corporativo está lleno de expresiones falsas y sin sentido.