Investigadores de OpenAI enviaron a la junta una carta de advertencia sobre una innovación en IA antes de la destitución del CEO

• Los investigadores de OpenAI enviaron una carta a la junta, cuatro días antes del incidente de Sam Altman, advirtiendo sobre un poderoso descubrimiento en inteligencia artificial
• El contenido de la carta no ha sido confirmado, pero los investigadores señalaron las capacidades de la IA y sus riesgos potenciales

Avances del proyecto Q*

• OpenAI creía internamente haber logrado un avance hacia la inteligencia artificial general (AGI) en un proyecto llamado Q*
• Q* generó grandes expectativas entre los investigadores al mostrar capacidad para resolver problemas de matemáticas de nivel de primaria
• A diferencia de una calculadora, que solo resuelve operaciones limitadas, la AGI tiene capacidad de generalizar, aprender y comprender

SUPERINTELLIGENCE

• Las matemáticas son la frontera del avance de la IA generativa; actualmente la IA es buena para escribir y traducir idiomas al predecir estadísticamente la siguiente palabra
• La capacidad de resolver problemas matemáticos sugiere que la IA podría tener habilidades de razonamiento similares a la inteligencia humana
• Estas capacidades podrían aplicarse a nueva investigación científica

Opinión de GN⁺

• Lo más importante de este artículo es que los investigadores de OpenAI advirtieron a la junta sobre los riesgos potenciales de la IA y el avance del proyecto Q*.
• Este descubrimiento, que parece acercarse un paso más a la inteligencia artificial general (AGI), podría detonar un interesante debate sobre el futuro de la tecnología de IA y su impacto en la humanidad.
• Junto con las posibilidades positivas que puede traer el avance de la IA, también puede servir para aumentar la conciencia sobre sus riesgos potenciales, por lo que es un tema atractivo para la gente.

[cosine20]

Pero, ¿no es esto más bien cuestión de tiempo? Aunque OpenAI, que lo desarrolló primero, retrase su lanzamiento o lo cancele, igual parece que tarde o temprano algo similar va a salir de otras empresas competidoras o de la comunidad de código abierto...

[GN⁺]

Opiniones en Hacker News

• En relación con una teoría publicada en 4chan hace unos días, se menciona que, si una versión fuera declarada oficialmente como AGI (inteligencia artificial general), ya no podría licenciarse a Microsoft y otros con fines de beneficio comercial. A partir de esto, se plantea que Altman no quiere que se la llame AGI, pero que otros miembros de la junta sí.
• Se menciona el hallazgo de que un nuevo modelo llamado Q* pudo resolver cierto nivel de problemas matemáticos usando vastos recursos computacionales. Este modelo logró resolver problemas de matemáticas de nivel de primaria, y los investigadores son muy optimistas sobre el éxito futuro de Q*.
• Hay dos comentarios recientes de Sam Altman relacionados con el descubrimiento de Q*. Uno es un comentario hecho en APEC el 18 de noviembre, y el otro es una publicación en Twitter del 22 de septiembre. Ambos mencionan los avances de OpenAI y momentos de descubrimiento.
• Hay una opinión de que poner límites a la riqueza y al poder individuales es una buena idea. Ya se ha visto a empresas petroleras destruir el planeta por ganancias, y a empresas tecnológicas invadir la privacidad por ganancias, por lo que se plantea la pregunta de qué haría o no haría Sam Altman por dinero.
• Hace aproximadamente un mes, Sam Altman dejó un comentario diciendo que la IA podría producir resultados muy extraños antes de alcanzar una capacidad de persuasión sobrehumana dentro de la inteligencia general. Es posible que la junta, sorprendida por un avance reciente, haya apretado el botón de emergencia, y tener una capacidad de "persuasión sobrehumana" antes de un ciclo electoral podría tener consecuencias enormes si cae en las manos equivocadas.
• Algún día la IA hará el 50% de los trabajos, tomará decisiones importantes, viajaremos en vehículos conducidos por IA y la gente tendrá relaciones románticas con la IA, pero incluso entonces seguiremos discutiendo si lo creado es realmente AGI. La AGI siempre será vista como la siguiente etapa, y un día nos daremos cuenta de que ya habíamos cruzado esa línea hace años.
• Hay contenido que ayuda a explicar por qué la junta de OpenAI no confiaba en Sam Altman y pensaba que hacer explotar la empresa era mejor que seguir explorando esa tecnología.
• Esto encaja mejor con el contenido sobre la carta relacionada con el despido de Sam Altman por parte de la junta: no haber informado un descubrimiento importante y que se enteraran mediante una carta de empleados podría considerarse una falta de franqueza. Además, si se asume un escenario apocalíptico, también surge la pregunta de cuánto tiempo podría mantenerse este secreto sin que cayera en manos de actores maliciosos.
• Hay una opinión de que OpenAI está adoptando un enfoque pionero en su estrategia de marketing. El mensaje sería algo como: "Tenemos una AGI poderosa dentro de este gabinete, y es tan poderosa que no queremos soltarla"; con eso afirman que recibirán dinero de la gente para mantenerla segura.
• Un padre habló con su hijo de 12 años sobre las partes aburridas de las matemáticas, y el niño dijo que el valor absoluto le parecía muy fácil y aburrido. Al escuchar la opinión de su hijo de que usar números complejos podría hacerlo más interesante, el padre se dio cuenta de que entendía que, en el plano complejo, el valor absoluto es la hipotenusa de la parte real y la imaginaria. Ese entendimiento no proviene simplemente de tener un gran tesauro de sinónimos, sino de comprender los mecanismos fundamentales. A partir de eso, se plantea la pregunta de mediante qué proceso un modelo de lenguaje grande podría llegar a una conclusión similar.