- Una empresa cuyo objetivo es crear "Safe Superintelligence (superinteligencia segura)", un producto de sistemas de IA seguros y potentes
- Busca resolver el problema considerando al mismo tiempo la seguridad y el rendimiento, mediante ingeniería innovadora y avances científicos
- Planea mejorar el rendimiento lo más rápido posible, asegurando al mismo tiempo que la seguridad siempre sea la prioridad
- Se enfoca únicamente en SSI para protegerse de la sobrecarga administrativa, los ciclos de producto y las presiones comerciales
- Cofundadores
- Ilya Sutskever: cofundador de OpenAI y ex científico jefe
- Daniel Gross: cofundador de Cue, un motor de búsqueda adquirido por Apple. Después de la adquisición, estuvo a cargo de IA/búsqueda en Apple.
- Principalmente ha invertido en varias startups junto con Nat Friedman, ex CEO de GitHub: Instacart, Coinbase, Airtable, Figma, Notion...
- Daniel Levy: ex líder del equipo de Optimization de OpenAI
1 comentarios
Opiniones en Hacker News
Me alegra que Ilya pueda contribuir al avance de la IA. Pero me pregunto cómo podrá ofrecer una compensación alta, como las empresas con mayores ventajas comerciales. Tal vez pueda encontrar personas motivadas ideológicamente o que ya sean financieramente independientes. También será difícil asegurar suficientes recursos de cómputo cuando otras empresas están invirtiendo decenas de miles de millones para construir enormes centros de datos con GPU.
Entiendo la preocupación de que la "superinteligencia" pueda amenazar a la humanidad. Pero mi preocupación mayor es una situación en la que la "superinteligencia" no escape y, en cambio, ciertos humanos la controlen. Basta ver lo que históricamente han hecho los humanos con gran poder. La carrera armamentista nuclear de la Guerra Fría es un buen ejemplo.
Estoy de acuerdo con la observación de que los incentivos de negocio crean una IA insegura. Los algoritmos de recomendación de redes sociales ya son muy peligrosos para la sociedad y especialmente para los jóvenes. Cuando existen externalidades negativas, el gobierno debe crear regulaciones adecuadas.
El problema de Ilya no es desarrollar una IA segura, sino desarrollar un negocio seguro. Hoy se puede crear una IA segura, pero no sabemos cómo la manejará el siguiente administrador. Si se resuelve el problema de un negocio seguro, se podría eliminar mucho daño social.
Si la superinteligencia puede alcanzarse, soy pesimista respecto a la seguridad. Parece imposible poner en una sandbox a una inteligencia superior a la propia. La superinteligencia podría idear nuevos vectores de ataque. Como en la película "Transcendence", podría hacer cosas casi mágicas mediante nuevos descubrimientos físicos.
Predicción de que el modelo de negocio será un protocolo externo similar a SSL. En una situación donde existen diversos enfoques, sin protocolos y estándares definidos, es poco probable que la "seguridad" se implemente en la capa de producto. Ilya parece ser una persona con la credibilidad y capacidad técnica para llevar eso a cabo.
Parece que Ilya podría recaudar fondos casi ilimitados solo con su nombre. No estoy de acuerdo con la dirección de "no habrá producto hasta tener éxito". La retroalimentación del mundo real será importante para desarrollar superinteligencia. Pero sí estoy de acuerdo en que la superinteligencia es alcanzable.
Hace falta explicar cómo un "enfoque único" elimina los ciclos de producto o la sobrecarga de gestión.
Me pregunto si una superinteligencia segura podrá competir con una superinteligencia sin restricciones. Si otra empresa persigue el mismo objetivo sin dedicar tiempo a la seguridad, dudo que pueda competir.
Vi una entrevista en la que Yann LeCun descartaba la idea de construir una inteligencia "real" usando LLM. Recomienda a los estudiantes de doctorado investigar la siguiente tecnología, no esta. Me pregunto cómo se puede reconciliar eso con lo que Ilya está haciendo ahora. También me pregunto si Ilya planea usar otra tecnología.