Cada vez que Karpathy deja una empresa, siento que el campo da un salto porque crea excelentes materiales educativos en su tiempo libre.
¿Hay ejemplos? No estoy tan familiarizado con este campo.
Sí, esta vez ojalá salga mucho contenido relacionado con código abierto.
Karpathy es un profesor realmente excelente. Tomé su clase de visión por computadora, y me gustaría que enseñara más y se tomara ese trabajo en serio.
Que sea un influencer popular de IA no significa que sea un buen investigador; y, de hecho, parece tener una fuerte correlación negativa con ser un buen líder de negocio o fundador.
Ojalá vuelva con calma a ese arte perdido, tan necesario hoy, de explicar cosas complejas con elegancia, y no se desvíe demasiado hacia perder el tiempo con los estafadores de Silicon Valley.
Cuanto más lo pienso, que tus tuits lleguen directo a la portada de Hacker News debe afectar bastante a una persona. Por su nombre e influencia le llueven propuestas y oportunidades, pero eso no necesariamente significa que sean los puestos que mejor le quedan.
Ojalá el conocimiento se recompensara adecuadamente. YouTube parece ser lo más cercano, pero también muestra cuánto tiempo tienen que dedicar los educadores de YouTube a atraer vistas en lugar de enseñar su especialidad.
Que por nombre e influencia te lluevan propuestas que quizá no coinciden con tu ajuste real es triste, pero parece una versión condensada de la vida. Rara vez la persona más adecuada consigue un puesto determinado; puede ser descartada por estar sobrecalificada, eliminada en la etapa de RR. HH., o rechazada por razones vagas como exigencias de volver a la oficina, rechazo de contraofertas o factores ilegales no explícitos.
Es un juego bastante malo, así que cuesta culpar a quien aprovecha las cartas que le tocaron.
A veces desearía que la docencia como profesión se valorara más. Quiero ganarme la vida enseñando, sin hacer investigación.
Creo que un buen docente se convierte en un gran investigador. Porque debe entender muy bien su campo, anticipar y plantearse las preguntas necesarias, mirar siempre el área con ojos nuevos, colaborar bien y, sobre todo, tener buena capacidad de comunicación.
Un gran educador como Karpathy construye algo desde cero y lo explica de forma que yo pueda entenderlo. Me pregunto si eso depende de la capacidad del instructor, o si estudiantes como yo no tenemos el nivel para entender otros materiales.
Una pequeña corrección: no es “b-lined”, sino bee-lined.
Normalmente no señalo estas cosas, pero “b-lined” podría leerse con el sentido opuesto, como baja prioridad, al estilo de “B-list celebrity”.
Sinceramente, siento que OpenAI está perdiendo brillo rápidamente.
Los plugins fueron un fracaso, los GPTs están un poco mejor pero todavía no se ve un encaje producto-mercado. GPT-4 sigue en el trono, pero ya no domina como antes, y como no publican papers tampoco queda claro si están haciendo buena investigación.
Ahora GPT-5 tiene que ser espectacularmente bueno, pero no sé si realmente lo será.
Sé que este campo se mueve especialmente rápido, pero GPT-4 salió hace menos de un año. Decir que está perdiendo brillo porque no lanzan un modelo nuevo que sacuda el panorama cada trimestre me parece un poco ridículo.
Dado que su popularidad explotó y las cuestiones éticas se volvieron más importantes, quizá necesiten tiempo para pulir bien algunos aspectos en vez de publicar primero a toda costa.
Acabo de probar Gemini Ultra y me sorprendió bastante lo inferior que es frente a GPT-4. Con apenas unas preguntas de programación, alucina cada vez sintaxis nueva que no existe, y pregunta si quiero seguir con la opción A o B, que ni funciona ni existe realmente, convirtiéndose en una pérdida de tiempo rara y frustrante.
Al final, después de pasar una hora intentando al menos obtener un resultado en el lenguaje que pedí, me di cuenta de que era completamente inútil.
Me sorprende que Google esté tan atrasado y que haya lanzado algo tan carente de valor. Y encima que quieran cobrar por eso; qué descaro.
Claro que espero GPT-5, pero incluso con una mejora pequeña OpenAI sigue estando muy por delante.
Los empleados de Google deben de desear que OpenAI desaparezca. Porque OpenAI hace que Google se vea exactamente como una empresa tipo IBM.
La escena graciosa está aquí: https://twitter.com/Suhail/status/1757573182138290284
Si ejecutas el modelo Mistral de 80 GB con Ollama, funciona igual o mejor que ChatGPT 3.5. Creo que es algo bueno para el mundo que la magia ya no sea exclusiva de OpenAI.
Es sorprendente la velocidad con la que los competidores se han puesto al día incluso en los últimos tres meses.
Ojalá OpenAI esté perdiendo brillo rápidamente.
No sé en absoluto qué pasa realmente dentro de esa empresa, pero el comportamiento que mostraron sus empleados en Twitter cuando Altman fue expulsado fue realmente aterrador, lleno de señales de alerta y mala vibra.
Puede ser una opinión impopular, pero creo que la reputación y la influencia de Karpathy provienen casi por completo de ser un educador y comunicador excepcional.
No tengo claro hasta qué punto, en comparación con esa reputación, fueron sus contribuciones reales para empujar la IA hacia adelante.
Aprecio profundamente su contenido educativo, y me alegra que gracias a eso haya podido ganar influencia y sostener su carrera. Ojalá eso le permita hacerse lo bastante rico como para enfocarse 100% en la educación.
No estoy de acuerdo. Creo que muchas veces se subestima el valor de los buenos materiales educativos. Karpathy le dio vida a un campo de IA lleno de explicaciones matemáticas excesivamente complejas y densas.
Por ejemplo, CS 231 fue una de las clases de IA/ML más populares en Stanford. Si pensamos en la cantidad de estudiantes que tomaron esa clase alrededor de 2015-2017 y luego crecieron dentro de la IA, no es exagerado decir que una parte considerable del mérito le corresponde a ese curso.
Un profesor que guía paso a paso y muestra lo simple que puede llegar a ser algo es tremendamente valioso. Cumple un papel clave en bajar la barrera de entrada al campo.
A largo plazo, la nueva gente que entró a la IA gracias a materiales como los de Karpathy logrará grandes avances. Su “Hacker's Guide to Neural Networks” tiene casi 10 años, pero aun así me dio el momento de “ajá” más claro para entender la retropropagación.
La educación y la comunicación son importantes. Atraen gente nueva al campo y también hacen crecer a quienes ya están en él; ambas cosas son esenciales para el crecimiento y el progreso a largo plazo.
Llamar “contribuciones reales” solo a las actividades no educativas minimiza por completo el papel que desempeñan los grandes educadores en la marcha del progreso. ¿Dónde estaríamos ahora sin esa educación?
Él sí contribuyó a empujar la IA hacia adelante. Ni siquiera hace falta ponerle el calificativo de “real”. Perder a un gran educador debería verse como algo tan lamentable como perder a un gran ingeniero.
Karpathy hizo investigación pionera en image captioning y alineó espacios semánticos visuales y textuales. Eso es una base conceptual de los generadores de imágenes modernos.
También hizo un análisis excelente de las redes neuronales recurrentes, y fue una de las primeras y mejores explicaciones de qué ocurre dentro de los modelos de lenguaje.
La sección de comentarios de Hacker News es uno de los foros imaginables con menos legitimidad para evaluar públicamente el currículum de alguien. Tal vez el Congreso, quién sabe.
Dijo: “Mi plan inmediato es trabajar en proyectos personales y ver qué pasa. Quienes me han seguido durante mucho tiempo tendrán una idea de cómo podría verse eso”. ¿Alguien aquí sabe a qué se refiere?
Creo que se refiere a su serie de YouTube. Tengo ganas de verla.
En su perfil anterior decía que estaba creando JARVIS en OpenAI.
En su serie de videos estaba creando una versión pequeña y eficiente de GPT-3.
Se puede ver en GitHub: https://github.com/karpathy
También le interesa el tema de los modelos open source y está en /r/localllama.
Con su habilidad para contar historias y resolver cubos, seguro también le iría bastante bien en fiestas infantiles. Además puede enseñar y construir cosas. ¿Todavía no ha escalado el Everest?
Muy de acuerdo. Fue un cuento excelente. Me gustaría verlo algún día en una forma más desarrollada.
¿Será que quiere dedicarse de lleno a su canal de YouTube? Me entusiasma. Su contenido es realmente excelente.
Yo también lo espero con ganas. Hace unos 8 años, las miniaturas en Python para redes neuronales recurrentes que publicó, como char-rnn, me ayudaron muchísimo a aprender.
Creo que hacer eso sería renunciar a millones de dólares. Claro, probablemente esté en una buena situación y pueda jubilarse temprano, pero aun así millones de dólares son mucho dinero.
Ese artículo tiene un paywall fuerte, así que voy a fusionar esos comentarios aquí. Denme un momento.
Viendo su tuit fijado, “el nuevo lenguaje de programación más candente es el inglés”, el mensaje del final, “quienes me conocen saben qué voy a hacer ;)”, parece insinuar algún tipo de herramienta para desarrolladores.
A un visionario tecnológico le quedaría bien, y parece que un hacker al final no puede resistirse a crear herramientas para mejorarse a sí mismo.
¿Alguien tiene mejor información que mi especulación ociosa?
Será YouTuber de tiempo completo.
Ha especulado algunas veces sobre un sistema operativo basado en LLM. Si fuera eso, sería genial.
1 comentarios
Opiniones de Hacker News
Cada vez que Karpathy deja una empresa, siento que el campo da un salto porque crea excelentes materiales educativos en su tiempo libre.
Karpathy es un profesor realmente excelente. Tomé su clase de visión por computadora, y me gustaría que enseñara más y se tomara ese trabajo en serio.
Que sea un influencer popular de IA no significa que sea un buen investigador; y, de hecho, parece tener una fuerte correlación negativa con ser un buen líder de negocio o fundador.
Ojalá vuelva con calma a ese arte perdido, tan necesario hoy, de explicar cosas complejas con elegancia, y no se desvíe demasiado hacia perder el tiempo con los estafadores de Silicon Valley.
Cuanto más lo pienso, que tus tuits lleguen directo a la portada de Hacker News debe afectar bastante a una persona. Por su nombre e influencia le llueven propuestas y oportunidades, pero eso no necesariamente significa que sean los puestos que mejor le quedan.
Que por nombre e influencia te lluevan propuestas que quizá no coinciden con tu ajuste real es triste, pero parece una versión condensada de la vida. Rara vez la persona más adecuada consigue un puesto determinado; puede ser descartada por estar sobrecalificada, eliminada en la etapa de RR. HH., o rechazada por razones vagas como exigencias de volver a la oficina, rechazo de contraofertas o factores ilegales no explícitos.
Es un juego bastante malo, así que cuesta culpar a quien aprovecha las cartas que le tocaron.
Normalmente no señalo estas cosas, pero “b-lined” podría leerse con el sentido opuesto, como baja prioridad, al estilo de “B-list celebrity”.
Sinceramente, siento que OpenAI está perdiendo brillo rápidamente.
Los plugins fueron un fracaso, los GPTs están un poco mejor pero todavía no se ve un encaje producto-mercado. GPT-4 sigue en el trono, pero ya no domina como antes, y como no publican papers tampoco queda claro si están haciendo buena investigación.
Ahora GPT-5 tiene que ser espectacularmente bueno, pero no sé si realmente lo será.
Dado que su popularidad explotó y las cuestiones éticas se volvieron más importantes, quizá necesiten tiempo para pulir bien algunos aspectos en vez de publicar primero a toda costa.
Al final, después de pasar una hora intentando al menos obtener un resultado en el lenguaje que pedí, me di cuenta de que era completamente inútil.
Me sorprende que Google esté tan atrasado y que haya lanzado algo tan carente de valor. Y encima que quieran cobrar por eso; qué descaro.
Claro que espero GPT-5, pero incluso con una mejora pequeña OpenAI sigue estando muy por delante.
La escena graciosa está aquí: https://twitter.com/Suhail/status/1757573182138290284
Es sorprendente la velocidad con la que los competidores se han puesto al día incluso en los últimos tres meses.
No sé en absoluto qué pasa realmente dentro de esa empresa, pero el comportamiento que mostraron sus empleados en Twitter cuando Altman fue expulsado fue realmente aterrador, lleno de señales de alerta y mala vibra.
Puede ser una opinión impopular, pero creo que la reputación y la influencia de Karpathy provienen casi por completo de ser un educador y comunicador excepcional.
No tengo claro hasta qué punto, en comparación con esa reputación, fueron sus contribuciones reales para empujar la IA hacia adelante.
Aprecio profundamente su contenido educativo, y me alegra que gracias a eso haya podido ganar influencia y sostener su carrera. Ojalá eso le permita hacerse lo bastante rico como para enfocarse 100% en la educación.
Ese artículo inspiró a Alec Radford, de OpenAI, a trabajar en Unsupervised sentiment neuron: https://openai.com/research/unsupervised-sentiment-neuron
OpenAI decidió ver qué pasaba si escalaba ese modelo aprovechando la nueva arquitectura Transformer creada por Google, y terminó creando algo llamado GPT: https://cdn.openai.com/research-covers/language-unsupervised...
Por ejemplo, CS 231 fue una de las clases de IA/ML más populares en Stanford. Si pensamos en la cantidad de estudiantes que tomaron esa clase alrededor de 2015-2017 y luego crecieron dentro de la IA, no es exagerado decir que una parte considerable del mérito le corresponde a ese curso.
Un profesor que guía paso a paso y muestra lo simple que puede llegar a ser algo es tremendamente valioso. Cumple un papel clave en bajar la barrera de entrada al campo.
A largo plazo, la nueva gente que entró a la IA gracias a materiales como los de Karpathy logrará grandes avances. Su “Hacker's Guide to Neural Networks” tiene casi 10 años, pero aun así me dio el momento de “ajá” más claro para entender la retropropagación.
Llamar “contribuciones reales” solo a las actividades no educativas minimiza por completo el papel que desempeñan los grandes educadores en la marcha del progreso. ¿Dónde estaríamos ahora sin esa educación?
Él sí contribuyó a empujar la IA hacia adelante. Ni siquiera hace falta ponerle el calificativo de “real”. Perder a un gran educador debería verse como algo tan lamentable como perder a un gran ingeniero.
También hizo un análisis excelente de las redes neuronales recurrentes, y fue una de las primeras y mejores explicaciones de qué ocurre dentro de los modelos de lenguaje.
Dijo: “Mi plan inmediato es trabajar en proyectos personales y ver qué pasa. Quienes me han seguido durante mucho tiempo tendrán una idea de cómo podría verse eso”. ¿Alguien aquí sabe a qué se refiere?
Se puede ver en GitHub: https://github.com/karpathy
Ojalá escriba más ficción en su tiempo libre. Me encantó https://karpathy.github.io/2015/11/14/ai/
¿Será que quiere dedicarse de lleno a su canal de YouTube? Me entusiasma. Su contenido es realmente excelente.
Parece que volvió a unirse a OpenAI casi exactamente hace un año: https://twitter.com/karpathy/status/1623476659369443328
Artículo relacionado: “Andrej Karpathy Departs OpenAI”[0] (159 puntos, hace 2 horas, 71 comentarios)
[0]: https://news.ycombinator.com/item?id=39365288
Viendo su tuit fijado, “el nuevo lenguaje de programación más candente es el inglés”, el mensaje del final, “quienes me conocen saben qué voy a hacer ;)”, parece insinuar algún tipo de herramienta para desarrolladores.
A un visionario tecnológico le quedaría bien, y parece que un hacker al final no puede resistirse a crear herramientas para mejorarse a sí mismo.
¿Alguien tiene mejor información que mi especulación ociosa?