Spreadsheets are all you need - Aprende IA con hojas de cálculo

 (spreadsheets-are-all-you-need.ai)
21 puntos por GN⁺ 2024-03-15 | 2 comentarios | Compartir por WhatsApp

Aprende IA con Excel

  • Aprender cómo funciona la IA a través de un LLM real implementado en Excel
  • Implementación del forward pass de GPT-2 usando solo funciones de Excel, sin llamar APIs externas
  • El objetivo es mostrar que si puedes entender una hoja de cálculo, puedes entender la IA
  • Lección 1: Entender GPT con Excel
  • Lección 2: Byte Pair Encoding y tokenización
  • Extra: Analizar en detalle la implementación en Excel (para quienes ya entienden Transformers)
  • Está en formato XLSB (Excel Binary), así que se puede descargar y ejecutar (funciona en Mac/Windows, pero se recomienda Windows)
  • Limitaciones de la implementación
    • Modelo GPT-2 pequeño completo (124M parámetros), incluyendo BPE, atención multi-head y la etapa de perceptrón multicapa
    • Solo permite inferencia/forward pass (sin entrenamiento)
    • El contexto está limitado a una longitud de 10 tokens
    • Límite de 10 caracteres por palabra
    • Solo permite salida con Zero Temperature

FAQ

  • Sobre Google Sheets: este proyecto comenzó en Google Sheets, pero como el modelo completo era demasiado grande, se trasladó a Excel. Aún se sigue explorando cómo hacerlo funcionar en Google Sheets, aunque es probable que no encaje como un solo archivo al estilo de Excel.
  • Por qué no se puede conversar como con ChatGPT: además de la longitud de contexto muy corta, faltan el instruction tuning y el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) para convertirlo en un chatbot conversacional.
  • Origen del nombre: el nombre "Spreadsheets-are-all-you-need" es un juego con el título del famoso artículo "Attention Is All You Need", que fue el primero en describir la arquitectura de aprendizaje automático Transformer.

Opinión de GN⁺

  • Este proyecto contribuye a hacer más accesibles la IA y el aprendizaje automático. Al usar una herramienta familiar como Excel para entender una tecnología compleja, ofrece a personas no especialistas la oportunidad de aprender los principios básicos de la IA.
  • La implementación en Excel es útil para entender visualmente cómo funciona un modelo de IA real, pero no se usa para el desarrollo real de IA. Por lo tanto, aprender IA de esta manera no te convierte en un desarrollador profesional de IA.
  • Herramientas educativas como esta pueden aumentar el interés del público general por la IA y contribuir a la democratización de esta tecnología. Sin embargo, para construir sistemas de IA reales siguen siendo necesarias herramientas y frameworks más especializados.
  • Entre los proyectos similares con fines educativos están Machine Learning Crash Course de Google y el curso Machine Learning del profesor Andrew Ng en Coursera. Estos cursos combinan teoría y práctica para ofrecer un aprendizaje más profundo.
  • Al adoptar esta tecnología, hay que entender que requiere un enfoque distinto al del desarrollo real de modelos de IA. Este proyecto está enfocado en fines educativos, y en proyectos reales de desarrollo de IA lo habitual es usar frameworks especializados como TensorFlow y PyTorch.

Lecturas relacionadas

2 comentarios

 
GN⁺ 2024-03-15
Opiniones de Hacker News

  • Saludo y agradecimiento del creador

    • Creador del proyecto: Gracias por publicar esto; espera responder preguntas o sugerencias y ayudar a que la gente entienda mejor los LLM (Large Language Models). El próximo video trata sobre embeddings y debería estar terminado pronto.

  • Enseñanza de redes neuronales con hojas de cálculo

    • Jeremy Howard: Lleva años enseñando redes neuronales (NNs) con hojas de cálculo, y este método es educativo e intuitivo.

  • Explicar redes neuronales con hojas de cálculo

    • Ahora, en lugar de decir "solo es ajuste de curvas (curve fitting)", puedes explicárselo a tus amigos diciendo "solo es una hoja de cálculo".

  • Compartir enlace de la hoja de cálculo

  • Pregunta sobre la necesidad de RLHF

    • Se plantea la duda de si se puede prescindir del instruction tuning y del aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) necesarios para convertir un modelo de lenguaje grande en un chatbot.

  • Admiración por cómo se implementó GPT-2 en una hoja de cálculo

    • Impresiona cómo se implementó GPT-2 en una hoja de cálculo, y se le pregunta al autor si este proyecto será open source.

  • Posibilidad de implementar GPT-3 o GPT-4 en una hoja de cálculo

    • Hay curiosidad por saber por qué una hoja de cálculo no podría implementar GPT-3 o GPT-4.

  • Un gran proyecto que ayuda a entender los LLM

    • Este proyecto es excelente y se compartió con 7 personas para ayudarles a entender los LLM (Large Language Models).

  • Caso compartido de resolver PDE en Excel

    • Se comparte que existen casos de resolver ecuaciones diferenciales parciales (PDE) en Excel. Ya se conocían la FFT (Fast Fourier Transform) y las funciones especiales, pero esto parece interesante y divertido.

  • Empresa de IA con bancos de inversión como clientes

    • La idea de una empresa de IA que tenga como clientes a bancos de inversión parece muy inteligente.