Teachable Machine, la plataforma de aprendizaje de IA lanzada en 2017

• Teachable Machine es una herramienta creada para que se puedan hacer modelos de aprendizaje automático directamente en la web, y la primera versión de 2017 también sigue disponible en una página aparte
• Los usuarios pueden ingresar datos de entrenamiento mediante carga de archivos o captura en tiempo real, y también es posible elegir un modo en el que los datos de la webcam o el micrófono no salgan de la computadora
• Los modelos compatibles se dividen en audio basado en imágenes y muestras cortas de sonido, y clasificación de posturas corporales basada en webcam o archivos
• También se ofrecen casos experimentales como integración con Arduino, activación de sonido basada en gestos faciales y un controlador de juegos usando papel y webcam
• Los materiales de clase incluyen AI + Ethics y Ready AI Lesson, y están organizados para abordar tanto el concepto de clasificación en aprendizaje automático como su impacto social

---

Modelos de Teachable Machine creados en la web

• Teachable Machine es una herramienta basada en la web diseñada para crear modelos de aprendizaje automático de forma rápida y sencilla
• La primera versión, lanzada en 2017, puede abrirse en una página separada
  • first version of Teachable Machine from 2017
• Los ejemplos de entrenamiento pueden cargarse de dos maneras
  • Usar archivos
  • Captura en tiempo real
• También puede usarse únicamente en modo on-device para que los datos de la webcam o el micrófono no salgan de la computadora
• Hay tres tipos de modelos que se pueden crear
  • Images: entrenar un modelo de clasificación de imágenes con archivos o webcam
  • Sounds: entrenar un modelo de clasificación de audio grabando muestras cortas de sonido
  • Poses: entrenar un modelo de clasificación de posiciones corporales con archivos o posturas frente a la webcam
• El modelo que reconoce la dirección de inclinación de la cabeza puede seguirse en el tutorial Pose: Head Tilt

Casos experimentales y materiales de clase

• Los casos experimentales creados con Teachable Machine abarcan hardware, accesibilidad e incluso dispositivos de entrada para juegos
  • Tiny Sorter: experimento DIY que conecta Arduino con Teachable Machine
  • Video de Steve Saling: uso de Teachable Machine para nuevas formas de comunicación, como activar sonidos con gestos faciales
  • Teachable Snake: experimento de Vince MingPu Shao que convierte una webcam y papel en un controlador de juegos
• Se pueden ver más proyectos en la página de Experiments con la etiqueta Teachable Machine
• Si tienes algo que quieras compartir, puedes enviar un correo a [e-mail]
• Los materiales educativos también abordan el sesgo en los sistemas algorítmicos y el impacto social del aprendizaje automático
  • AI + Ethics: clase de tecnología K-8 Common Core creada por Blakeley H. Payne del Personal Robots Group de MIT Media Lab, diseñada para que los estudiantes comiencen a comprender el sesgo en los sistemas algorítmicos
  • Ready AI Lesson: clase K-12 para explorar Teachable Machine y aprender sobre aprendizaje automático, clasificación e impacto social
• Las preguntas adicionales pueden consultarse en el FAQ

[GN⁺]

Opiniones de Hacker News

• Buen timing, porque tengo un caso de uso perfecto para un proyecto hobby
  Había revisado la versión anterior, pero era bastante limitada: “El Teachable Machine original solo podía entrenar 3 clases, pero ahora puedes agregar tantas clases como quieras”
  Me pregunto hasta dónde escala esto. Por ejemplo, si son posibles cientos de miles de clases y, si lo son, qué implicaciones tendría
  • v1 era muy limitado, pero muy fácil y ya usaba una forma bastante impresionante de aprendizaje por transferencia
    Por ejemplo, tomaba las salidas vectoriales de 1000 dimensiones que una red preentrenada producía para las imágenes pertenecientes a tres conjuntos y, como el modelo original estaba entrenado con Imagenet, luego usaba K-vecinos más cercanos para predecir a qué conjunto pertenecía una imagen “nueva”
    v2 sí ajusta finamente los pesos de una red preentrenada. En ese momento fue un buen ejemplo de lo rápido que estaban avanzando las bibliotecas de machine learning en JavaScript
• Encontré un video antiguo sobre Teachable Machine de hace 6 años
  https://www.youtube.com/watch?v=3BhkeY974Rg&ab_channel=Googl...
  Y en 2019 Google presentó v2: https://blog.google/technology/ai/teachable-machine/
  Lo que puede hacer es limitado, así que está bien como punto de partida para principiantes, pero no estoy seguro de que la plataforma se esté desarrollando rápidamente
• Genial. Perfecto como actividad para hacer con los niños en un día de nieve
• Investigué bastante MediaPipe[1], pero nunca había oído hablar de Teachable Machine
  Parecen pensados para usarse juntos, así que me pregunto si están relacionados
  Me alegra que Google invierta en más casos de uso de machine learning en el edge, especialmente en el navegador. Si no conoces MediaPipe y esto te llamó la atención, vale mucho la pena revisarlo. Se usa bastante en la comunidad de VTubing, y su implementación de seguimiento de poses de cuerpo, rostro y manos basada en BlazePose funciona muy bien
  1: https://developers.google.com/mediapipe
• Como referencia, este no es un proyecto nuevo. Hay una discusión en HN de hace 6 años: https://news.ycombinator.com/item?id=15399132
  • En el enlace nuevo dice “primera versión en 2017”, así que parece que Google ve este lanzamiento como la versión 2
• También se discutió en su momento
  Teachable Machine: enseñarle a una máquina usando la cámara en tiempo real desde el navegador - https://news.ycombinator.com/item?id=15399132 - octubre de 2017, 90 comentarios
• Fue un intento interesante de rediseño de hace algunos años
  https://fairpixels.pro/work1/index.html
• Me parece que esto es básicamente parecido a lo que hace un LLM multimodal. Como puede entender, puede hacer cualquier cosa al vuelo
  ¿Cuál sería la diferencia aquí?
  • Este es un modelo de menor escala que puedes exportar y ejecutar en cualquier lugar
    Incluso el LLM multimodal más pequeño probablemente sería mucho más grande que el modelo exportado desde aquí
  • La clave es la parte de “enseñar”. No se trata de usar un modelo ya entrenado para inferencia, sino de entrenar el modelo, en este caso de hacerle tuning
    Proporcionas datos nuevos y esos datos se usan para actualizar el modelo. Si solo haces inferencia con un modelo multimodal existente, la forma de clasificar en sí no cambia en absoluto
  • Esto parece más cercano a ajustar finamente un modelo existente para que reconozca las características que quieres, y hacerlo lo suficientemente ligero como para correr localmente en el navegador
• ¿Habrá alguna alternativa open source que se pueda autoalojar y sea similar a esto?
  • Esto se puede autoalojar
    Se ejecuta localmente en el navegador, sin enviar los datos de entrenamiento a ningún servidor
    Eso es así salvo que elijas guardarlo en Google Drive; y si decides alojar el modelo en Google, Google recibe una copia de los pesos, pero aun así no ve los datos de entrenamiento
    O también puedes alojarlo por tu cuenta con tensorflow.js
    Puedes descargar tanto los datos de entrenamiento como los pesos en un archivo zip, y entonces Google no ve nada de eso
    Si necesitas el código fuente, está aquí -> https://github.com/googlecreativelab/teachablemachine-commun...