Logran 78% de precisión en MNIST usando GZIP con menos de 10 líneas de código

• Artículo sobre lograr 78% de precisión en el dataset MNIST usando GZIP con menos de 10 líneas de código
• El autor enfatiza que la novedad de esta publicación no es alcanzar resultados de vanguardia, sino mostrar el potencial de la compresión como una herramienta de clasificación única y sin modelo
• El código proporcionado usa GZIP y NCD (Normalized Compression Distance) como métrica de similitud, y usa k-NN (k-Nearest Neighbors) para la clasificación
• GZIP se usa como una herramienta para medir la complejidad o el contenido de información de puntos de datos individuales, y NCD proporciona una medida normalizada de qué tan similares son dos puntos de datos
• El algoritmo calcula la NCD con todas las muestras de entrenamiento, las ordena y selecciona las k distancias más pequeñas. Entre estos k=5 vecinos más cercanos, la clase mayoritaria se predice como la etiqueta de la muestra de prueba
• El autor reconoce que este enfoque es computacionalmente costoso y que solo se usó una parte de las imágenes de prueba para medir la precisión
• El autor también ofrece una versión menos ocultada del algoritmo para facilitar su comprensión
• El autor menciona un enfoque similar tomado por Andreas Kirsch en 2019, que logró aproximadamente 35% de precisión
• El autor llegó a usar compresión como mecanismo de clasificación de imágenes después de leer una publicación sobre generación de texto a partir de compresión de datos y un artículo sobre clasificación de texto sin parámetros
• El autor había trabajado previamente en compresión de imágenes para visión por computadora en el edge y le interesaba aplicar esta técnica al dataset MNIST

[GN⁺]

Opinión de Hacker News

• Artículo sobre lograr 78% de precisión en el dataset MNIST usando GZIP con menos de 10 líneas de código
• Quienes comentaron probaron reemplazar la función de distancia en el código por métricas más simples, lo que mejoró la precisión y redujo los requisitos computacionales
  • La distancia euclidiana logró 93% de precisión en unos 0.5 segundos después de binarizar las imágenes
  • La distancia de Jaccard logró 94% de precisión en unos 0.7 segundos después de binarizar las imágenes
  • La disimilitud de Dice logró 94% de precisión en unos 0.8 segundos después de binarizar las imágenes
• Otras técnicas para comparar muestran que Linear SVC alcanza 92% de precisión, SVC rbf 96.4%, SVC poly 94.5%, regresión logística 89% y Naive Bayes 81%
• Quienes comentaron sugieren que, aunque el código sea elegante y conciso, 78% de precisión para MNIST se considera bajo, y que un modelo básico escrito con Tensorflow puede alcanzar fácilmente 90%
• Los mejores modelos para MNIST están clasificados con una precisión de 99.87%
• Algunas personas en los comentarios sugieren que reemplazar la distancia de compresión normalizada (NCD) por distancia euclidiana puede aumentar la precisión de prueba en 15% y ahorrar mucho cálculo
• Algunas personas en los comentarios sugieren que el dataset MNIST debería retirarse, porque se ha vuelto relativamente fácil lograr alta precisión sobre él
• Hay discusión sobre el potencial de encontrar patrones en datos altamente comprimidos para lograr una mejor compresión
• Algunas personas en los comentarios están interesadas en medidas de distancia de información para compresores de propósito general y modelos de lenguaje alternativos
• Una persona comentó sobre usar un mecanismo de atención que combine distancia de compresión normalizada (gzip) junto con convolución discreta entre secuencias candidatas