Word2Vec recibió cuatro veredictos de 'rechazo fuerte' en ICLR2013

Estimación eficiente del espacio vectorial de representaciones de palabras

• Los investigadores proponen dos nuevas arquitecturas de modelo para calcular representaciones vectoriales continuas de palabras a partir de conjuntos de datos muy grandes.
• La calidad de estas representaciones se mide en tareas de similitud entre palabras y se compara con varias técnicas basadas en redes neuronales de distintos tipos que previamente habían mostrado el mejor desempeño.
• El equipo observó una mejora significativa en la precisión con un costo computacional mucho menor. Es decir, a partir de un conjunto de datos de 1.6 mil millones de palabras, es posible derivar vectores de alta calidad de 300 dimensiones para un vocabulario de 1 millón de palabras en menos de un día usando una sola CPU.
• También muestran que estos vectores ofrecen un rendimiento de vanguardia en conjuntos de prueba para medir varios tipos de similitud entre palabras.
• Planean publicar este conjunto de prueba para que pueda ser utilizado por la comunidad de investigación.

Opiniones

• Los revisores señalaron que faltaba una motivación clara sobre en qué se diferencia el modelo propuesto de los existentes y por qué sería superior.
• La explicación del modelo es mínima, y resulta difícil determinar en qué se diferencia de trabajos previos.
• Los revisores enfatizaron que el artículo incluye comparaciones inconsistentes entre modelos entrenados con distintos conjuntos de datos y diferentes dimensiones, algo necesario para que las afirmaciones del trabajo resulten convincentes.

Opinión de GN⁺

• Esta investigación propone una nueva técnica para estimar eficientemente vectores de palabras, lo que representa un avance importante en el campo del procesamiento de lenguaje natural.
• El modelo propuesto puede entrenarse mucho más rápido que los complejos modelos de redes neuronales existentes, lo que podría ser útil para investigaciones que trabajan con datos lingüísticos a gran escala.
• El artículo presenta una nueva forma de evaluar la calidad de los vectores de palabras, que podría consolidarse como un estándar para medir la similitud entre palabras en investigaciones futuras.

[GN⁺]

Comentarios de Hacker News

• Se pueden encontrar más detalles sobre word2vec en una publicación de Facebook de Tomas Mikolov.

  • Es interesante y significativo que incluso los expertos cometen errores.
  • Hubo reacciones diversas: algunos, como Geoff Hinton, dijeron "ya lo sabíamos, pero se nos olvidó publicarlo", mientras que Ian Goodfellow se mostró molesto al respecto en Twitter.

• Creo que los revisores hicieron un buen trabajo.

  • La revisión trata sobre la calidad del artículo, no sobre cuánto impacto tendrá en el futuro.
  • No todos los artículos influyentes son realmente buenos.

• El comentario del revisor f5bf es interesante.

  • Los modelos más recientes (GPT, modelos de difusión de imágenes, etc.) tienen la capacidad de jugar con los dobles sentidos de las palabras.
  • Antes se consideraba una característica exclusivamente humana, pero ahora forma parte de la caja de herramientas de los modelos generativos.
  • No está claro si la ambigüedad de word2vec contribuye a esta capacidad de juego de palabras, pero para fines creativos puede ser una característica, mientras que al intentar modelar el espacio semántico como un espacio vectorial estricto podría ser un error.

• Hay quienes opinan que el proceso de revisión no es eficaz para ideas nuevas.

  • Nadie puede dedicar incontables horas a entender algo completamente nuevo.

• La versión inicial del artículo fue rechazada, pero después se hicieron actualizaciones y aclaraciones con base en las revisiones.

  • Esto muestra cómo debería funcionar el proceso de revisión, y que especialmente en trabajos innovadores se necesita más explicación.

• Hay cuatro opiniones de "rechazo fuerte", pero parece que todas provinieron simultáneamente del mismo revisor.

  • Resulta extraño por qué solo aparece la puntuación de ese revisor.

• Me pregunto si quienes expresan opiniones firmes sobre el valor de la revisión por pares realmente han participado en ella como autores, revisores o editores.

  • Hay muchos lugares donde se puede compartir investigación o ideas sin revisión por pares (por ejemplo, arXiv/bioRxiv).

• Se señala que el título es engañoso.

  • Los cuatro "rechazos fuertes" provendrían de un solo autor, posiblemente por un error de openreview.

• El hilo de revisiones se lee como un hilo negativo de Show HN.

  • El artículo recibió al principio algunas preguntas y comentarios negativos, y los autores pidieron a los revisores hacer algunas correcciones.

• En la universidad, alguien creó un sistema simple de corrección de texto y envió un artículo sobre eso, pero fue rechazado por problemas de gramática en inglés.

  • Le pidió retroalimentación a los revisores, pero señalaron como errores ejemplos de "antes/después" que el sistema había corregido.
  • Después de varios intentos, se rindió.