Investigación interesante: Resulta interesante porque apareció rápidamente después de la presentación de Anthropic, "Mapping the Mind of a Large Language Model". Mucha gente todavía dice que "no sabemos cómo funcionan los LLMs/el aprendizaje profundo", pero estudios como este refutan esa generalización.
Dudas sobre la selección de ejemplos: En los ejemplos de GPT-4, hay una frase relacionada con un aumento de precios que en realidad indica una baja de precios, así que es difícil de entender. Queda la duda de por qué se eligió ese ejemplo.
Búsqueda semántica avanzada: Me gustó el ejemplo de filtrar conceptos como aumentos de precios en documentos. Podría ser más rápido y preciso que entrenar el modelo.
Error de clasificación: Hay un error que clasifica una explicación científica como contenido erótico. Se puede comprobar en el enlace.
Investigación similar: Hace recordar a la investigación de Anthropic sobre Claude 3 Sonnet.
Interpretación del modelo: Me pregunto cómo mejoró este estudio en comparación con aplicar herramientas como SHAP. La afirmación "actualmente no entendemos la actividad neuronal de los modelos de lenguaje" es incorrecta.
Solicitud de explicación básica: Piden si alguien puede explicar fácilmente la importancia de esta investigación.
Herramienta complementaria para modelos abiertos: Publicar un autoencoder que explique la salida de la red neuronal podría ser una buena práctica. Podría ser una herramienta complementaria útil para todos los modelos abiertos de Hugging Face.
fMRI de la red neuronal: Es similar a una fMRI que permite ver qué áreas se activan según temas específicos en la red neuronal. Me pregunto si sería posible conectar una red neuronal de evaluación para evaluar automáticamente las áreas activadas.
Relevancia para embeddings dispersos: Podría estar relacionado con embeddings dispersos (como Splade), y queda la duda de si podría usarse en búsqueda híbrida.
1 comentarios
Opiniones de Hacker News
Investigación interesante: Resulta interesante porque apareció rápidamente después de la presentación de Anthropic, "Mapping the Mind of a Large Language Model". Mucha gente todavía dice que "no sabemos cómo funcionan los LLMs/el aprendizaje profundo", pero estudios como este refutan esa generalización.
Dudas sobre la selección de ejemplos: En los ejemplos de GPT-4, hay una frase relacionada con un aumento de precios que en realidad indica una baja de precios, así que es difícil de entender. Queda la duda de por qué se eligió ese ejemplo.
Búsqueda semántica avanzada: Me gustó el ejemplo de filtrar conceptos como aumentos de precios en documentos. Podría ser más rápido y preciso que entrenar el modelo.
Error de clasificación: Hay un error que clasifica una explicación científica como contenido erótico. Se puede comprobar en el enlace.
Investigación similar: Hace recordar a la investigación de Anthropic sobre Claude 3 Sonnet.
Interpretación del modelo: Me pregunto cómo mejoró este estudio en comparación con aplicar herramientas como SHAP. La afirmación "actualmente no entendemos la actividad neuronal de los modelos de lenguaje" es incorrecta.
Solicitud de explicación básica: Piden si alguien puede explicar fácilmente la importancia de esta investigación.
Herramienta complementaria para modelos abiertos: Publicar un autoencoder que explique la salida de la red neuronal podría ser una buena práctica. Podría ser una herramienta complementaria útil para todos los modelos abiertos de Hugging Face.
fMRI de la red neuronal: Es similar a una fMRI que permite ver qué áreas se activan según temas específicos en la red neuronal. Me pregunto si sería posible conectar una red neuronal de evaluación para evaluar automáticamente las áreas activadas.
Relevancia para embeddings dispersos: Podría estar relacionado con embeddings dispersos (como Splade), y queda la duda de si podría usarse en búsqueda híbrida.