El método para calcular la “probabilidad de que el producto interno sea mayor o igual que un valor específico” en un espacio de alta dimensión se basa en un principio simple. Basta con calcular el área de la superficie de la esfera unitaria, obtener luego el área del casquete a partir del ángulo que representa ese producto interno y, finalmente, compararla con el área total.
Pero lo importante es que, mediante este cálculo sencillo, se puede entender de forma concreta qué tan “raro o común” es realmente un valor de producto interno dentro de un espacio de embeddings de alta dimensión. En particular, el hecho de que un producto interno de 0.9 o más sea extremadamente poco frecuente muestra bien cuán importante puede ser una puntuación alta de similitud como señal en la búsqueda basada en embeddings.
Aún no hay comentarios.