El proyecto que mapea casi todas las leyes, regulaciones y precedentes judiciales de Australia

• El Australian law map ubica leyes, regulaciones y precedentes del Open Australian Legal Corpus en un espacio semántico bidimensional, lo que permite explorar de un vistazo la estructura del sistema jurídico australiano
• En el mapa, las diferencias de estilo y propósito según el tipo de documento pesan más que el tema en común, por lo que aparece una barrera invisible entre la jurisprudencia y la legislación
• No se observan fronteras claras por jurisdicción, pero por restricciones de copyright el corpus solo incluye fallos del Commonwealth y de New South Wales, y excluye legislación de Victoria, Northern Territory y Australian Capital Territory
• El derecho migratorio, el derecho de familia y el derecho penal sustantivo aparecen como las áreas más aisladas dentro de la zona de precedentes y también más alejadas de los documentos legislativos, mientras que los precedentes de derecho urbanístico aparecen como el campo más cercano a la legislación
• La implementación combina embeddings de texto, reducción de dimensionalidad con PaCMAP, clustering con HDBSCAN, etiquetado con tf-idf, fusión manual y visualización con Plotly, en un procedimiento reutilizable de mapeo semántico de propósito general

---

Un mapa que coloca el derecho australiano en un espacio semántico

• El mapa ubica leyes, regulaciones y precedentes de Australia en un espacio bidimensional y muestra la similitud semántica entre documentos como distancia
• Cada punto representa un documento único de ley, regulación o precedente del Open Australian Legal Corpus
• En computadora, al pasar el cursor sobre un documento se puede ver su título, tipo, jurisdicción y categoría, y al hacer clic se puede abrir el documento
• Los documentos tienen distintos colores según su categoría; al hacer clic en una categoría de la leyenda se la excluye, y con doble clic se muestra solo esa categoría

La barrera invisible entre precedentes y legislación

• En el mapa aparece una barrera invisible que separa los precedentes judiciales de los documentos legislativos, con una estructura que se divide en dos polos, como el Ártico y la Antártida
• Aunque traten el mismo tema, los precedentes se parecen más entre sí y los documentos legislativos se parecen más entre sí
• Esta diferencia puede entenderse como el resultado de que las diferencias de estilo y propósito entre precedentes y legislación se reflejan con más fuerza en el espacio semántico que el tema en sí

No hay fronteras claras por jurisdicción

• Incluso al colorear los documentos por jurisdicción, no aparecen fronteras claras entre documentos de distintas jurisdicciones
• Aun así, por restricciones de copyright, el Open Australian Legal Corpus solo incluye fallos del Commonwealth y de New South Wales, y deja fuera legislación de Victoria, Northern Territory y Australian Capital Territory
• La mezcla de jurisdicciones en el mapa sugiere la posibilidad de que el derecho estatal y el derecho federal australianos sean relativamente homogéneos
• Las fronteras restantes entre derecho estatal y federal también se corresponden mejor con diferencias temáticas que con doctrinas jurídicas propias de cada jurisdicción
• Esto encaja con el hecho de que los tribunales y parlamentos estatales y federales operan dentro de un mismo sistema jurídico, y con la estructura en la que el High Court of Australia media disputas intergubernamentales sobre los límites constitucionales de derechos y competencias

El continente y las islas de precedentes y legislación

• Dentro de las zonas de precedentes y legislación hay un continente al que pertenece la mayoría de los documentos, y varias islas formadas por documentos del mismo tema
• La existencia de un continente sugiere que la mayoría de los precedentes y la legislación surgen de un mismo reservorio conectado de conocimiento y vuelven a incorporarse a él
• Algunas islas legislativas y judiciales están completamente separadas del continente
  • Las Tariff concession orders regulan categorías técnicas de bienes importables y forman un archipiélago propio
  • Las airworthiness directives forman una gran isla enfocada en la regulación de componentes de aeronaves
• La isla más grande por superficie está compuesta casi por completo por casos migratorios
• Entre 19 posibles áreas del derecho, solo el derecho migratorio y el derecho de familia aparecen con más frecuencia fuera del continente que dentro de él
• Ya existía la percepción de que el derecho de familia estaba algo aislado del resto del derecho, y el mapa muestra una forma que respalda ese aislamiento
• Los casos de derecho migratorio tienden a referirse a legislación y precedentes especializados en inmigración, por lo que aparecen como relativamente autocontenidos

La posición del derecho penal, de familia y migratorio

• El derecho migratorio, el derecho de familia y el derecho penal sustantivo también se agrupan cerca entre sí en términos de latitud, lo que sugiere conexiones potenciales
• Las tres áreas se enfocan especialmente en regular la vida de las personas, y no solo en tratar derechos patrimoniales de personas jurídicas
• Los precedentes de estas tres áreas son los tipos de precedentes más alejados de los documentos legislativos en el mapa
• Esa distancia no significa que estas áreas no citen legislación en absoluto; también podría relacionarse con una mayor dependencia del precedente que en otras áreas judiciales, o con las limitaciones de representar en un mapa bidimensional relaciones complejas y multidimensionales
• El área de precedentes más cercana a los documentos legislativos es el derecho urbanístico, probablemente porque suele tratar de cerca leyes y regulaciones de planificación territorial
• La gran isla con forma hexagonal del derecho penal está compuesta principalmente por casos de derecho penal sustantivo, mientras que los casos penales conectados al continente judicial tienden a estar más relacionados con procedimiento penal
• Esto encaja bien con la gran división entre derecho sustantivo en derecho penal y civil, así como con el hecho de que el derecho procesal penal y el derecho procesal civil comparten varios principios comunes de justicia natural

La jurisprudencia parece un continuo

• Si se sigue el continente judicial de abajo hacia arriba, la jurisprudencia australiana se parece más a un continuo que a una estructura rígidamente dividida
• Los casos de urbanismo se conectan con los casos ambientales, y estos a su vez con los casos sobre tierras
• Los casos sobre tierras colindan con los contractuales, y al norte de los contractuales están los procesales, mientras que al oeste están los de propiedad intelectual y al este los comerciales
• Al norte del derecho procesal están el derecho penal y la difamación, y al oeste de propiedad intelectual se extienden el derecho administrativo, el derecho de salud y servicios sociales, el derecho laboral, la negligencia y el derecho del transporte
• Al este del derecho comercial están la equidad y parte del derecho de familia
• El entrelazamiento entre derecho urbanístico, ambiental y de tierras, y el hecho de que los casos de negligencia se relacionen mucho con accidentes de tránsito y reclamos por accidentes laborales, agrupándose cerca del derecho del transporte y del derecho laboral, coincide bien con la comprensión existente de las relaciones entre áreas jurídicas
• Algunos fallos sobre tierras se superponen con casos comerciales y procesales, y estos casos con forma de franjas tienden a enfocarse en disputas hipotecarias relacionadas con incumplimiento
• Los fallos de derecho del transporte se dividen entre un grupo conectado al continente y otro conectado a la isla de derecho penal sustantivo
  • Los fallos de transporte conectados a la isla penal suelen enfocarse en la suspensión de licencias de conducir
  • Los fallos de transporte conectados al continente tienden a enfocarse en accidentes de transporte

Estructuras reveladas por el mapeo semántico y posibilidades de expansión

• El mapa refleja diferencias conocidas entre precedentes y legislación, y al mismo tiempo revela posibles divisiones y conexiones ocultas entre áreas del derecho
• En particular, destacan los siguientes patrones
  • El derecho migratorio, el derecho de familia y el derecho penal sustantivo son las áreas de precedentes más aisladas del mapa
  • El derecho migratorio, el derecho de familia y el derecho penal sustantivo son las áreas de precedentes más alejadas de los documentos legislativos
  • El derecho urbanístico es el área de precedentes más cercana a los documentos legislativos
  • Entre el derecho estatal y el derecho federal australianos no aparece una distinción notable en estilo, principios de interpretación ni doctrina general
• Un mapa en 3D podría revelar nuevas relaciones ocultas que son difíciles de expresar en 2D
• Agregar precedentes y legislación de otros estados y territorios podría aumentar la resolución del mapa jurídico australiano
• Incorporar documentos jurídicos de otros países de common law como UK, Canada o New Zealand podría captar interacciones históricas y persistentes entre sistemas jurídicos
• El mapeo semántico no se limita al derecho australiano y puede servir para entender rápidamente la composición y estructura de grandes conjuntos de datos no estructurados

Proceso de implementación: de la vectorización a la visualización

• El proceso para convertir cualquier dataset en un mapa semántico se divide, a grandes rasgos, en vectorización, clustering, etiquetado, reducción de dimensionalidad y visualización
• El significado del texto se representa como un conjunto numérico, es decir, un vector o embedding, y la similitud entre vectores permite aproximar la similitud semántica entre documentos
• El modelo de embeddings de texto se eligió consultando el Massive Text Embedding Benchmark (MTEB) Leaderboard de Hugging Face
• En el momento de crear el mapa, BAAI/bge-small-en-v1.5 era uno de los mejores modelos open source en relación tamaño-rendimiento, y hoy su fine-tuning avsolatorio/GIST-small-Embedding-v0 ocupa una posición más alta
• Los modelos modernos de embeddings de texto tienen una ventana de contexto fija, es decir, una cantidad máxima de tokens que pueden vectorizar de una vez
  • La ventana de contexto de GIST-small-Embedding-v0 es de 512 tokens
  • Se puede estimar que una palabra equivale aproximadamente a 0.75 tokens, por lo que se pueden vectorizar unas 384 palabras por vez
• Los textos largos se dividen en chunks de 512 tokens o menos, se vectoriza cada chunk y luego se crea un vector promedio para representar el significado promedio del texto completo
• Cortar simplemente en cada token 512 puede romper información importante desde el punto de vista semántico, por lo que se necesita un semantic chunker que divida en secciones significativas
• semchunk es una librería de Python que divide el texto de forma recursiva buscando secuencias de caracteres, como saltos de línea o tabulaciones consecutivas, que indican separaciones semánticas

Reducción de dimensionalidad y clustering

• Los datos vectorizados se reducen desde vectores de alta dimensión a coordenadas en 2D o dimensiones más bajas para mostrarlos en el mapa
• La reducción de dimensionalidad también se usa para aliviar la maldición de la dimensionalidad, que dificulta el clustering en datos de alta dimensión
• El modelo de reducción de dimensionalidad utilizado es PaCMAP, aprovechado como un modelo rápido y preciso que puede preservar tanto la estructura global como la local
• Para mostrar el mapa se usaron 2 dimensiones, y para facilitar el clustering se redujo a 80 dimensiones
• En otros datasets con unos 400 puntos de datos, 2 dimensiones funcionaron mejor que 80, por lo que conviene probar varias dimensiones según el conjunto de datos
• Para el clustering se utilizó HDBSCAN
• A diferencia de k-means, HDBSCAN no fuerza a que todos los puntos de datos pertenezcan a un cluster
• Cuando se creó el mapa, el Open Australian Legal Corpus tenía 218,336 textos jurídicos, y 84,780 (38.8%) no fueron agrupados en clusters
• Además, 10,100 (4.6%) fueron ubicados en clusters que no parecían compartir características significativas
• En total, 94,880 documentos (43.4%) no fueron asignados a clusters significativos y quedaron fuera del mapa
• En ese momento se utilizó fast_hdbscan, pero más tarde se observó que tendía a crear clusters vacíos en distintos puntos con más facilidad que HDBSCAN estándar, por eso el ejemplo de código usa HDBSCAN común
• min_cluster_size determina la cantidad mínima de puntos por cluster: cuanto más bajo, más finos los clusters; cuanto más alto, más amplios
• En el trabajo final, min_cluster_size se fijó en 50 para crear 507 clusters únicos, que luego se redujeron manualmente a 19 áreas del derecho

Etiquetado y fusión manual

• Para asignar etiquetas significativas a los clusters, se revisaron los tokens principales de cada cluster usando tf-idf
• tf-idf da una puntuación alta a los tokens que aparecen con frecuencia en un cluster específico pero son relativamente menos comunes en el dataset completo
• Primero se fusionaron los clusters cuyos 4 tokens principales coincidían, pero de los 507 solo se eliminaron 2 clusters
• Después se crearon manualmente 337 reglas de fusión de clusters basadas en los tokens principales, y finalmente se ordenó todo en 19 áreas del derecho
• Durante la fusión manual se intentó que los datos guiaran las categorías, pero a medida que disminuía el número de clusters hubo que tomar decisiones difíciles sobre qué incluir y qué excluir de cada categoría
• Tampoco fue fácil representar las 19 categorías con colores distinguibles entre sí, y eso se resolvió usando la paleta de colores publicada por Sasha Trubetskoy
• La fusión manual es adecuada cuando se necesita una comprensión profunda de la composición de los datos o cuando la precisión y exactitud del resultado final son especialmente importantes
• En otros casos, conviene más ajustar el modelo de clustering para generar menos clusters y luego usar los 3 principales tokens tf-idf o un modelo de lenguaje grande para etiquetarlos automáticamente
• Un ejemplo de etiquetado automático consiste en dar a gpt-4 o a un modelo compatible con la API de OpenAI fragmentos aleatorios de documentos y los principales tokens tf-idf para que genere etiquetas de menos de 4 palabras

Visualización con Plotly y limitaciones

• El mapa final se configuró con Plotly para poder crear gráficos de dispersión en 2D o 3D
• La principal limitación de Plotly es que no permite aumentar también el tamaño de los puntos de datos al hacer zoom en el mapa
• Cuando hay cientos de miles de puntos, estos tienden a superponerse, o si se reduce su tamaño, se vuelven difíciles de identificar al ampliar
• Algunos problemas de Plotly se sortearon con CSS y JavaScript personalizados, pero ese código no se comparte
• Después de la visualización viene una etapa de análisis en la que se observan los patrones topográficos del mapa, los outliers, las islas y la estructura básica de los datos
• Se considera que aplicar la misma técnica al corpus de Common Crawl podría producir un mapa semántico de alta resolución de internet

[GN⁺]

Comentarios de Hacker News

• Excelente trabajo. En particular, me impactó mucho la frase: “si se aplica esta técnica a Common Crawl, se puede crear un mapa de internet”
  Desde hace años me obsesiona convertir en mapas cosas que normalmente no aparecen en mapas, y he creado varios. Uno bastante conocido entre ellos es Music-Map: https://www.music-map.com
  Desde hace tiempo quería crear un mapa de la web, así que incluso registré el dominio web-map.com, y también experimenté con un crawler personalizado y algoritmos para encontrar rápidamente sitios web relacionados; parecía bastante factible
  Sin embargo, ya estoy operando varios mapas experimentales, y como todavía no he encontrado un modelo de negocio para crear mapas de todo, lo tengo en pausa

  • Hace poco hice un mapa de todas las URL de PDF en internet
    Usé un modelo de embeddings pequeño y análisis de componentes principales (PCA) para reducción de dimensionalidad: https://weblog.snats.xyz/posts/2024/03/20/
  • Hace tiempo creé un grafo de conexiones que mostraba con quién había colaborado cada artista dentro de la biblioteca de Spotify
    Era bastante divertido ver qué tan lejos se conectaban dos artistas a través de largas cadenas de colaboraciones. Como en la mayoría de los mapas de relaciones humanas, al final se reducía a unos cuantos superconectores que colaboran con cientos de personas y pequeños grupos a su alrededor, pero también revelaba comunidades interesantes
  • Creo que esto también te va a gustar: https://everynoise.com/
  • Me gustaría ver un mapa semántico de internet, e incluso estoy pensando en intentarlo yo mismo, pero parece que sería un trabajo enorme
    Existe un mapa genial parecido, aunque ya es bastante antiguo: http://internet-map.net/
  • Hace poco también hice algo similar sobre perfumes: https://observablehq.com/@55th/every-fragrance-at-once

• La expresión “el derecho jurisprudencial australiano se ve como una especie de continuo” produce una imagen bonita, pero quisiera subrayar el dicho de que el mapa no es el territorio
  Ese continuo podría ser más bien una función del método de proyección, de la métrica de similitud elegida, etc., que de la estructura real del conocimiento jurídico
  Por supuesto, eso no significa que no se pueda aprender nada del mapa, pero la estructura real del conocimiento de todo el conjunto de documentos no necesariamente tiene que ser un continuo conveniente
  Aun así, la forma en que está documentado el proyecto es excelente y permite ver el ámbito del derecho australiano desde una nueva perspectiva

  • Exacto. Este mapa no necesariamente representa tal cual la estructura semántica subyacente del derecho australiano, sino que es una aproximación influida por los datos usados, el modelo de embeddings elegido, el modelo de reducción de dimensionalidad que lo proyecta a un espacio bidimensional, etc.
    Lo escribí pensando tanto en lectores del ámbito jurídico como en lectores de ciencia de datos, intentando que las inferencias no parecieran más que inferencias, pero sin explicar de forma demasiado técnica las limitaciones de los intentos actuales de mapear conocimiento semánticamente con la tecnología disponible
    Dicho eso, desde mi experiencia estudiando derecho, el derecho jurisprudencial australiano sí se parece en cierta medida a un continuo. Un solo caso puede tocar varias áreas del derecho, y aparte de la relevancia y de si es vinculante o no, no hay grandes límites sobre los temas de los precedentes que un juez puede consultar al decidir
    También fue interesante que los clústeres finales se parecieran sorprendentemente a la forma en que se enseña derecho en la universidad. Eso muestra que se ha pensado mucho en el diseño de los programas de derecho en Australia. De hecho, existen las 11 materias obligatorias, las Priestley 11, y todas aparecen reflejadas en el mapa: https://en.wikipedia.org/wiki/Priestley_11

• Este tipo de visualización se siente bastante raro. No soy especialista en derecho, pero he leído muchos libros de texto jurídicos
  Normalmente esperaría que el derecho estatutario formara una estructura relativamente dispersa, como de tentáculos
  El derecho jurisprudencial, por naturaleza, tiene un carácter más intermedio: los jueces van llenando los significados ambiguos o los vacíos del derecho estatutario
  Pero que el derecho jurisprudencial y el derecho estatutario formen dos clústeres claramente separados me cuesta aceptarlo, y parece un error de modelado del dominio. Da la impresión de ser el tipo de resultado que obtienes al aplicar ingenuamente una métrica de similitud textual a un conjunto de datos sin considerar el modelo de dominio

  • Como escribí en el artículo, el lenguaje y el estilo usados en las sentencias australianas son distintos de los de las leyes
    Además, en un país de common law como Australia, hay muchos conceptos jurídicos que se desarrollaron de forma independiente de la legislación y que aún se mantienen independientes, o que luego se formalizan en leyes. Un ejemplo son los ilícitos civiles: https://www.alrc.gov.au/publication/traditional-rights-and-freedoms-encroachments-by-commonwealth-laws-ip-46/16-authorising-what-would-otherwise-be-a-tort/the-right-to-sue-in-tort/

• Es un trabajo enorme. Como alguien que desarrolla web con fondos propios, me pregunto cómo encuentra tiempo para hacer algo así.
  No sé si esto es para fortalecer su currículum, si es un producto o prototipo, o si es fruto de pura pasión, pero al menos es innovador.
  La explicación técnica también fue buena; aunque a partir de la mitad la leí por encima, parece combinar algoritmos modernos de embeddings con clustering tradicional de aprendizaje automático.
  Ahora que ya existe la base de datos, me pregunto si consideró usar un modelo generativo completo para hacer análisis semántico, como “resume este subconjunto de casos y etiquétalo con situaciones o matices específicos”, y luego agrupar esos resultados. Espero que los numerosos desarrolladores que durante el último año han estado aplicando modelos de lenguaje grandes al derecho jurisprudencial en EE. UU. estén haciendo algo parecido.
  Este es el tipo de proyecto que dan ganas de decir que uno quiere colaborar aunque ya tenga la agenda llena, así que tendré que conformarme con darle un lugar bastante honorable en mi carpeta de comentarios e inspiración.

  • Parece que la presentación sería interesante: https://umarbutler.com/about/
    Umar Butler es un científico de datos, especialista en tecnología legal e investigador de inteligencia artificial de Australia, y mantiene un blog donde escribe sobre derecho, tecnología, inteligencia artificial y temas relacionados.
    Como parte de su investigación en tecnología legal e inteligencia artificial, ha publicado el conjunto de datos de LLM para aprender derecho australiano, la mayor base de datos pública de derecho australiano y el primer LLM público para derecho australiano, entre otras cosas.
    Actualmente trabaja en el Attorney-General’s Department como subdirector de ciencia de datos, donde asesora sobre el uso responsable de inteligencia artificial para posibilitar, acelerar y mejorar la toma de decisiones públicas y el análisis jurídico y de políticas, así como sobre el desarrollo de políticas clave de inteligencia artificial.

• Me encantó que en móvil reemplazaran la visualización interactiva por capturas de pantalla. La experiencia de lectura en el teléfono mejora muchísimo.

  • Como el 59% de los lectores están en móvil, decidí que en teléfonos era mejor usar imágenes estáticas en vez de un mapa interactivo que sería casi inutilizable.

• Es un trabajo muy genial y digno de felicitación.
  Cuando estaba en la facultad de Derecho, solía imaginar el common law como una red de interdependencias, y esta visualización es parecida, aunque no captura por completo las dependencias que yo tenía en mente.
  El common law se refiere principalmente al derecho creado por jueces de apelación. A veces agrega significado, interpretación y definiciones sobre las leyes, y a veces se crea por completo cuando no hay una ley que encaje exactamente con el asunto en cuestión. Aquí, “crear” significa que se construye sobre una larga corriente de precedentes históricos de la Inglaterra victoriana o incluso más antiguos.
  Por eso suenan ridículas las personas que en EE. UU. critican el “derecho creado por jueces”. Casi todo el derecho de EE. UU. es, en la práctica, derecho creado por jueces.
  Siempre pensé que el common law se presta bien a representarse como una estructura de grafo, donde los casos o precedentes son nodos y las aristas codifican de alguna manera la fuerza con la que respaldan a un precedente. Si los jueces pudieran visualizar la fuerza de los precedentes, quizá pensarían con más cuidado antes de apartarse de ellos.
  Esta representación es un paso en esa dirección, y espero que esta tecnología se extienda a otros países de common law.

• Llevo mucho tiempo lidiando con varias cosas dentro del sistema jurídico australiano; durante un tiempo lo hice como litigante en persona y de forma autodidacta, y más recientemente he recibido ayuda de abogados.
  También leí directamente varias leyes relacionadas con procedimientos civiles y penales, y me topé con el muro invisible entre la legislación y el derecho jurisprudencial.
  Este trabajo encaja de forma sorprendente con mis intereses, así que gracias por organizarlo. La única pena es que me habría sido mucho más útil si lo hubieras publicado hace unos meses.

  • Me alegra que coincida con tu experiencia real. Me sorprendió mucho ver que el mapa también encajaba con la comprensión del derecho que fui formando durante mi carrera de Derecho.

• Es un excelente artículo, y se nota el esfuerzo tanto en el análisis descriptivo de los datos como en el desglose técnico del proceso.

• El año pasado tuve una idea similar para mapear el derecho jurisprudencial y las leyes del Reino Unido.
  Como suele pasar, la vida se interpuso y el proyecto terminó en mi colección de proyectos a medio terminar, pero leer este excelente artículo me dio ganas de intentarlo de nuevo.

• En varios países de la Mancomunidad de Naciones parece que a menudo no existe una sistematización oficial del derecho jurisprudencial, el derecho administrativo y las leyes aprobadas por el poder legislativo y sancionadas por el ejecutivo.
  En EE. UU., que surgió de la Mancomunidad, existe el US Code oficial y códigos estatales, y hay intentos de ordenar los efectos del derecho jurisprudencial, el derecho administrativo y las leyes aprobadas. En cambio, Canadá tiene algunas sistematizaciones como el Criminal Code, pero no todas las leyes del Parlamento están reunidas en un único código.
  Por lo que veo, el Reino Unido no tiene algo así para Inglaterra o Gales, y Hong Kong tiene cierta forma de sistematización con la Basic Law y sus ordenanzas. Me pregunto si Australia tiene una codificación legal a nivel federal o estatal.

  • La frase “en EE. UU. existe el US Code y códigos estatales, y hay intentos de ordenar los efectos del derecho jurisprudencial, el derecho administrativo y las leyes aprobadas” es cierta y no lo es a la vez.
    El US Code es derecho escrito, y el Code of Federal Regulations es derecho administrativo. No existe una codificación del derecho jurisprudencial; solo hay repertorios de jurisprudencia.
    Los repertorios de jurisprudencia se parecen más a una publicación secuencial de resultados de sentencias, algo similar a la forma en que se publican secuencialmente las leyes en lugares donde no se codifica el derecho escrito. En general, los estados también codifican el derecho escrito y el derecho administrativo, pero no el derecho jurisprudencial.