Kiwi: analizador morfológico inteligente de coreano (Korean Intelligent Word Identifier)

• Kiwi: analizador morfológico inteligente de coreano (Korean Intelligent Word Identifier)
• Biblioteca de análisis morfológico para coreano orientada a alta velocidad y rendimiento de uso general
• Incorpora un modelo de lenguaje ligero, por lo que analiza los morfemas con bastante precisión incluso cuando hay ambigüedad
• Implementado en C++. Al desarrollador le encanta C++.
  • La biblioteca está disponible para Python, JavaScript, C#, Java, R y Go
  • Está compilado a wasm, por lo que puede ejecutarse en el navegador
• El modelo se ofrece en tres tamaños: pequeño (16 MB), mediano (40 MB) y grande (90 MB)
• El proceso de desarrollo está publicado en detalle en el blog
  • https://bab2min.tistory.com/560
• También es impresionante el entrenamiento de modelos de lenguaje en coreano usando Kiwi como tokenizador
  • https://github.com/bab2min/kiwi-farm