Usar SQLite como formato de archivo de aplicación

• Los archivos de base de datos SQLite son un formato basado en un solo archivo adecuado para guardar o intercambiar el estado de una aplicación
• Son más estructurados que los formatos personalizados, conjuntos de archivos (pile-of-files) y formatos basados en ZIP, y pueden definirse claramente con un esquema SQL
• Gracias a transacciones, índices y un lenguaje de consulta de alto nivel, ofrecen accesibilidad y confiabilidad de los datos, además de soportar actualizaciones incrementales y acceso desde múltiples procesos
• La compatibilidad multiplataforma, la extensibilidad, el rendimiento y las interfaces para múltiples lenguajes mejoran la eficiencia de desarrollo y el mantenimiento
• Con una estructura de datos clara y un diseño centrado en esquemas, se logra mejor calidad de aplicación y preservación de datos a largo plazo

---

Concepto de formato de archivo de aplicación

• Un formato de archivo de aplicación es una estructura de archivo para guardar en disco el estado de un programa o intercambiar información entre programas
  • Ejemplos: DOC, DWG, PDF, XLS, GIT, EPUB, ODT, PPT, ODP, etc.
• Un formato de archivo (file format) guarda un solo objeto (por ejemplo, JPEG, GIF, XHTML), mientras que un formato de aplicación (application format) guarda múltiples objetos junto con sus relaciones
• La mayoría de los formatos de aplicación se clasifican en tres tipos
  • Formatos personalizados: DOC, DWG, PDF y otros con estructuras binarias específicas de una app, inaccesibles desde herramientas externas
  • Conjunto de archivos (pile-of-files): una estructura compuesta por varios archivos, como Git; algunos son fáciles de leer, pero su portabilidad y consistencia son difíciles de gestionar
  • Formato basado en ZIP (wrapped pile-of-files): un conjunto de archivos comprimido en ZIP, como EPUB, ODT u ODP; sigue siendo un solo archivo, pero al modificarlo hay que reescribirlo completo

SQLite como nuevo formato de archivo de aplicación

• Una base de datos SQLite puede reemplazar una estructura de conjunto de archivos incluso con un esquema simple de clave/valor (CREATE TABLE files(filename TEXT PRIMARY KEY, content BLOB);)
  • Al comprimirse, la diferencia de tamaño frente a un archivo ZIP está dentro de ±1%
  • Se pueden modificar archivos individuales sin necesidad de reescribir todo
• SQLite puede incluir múltiples tablas, campos, tipos de datos, restricciones e índices, por lo que expresa relaciones de datos complejas de forma eficiente
• Ofrece un nivel de expresividad comparable al de un formato personalizado, pero con una especificación y cantidad de código mucho más simples, y sin requerir herramientas dedicadas

Principales ventajas del formato SQLite

• 1. Simplificación del desarrollo

  • Basta con incluir la biblioteca SQLite o el archivo fuente único (sqlite3.c) para tener completas las funciones de entrada/salida de archivos
  • Reduce miles de líneas de código y también el costo de mantenimiento
  • En todo el mundo se usan miles de millones de archivos SQLite, con una estabilidad exhaustivamente probada

• 2. Estructura de documento de un solo archivo

  • Todos los datos se guardan en un solo archivo, lo que facilita moverlo, copiarlo o adjuntarlo
  • El Application ID del encabezado del archivo permite identificar el tipo de documento

• 3. Lenguaje de consulta de alto nivel

  • SQL simplifica la lógica de acceso a datos, y el desarrollador solo define “qué” quiere solicitar
  • Frente a archivos basados en clave/valor, el soporte de transacciones, índices y esquemas reduce la probabilidad de errores

• 4. Contenido accesible

  • Los archivos SQLite son un formato público claramente documentado, accesible directamente desde herramientas de línea de comandos
  • La Biblioteca del Congreso de Estados Unidos lo recomienda como formato de preservación digital a largo plazo
  • La compatibilidad hacia atrás mantenida desde 2004 garantiza el acceso a largo plazo

• 5. Compatibilidad multiplataforma

  • Compatibilidad total entre 32/64 bits, diferencias de endianness y sistemas Windows/Unix
  • El texto soporta conversión automática entre UTF-8 y UTF-16LE/BE

• 6. Transacciones atómicas

  • Incluso ante fallas del sistema o cortes de energía, se garantiza una escritura completa sin corrupción de datos
  • Los cambios pueden agruparse para hacer rollback y validación, una función aprovechada por Fossil DVCS

• 7. Actualizaciones incrementales y continuas

  • Solo se escriben en disco las partes modificadas, lo que mejora la velocidad y reduce el desgaste del SSD
  • Permite guardado automático y mantener pilas de undo/redo entre sesiones

• 8. Extensibilidad sencilla

  • Es posible ampliar funciones solo agregando nuevas tablas o columnas, manteniendo la compatibilidad con consultas existentes
  • Cambiar la estructura es mucho más fácil que en un formato personalizado

• 9. Rendimiento

  • Puede ofrecer lectura/escritura más rápida que un conjunto de archivos, especialmente al manejar BLOBs de menos de 100 KB
  • El rendimiento puede mejorarse solo agregando índices o ejecutando ANALYZE
  • En un formato personalizado, resolver el mismo problema requiere modificar código

• 10. Acceso concurrente desde múltiples procesos

  • SQLite coordina automáticamente el acceso concurrente
  • Varios procesos pueden leer al mismo tiempo; la escritura se procesa de forma secuencial
  • Se garantiza automáticamente la prevención de corrupción del formato

• 11. Soporte para varios lenguajes de programación

  • Ofrece interfaces para la mayoría de los lenguajes, como C, C++, C#, Java, Python, Ruby y JavaScript
  • Distintos lenguajes y equipos pueden colaborar con un esquema común

• 12. Mejor estructura de aplicación

  • El propio esquema de SQLite funciona como una documentación completa del formato de archivo
  • Un formato personalizado puede requerir especificaciones de cientos de páginas, mientras que un esquema SQL es conciso y claro
  • Las citas de Fred Brooks, Rob Pike y Linus Torvalds subrayan la importancia de un diseño centrado en estructuras de datos

Conclusión

• SQLite no es perfecto para todos los casos, pero en la mayoría de las aplicaciones es una mejor opción que los formatos personalizados, los conjuntos de archivos o los formatos ZIP
• Como formato de archivo de alto nivel que reúne confiabilidad, extensibilidad, rendimiento, accesibilidad y compatibilidad,
  vale la pena considerarlo como candidato a formato estándar al diseñar aplicaciones de próxima generación

[GN⁺]

Opinión de Hacker News

• Hace tiempo en Mapbox crearon el formato MBTiles
  En ese momento estaban investigando mapas offline para iPad, y era demasiado engorroso mover por USB o red una enorme cantidad de pequeños tiles PNG (256px)
  Entonces agruparon los tiles dentro de SQLite, y así resultó más fácil moverlos y también gestionar checksums
  Los tiles estaban indexados por X, Y, Z (nivel de zoom), así que eran fáciles de manejar en una base de datos relacional, y en el iPad incluso podían asignarles un ícono de app usando la extensión del archivo y los metadatos
  Les daba miedo diseñar un formato de archivo propio, pero como ya conocían bien las bases de datos, pudieron crear una herramienta CLI para manejarlo fácilmente desde varios lenguajes
  • Probaron y compararon .zip, .tar, sqlite y el sistema de archivos, y sqlite fue el que tuvo la mejor compresión y el menor overhead
  • De verdad aman el formato MBTiles, y agradecen que lo hayan creado
• SQLite es algo realmente increíble como formato para aplicaciones
  Hay muchísimas herramientas capaces de leer datos de SQLite, y hasta solo con la CLI trabajar con los datos resulta muy cómodo
  Existe desde hace más de 20 años y es uno de los programas más probados del mundo
  Es simple, potente y muy confiable, así que para preservación de datos a largo plazo creen que usar SQLite como formato de archivo es de las mejores decisiones posibles
• Yo también uso SQLite de una forma parecida
  En el proyecto Internet-Places-Database usé una UI en HTML, y gracias a los componentes de Bootstrap cualquiera podía acceder sin instalación adicional
  Todos los datos se leen y se devuelven desde un solo archivo SQLite
  La base de datos es grande, así que explorarla es lento, pero estoy pensando en una forma de navegación eficiente que limite el alcance de búsqueda
• Hace tiempo usé SQLite al crear una app de blogging para escritorio
  Si armaba la estructura base del blog y se la pasaba como archivo a mi familia, ellos solo tenían que escribir y publicar
  El tema está resumido en esta entrada del blog
• La mayoría de los formatos de archivo de las apps tienen estructura de árbol, pero si los datos tienen forma de tablas planas, SQLite es la elección más clara
  Si la estructura es de árbol, también podrías guardar JSON como blob, pero en ese caso se pierden varias ventajas
  Aun así, si además hay imágenes o datos binarios, SQLite resulta mucho más conveniente: es más fácil de manejar que ZIP
  • Incluso sin estar familiarizado con la normalización de bases de datos, no es difícil aplanar una estructura de árbol mediante relaciones de claves foráneas
    SQLite también soporta consultas recursivas, así que incluso los datos autorreferenciados pueden expresarse con limpieza
    Meter un blob JSON en un campo TEXT es sencillo, pero así se pierden ventajas de SQL como migraciones e indexación
  • La esencia del almacenamiento relacional es no ver los datos como un solo documento, sino poder extraerlos desde distintos puntos de vista
    La mayoría de los datos parecen jerárquicos a simple vista, pero si los cortas en distintas secciones, terminan siendo una estructura relacional
    Eso sí, es una lástima que los tipos relacionales no estén bien representados en los lenguajes de programación
  • Necesitaba una interfaz para anotar datos JSON, así que le pedí a Codex que me hiciera un servidor web basado en SQLite y lo terminó enseguida
    SQLite también soporta consultas sobre objetos parecidos a JSON
    Eso sí, sentí que la CLI era demasiado minimalista, así que debí haber usado una herramienta mejor
  • En SQLite puedes crear varias tablas y definir relaciones de referencia
    Incluso es posible tener referencias recursivas
• Ya hubo una discusión relacionada antes: hilo anterior
• Apliqué un enfoque parecido en mi trabajo
  Usando DuckDB, reuní los archivos de salida de un modelo jerárquico en un solo archivo consultable con SQL, y eso simplificó tanto el almacenamiento como el pipeline de análisis
  Cuando la preservación de datos a largo plazo es importante, SQLite parece especialmente ideal
  • Creo que los desarrolladores también construyeron Fossil SCM con esa misma idea
• Nuestro equipo usa SQLite para mover configuraciones del entorno UAT al entorno de producción
  Como la configuración ya está almacenada en tablas de Postgres, mover parte de ella a un archivo SQLite permite desplegarla de forma sencilla
  Al ser un formato binario, también reduce el riesgo de que alguien lo modifique por accidente
  Y al revés, cuando hay que exportar datos de producción para pruebas, también es fácil codificarlos en un archivo SQLite
• Recuerdo cuando de chico abría archivos de juegos o programas con WinRAR para encontrar recursos ocultos
• Me convenció por completo
  Siempre me he preguntado cómo hace la gente para vender tan bien una idea o un producto