Datasette Cloud: plataforma de hosting SaaS para Datasette

 (datasette.cloud)
2 puntos por GN⁺ 2023-08-22 | 1 comentarios | Compartir por WhatsApp
  • Datasette Cloud hospeda el proyecto open source Datasette como un SaaS para equipos, permitiendo compartir datos en espacios privados y publicar hacia afuera solo los datos necesarios
  • Su enfoque inicial son las redacciones, para ayudar a que periodistas distribuyan datos tanto dentro del equipo como al público sin tener que configurar ni operar servidores por su cuenta
  • Cada equipo puede crear un space privado en la región más cercana y recibe un contenedor seguro basado en Fly.io y un subdominio space-name.datasette.cloud
  • Permite importar datos desde CSV, URL, datos abiertos gubernamentales basados en Socrata, archivos SQLite y la API JSON Write de Datasette, además de editarlos directamente desde la interfaz web
  • Próximamente añadirá consultas asistidas por IA, publicación de tablas y consultas seleccionadas, anotaciones de datos y precios; por ahora se puede comenzar reservando una demo por Zoom o solicitando acceso anticipado

Espacio privado de colaboración de datos para equipos

  • Datasette Cloud es una plataforma de hosting SaaS para el proyecto open source Datasette
  • Los equipos pueden crear un space privado para trabajar con datos, compartirlos de forma segura entre sus integrantes y luego publicar parte de ellos hacia el exterior
  • Los usuarios iniciales están orientados a las redacciones
    • Datasette nació en el periodismo de datos
    • El objetivo es permitir que periodistas compartan datos sin tener que configurar ni operar Datasette directamente en un proveedor de hosting propio
  • Empresas y organizaciones fuera del periodismo también pueden usar Datasette Cloud
  • Quienes usan Datasette por primera vez pueden ver una demo en video y tutoriales en el sitio web del proyecto open source

Importación de datos y forma de acceso

  • Cada space se hospeda en la región más cercana al usuario y corre en un contenedor seguro e independiente basado en Fly.io
    • Cada space tiene un subdominio space-name.datasette.cloud
    • El administrador del space puede invitar a más miembros
  • Los miembros del equipo pueden importar datos por varias vías
    • Crear tablas subiendo archivos CSV
    • Cargar archivos CSV desde una URL
    • Importar desde portales gubernamentales de datos abiertos basados en Socrata
    • Crear una nueva base de datos subiendo archivos de base de datos SQLite
    • Importar datos usando la API JSON Write de Datasette
  • Los datos importados se pueden editar en línea desde la interfaz web de Datasette Cloud
  • Para exploración de datos y acceso por API se aprovechan las herramientas existentes de Datasette
    • La interfaz web de Datasette admite filtrado, facetas, ejecución de consultas SQL y guardado de resultados
    • En Exploring a database with Datasette se pueden ver un tutorial y una demo en vivo
    • Learn SQL with Datasette explica cómo consultar datos con SQL
    • Se puede acceder a tablas y ejecutar consultas SQL mediante una API JSON protegida por tokens de API granulares
    • También se puede acceder a datos tabulares mediante una API GraphQL basada en el plugin datasette-graphql
  • Todos los datos se almacenan de forma segura en volúmenes de Fly y también se respaldan en S3 usando Litestream

Próximas funciones y cómo empezar

  • Las funciones que se añadirán próximamente son las siguientes
    • Consultas asistidas por IA: se está investigando cómo aplicar de forma responsable a la exploración de datos periodísticos los modelos de lenguaje de gran escala detrás de OpenAI ChatGPT, Anthropic Claude y Google Bard; se puede revisar en llm.datasette.io
    • Función para publicar hacia el exterior tablas y consultas seleccionadas
    • Anotaciones de datos para que los equipos agreguen comentarios a columnas y filas, facilitando la colaboración en el análisis y el hallazgo de historias dentro de los datos
    • Un esquema de precios que permita pagar por el producto
  • Los usuarios pueden reservar una sesión de demo por Zoom para convertirse en uno de los primeros usuarios o solicitar acceso anticipado sin necesidad de una demo

Lecturas relacionadas

1 comentarios

 
GN⁺ 2023-08-22
Opiniones en Hacker News

  • Hemos tenido éxito implementando Datasette internamente para alojar muchos datos de investigación (100 MB~20 GB) que son demasiado grandes como para compartirlos con usuarios generales o hacer que los consuman directamente.
    Antes había que compartir solo resúmenes de muy alto nivel y algunos puntos de datos, crear una app mínima en Django, o usar una solución mucho más pesada como Metabase.
    Cuando los datos son de tamaño mediano, ya no se pueden enviar resultados por email; los métodos a los que los clientes están acostumbrados, como recursos compartidos de red o SharePoint, también tienen límites; y los usuarios comunes normalmente solo saben usar Excel, así que cuando los datos crecen se quedan bloqueados de inmediato.
    Ahora podemos entregar casi cualquier dato medianamente procesado, darles algunas vistas y un tutorial de menos de 5 minutos (“esto es Super Excel, y así se filtra”), y los usuarios exploran por su cuenta.
    Después del primer despliegue, al ver los logs, aunque era una investigación común, los usuarios estaban golpeando muchísimo el sistema, y eso me hizo pensar en cuántas preguntas detalladas habrían tenido antes pero no hacían por no molestar. Después de Datasette, las preguntas se volvieron mucho más sofisticadas, porque ya habían resuelto lo básico por sí mismos.

    • Es un caso de éxito realmente excelente, y me hace pensar que habría que recopilar este tipo de casos de estudio.
      Me gusta especialmente la expresión “esto es Super Excel, y así se filtra”.

  • Había escuchado el nombre Datasette varias veces, pero nunca había investigado bien para qué se usaba.
    El video de la landing page lo explica muy bien, algo que no es tan común.
    Simon y todo el proyecto merecen felicitaciones, y espero que al servicio en la nube le vaya bien.

    • No sé dónde está el video. Hice clic en el post del blog y en la página de inicio, pero no lo vi.

  • Datasette es un proyecto abierto de Simon Willison, bastante conocido en HN, y esto parece un proyecto de monetización. Le deseo éxito y espero que SoftBank lo adquiera pronto :-)
    Es más bien una herramienta que envuelve archivos SQLite para publicarlos fácilmente, y podría sentirse como un Tableau para SQLite.

    • SoftBank no es el objetivo.
      Datasette es el primer proyecto de toda mi carrera en el que siento que, incluso si sigo trabajando en él dentro de 15 años, no me voy a aburrir. El rango de aplicaciones interesantes que se pueden construir a partir de la idea central es realmente amplio.
      Por eso quiero trabajar en esto durante décadas, pero hacerlo solo es solitario; aunque la comunidad crezca y sea divertida, no es lo mismo que tener un equipo de tiempo completo.
      El problema que intento resolver ahora es cómo hacer que el proyecto sea financieramente sostenible a largo plazo. Necesito poder pagar sueldos no solo para mí, sino para un equipo que trabaje conmigo.
      Ya hay muchos casos de proyectos open source, como WordPress o GitLab, que crearon modelos de negocio sostenibles mediante hosting SaaS, y se siente como un camino relativamente bien trazado.
      También quiero que la gente pueda usar realmente mi software. Hoy, si una persona quiere usar Datasette, tiene que instalarlo con pip o brew, o usar la app Electron para macOS https://datasette.io/desktop, pero yo quiero que las redacciones puedan usarlo para colaborar con datos. La mayoría de las redacciones no está acostumbrada a configurar servidores Linux.
      La versión SaaS alojada ayuda a que los usuarios que me importan obtengan valor real, y también ofrece una ruta realista hacia la sostenibilidad financiera de todo el proyecto.
      Claro, también me gustaría ganar mucho dinero con esto.
    • Sería bueno que hubiera inversión para hacer que Datasette sea más accesible y fácil de usar para el público general.
      Ahora mismo, la UX y la configuración parecen más orientadas a hackers de datos interesados en el periodismo, y no se ve tanto como una herramienta estándar para reportajes con datos o periodismo de datos.
      Si los usuarios previstos son periodistas que quizá no tengan habilidades de data hacking, hay que bajar más la barrera de entrada.
      Datasette no es una herramienta de BI ni una herramienta de OSINT, y por ahora está ubicado en un nicho muy estrecho entre entusiastas de los datos y periodistas de investigación, lo que limita mucho su potencial.
      Simon debería considerar la monetización, especialmente contratar a alguien que haga Datasette Cloud más accesible. Haber creado una app con GUI parece un paso en la dirección correcta.
    • ¿No suena un poco cínico?

  • No quiero arruinar el ambiente, pero incluso después de ver completo el video de introducción a Datasette, siento que me estoy perdiendo algo.
    ¿No es, básicamente, una GUI de SQL? Parece casi igual a otros paneles de administración de SQL, solo que sin funciones de escritura.
    Me pregunto cuál es el diferenciador, si son las extensiones.

    • Se parece más a MS Access, pero con SQLite y Python como backend, así que lo veo como una forma más sensata.
      Hay incontables procesos de negocio importantes armados a la fuerza con Excel y Access, y Datasette puede ser una opción mucho mejor para esos usos. Es una herramienta que pueden usar tanto desarrolladores como responsables de negocio.
    • Es una pregunta muy válida, y llevo 5 años pensándola, pero todavía no tengo una respuesta redonda en una sola frase.
      El problema que Datasette resuelve mejor es publicar datos estructurados en línea.
      Por ejemplo, si quieres compartir en línea una lista de plantas eléctricas de todo el mundo o todo el historial del Congreso de EE. UU., puedes subir un CSV a un sitio web/GitHub/S3, crear una app a medida con Django/Rails, o usar Google Sheet. La forma en que The Guardian lo resolvió hace tiempo con Google Sheet está en https://simonwillison.net/2018/Aug/19/instantly-publish-data...
      Datasette se creó originalmente para resolver este problema, y me pareció que SQLite era perfecto para esto. Es rápido y robusto, y si publicas datos de solo lectura, puedes desplegarlo en cualquier lugar donde puedas alojar una app web dinámica, sin preocuparte por backups o replicación.
      El ejemplo de plantas eléctricas de todo el mundo está en https://global-power-plants.datasettes.com/global-power-plan..., y los datos de legisladores del Congreso de EE. UU. están en https://congress-legislators.datasettes.com/legislators. Este último también se usa en el tutorial de Datasette https://datasette.io/tutorials/explore
      Si te sientes cómodo con la línea de comandos, será difícil encontrar una forma más rápida que cargar y limpiar CSV en SQLite con sqlite-utils, y luego publicarlos con datasette publish vercel y el plugin datasette-cluster-map.
      Este es un ejemplo usando el plugin datasette-publish-vercel, pero Datasette también puede publicar en Fly, Google Cloud Run, Heroku y otros con plugins adicionales: https://docs.datasette.io/en/stable/publish.html
      La parte de limpieza de datos con sqlite-utils está explicada con más detalle en https://datasette.io/tutorials/clean-data
      Durante los últimos 5 años, Datasette pasó de ser una herramienta de publicación a una herramienta que uso cada vez que quiero examinar y explorar datos. Desde la perspectiva del periodismo de datos, eso equivale a “encontrar historias en los datos”.
      También en usos comerciales, tengo la fuerte intuición de que si puedes ayudar a un periodista a encontrar historias en los datos, también puedes ayudar a cualquier otra persona a encontrar historias en sus propios datos.
      Otro punto clave son los plugins. Así como WordPress es un buen CMS y, al mismo tiempo, gracias a más de 10.000 plugins, aborda casi cualquier problema de publicación de contenido y llegó a representar un porcentaje de dos dígitos de la web, la visión más ambiciosa de Datasette se parece a eso.
      Quiero crear una herramienta open source de análisis exploratorio de datos (EDA) y publicación, y permitir que miles de plugins resuelvan problemas de exploración, análisis, visualización y publicación de datos.
      Por ahora hay 127 plugins, así que falta mucho camino, pero es un buen comienzo: https://datasette.io/plugins
      Si lo reduzco a una frase, podría ser “Datasette es la forma más rápida de publicar datos en línea como una base de datos interactiva y buscable”, o “WordPress para datos: una plataforma open source extensible para explorar, analizar, visualizar y publicar”.

  • Simon, se ve realmente genial y espero que te vaya muy bien.
    En los últimos años hice muchas cosas interesantes con Datasette y lo recomiendo mucho. Definitivamente pienso probar datasette.cloud.

  • Datasette es excelente.
    En mi trabajo anterior armé una forma bastante forzada de desplegar Datasette en una nube de Azure interna para compartir rápidamente resultados de consultas SQL complejas, así que me alegra ver que Simon lance directamente .cloud.

  • Después de conocer a Simon en el pódcast Latent Space, he pasado varias semanas leyendo su blog y viendo varios videos suyos en YouTube.
    Como experiodista, quería aprender periodismo de datos, y quizá lo intente cuando esto esté disponible públicamente.

  • Es interesante ver cómo el periodismo de datos ahora evolucionó a una forma de subir archivos CSV a la nube
    En las antiguas convenciones de I.R.E., el tema más candente era aprender a extraer y descifrar datos de cintas de 9 pistas
    En los primeros días de la FOIA, el gobierno solía volcar enormes cantidades de información en gigantescos carretes de datos de 9 pistas y decir que “había cumplido con la solicitud”, obstaculizando así la cobertura periodística
    Casi ninguna sala de redacción tenía ese equipo ni la capacidad técnica, así que tenían que encontrar sus propias soluciones o buscar empresas e instituciones que pudieran ayudar
    I.R.E.: https://www.ire.org/

    • A menudo recuerdo que NICAR (National Institute for Computer-Assisted Reporting, parte de IRE) se creó en los años 80 y trabajaba con mainframes
      El periodismo de datos no es algo nuevo

  • Simon es un excelente tecnólogo
    Aprendí bastante de sus videos y textos, y espero que esto le salga bien

  • Pensé que se refería a la unidad de cinta C2N Datasette de la C64, y me decepcionó que no fuera así
    https://en.m.wikipedia.org/wiki/Commodore_Datasette

    • Escribí mi primer programa de “base de datos” con una C64 y una Datasette
      Probablemente tenía unos 7 años y en realidad no hacía gran cosa, pero el nombre claramente es un homenaje a eso
    • Esperaba algo con el espíritu de “Floppy RAID” [1], algo más absurdo con tecnología más antigua
      1: https://youtu.be/1hc52_PWeU8
    • Yo también esperaba lo mismo
      Todavía tengo una 1531 en el ático, junto a una C16