Anonimización de datos de código abierto y datos sintéticos para Postgres y MySQL

Hola a todos en Hada News, ¡nos da gusto anunciar el lanzamiento de Neosync!

Neosync es una plataforma de código abierto que ayuda a los desarrolladores a crear versiones anonimizadas y sintéticas de datos de producción para mejorar las pruebas locales, el debugging y la experiencia de desarrollo, sin riesgos de privacidad o seguridad.

La mayoría de los desarrolladores y equipos tienen scripts de seed de base de datos que generan algunos datos de prueba para bases de datos locales y de staging. El problema que escuchamos de los desarrolladores es que, aunque una funcionalidad parece funcionar bien en local, en producción aparecen bugs y casos límite porque los datos sembrados no representan los datos reales de producción. El segundo problema era que, al depurar errores en producción, no había una buena forma de obtener datos parecidos a los de producción.

Usar directamente los datos de producción podría resolver estos problemas, pero la mayoría de los equipos no puede hacerlo por 1. cuestiones de privacidad/seguridad y 2. por la escala.

Por eso nos propusimos resolver ambos problemas con Neosync.

Resolvemos los problemas de privacidad y seguridad usando anonimización y datos sintéticos. Con más de 40 transformadores preconstruidos (o escritos directamente en código), puedes anonimizar PII o datos sensibles para usarlos de forma segura en local. Además, en lugar de anonimizar los datos, también puedes generar desde cero datos sintéticos que se vean como datos de producción y se ajusten al esquema existente de tu base de datos.

El segundo problema es la escala. Algunas bases de datos de producción son demasiado grandes para caber en local o contienen más datos de los necesarios. También hay casos en los que quieres depurar los datos de un cliente específico y necesitas una forma de filtrar solo sus datos. Lo resolvemos con subseting. Tú pasas una consulta SQL para filtrar tablas y Neosync se encarga de toda la complejidad.

El núcleo de Neosync es su capacidad para manejar la integridad referencial. Cuando trabajas con bases de datos relacionales, hay llaves primarias, llaves foráneas, restricciones únicas, dependencias circulares dentro y entre tablas, secuencias y más.

Así que, ya sea que estés anonimizado datos o generando datos sintéticos, necesitas una forma de preservar esas restricciones y relaciones; de lo contrario, el esquema se rompe.

Neosync maneja esto de forma transparente. Si surgen problemas con restricciones, como llaves foráneas rotas, columnas nuevas que necesitan mapeo o llaves foráneas no nulas, te lo hace saber para que puedas tomar acción y corregirlo.

Así es como funciona:

1. Conecta las bases de datos de origen y destino.

2. Define el tipo de trabajo y decide si se ejecutará según un calendario. Los trabajos de sincronización sincronizan datos del origen al destino, y los trabajos de generación de datos crean datos sintéticos desde cero y los envían por streaming al destino.

3. Define los esquemas y tablas que se sincronizarán y transformarán. Puedes elegir transformadores que definan cómo anonimizar datos o generar datos sintéticos a nivel de columna, o usar datos sintéticos generados por IA para crear datos en la base de datos de destino.

4. Por último, puedes definir un subset. Esta es la forma de filtrar los datos que se envían al destino. Para hacerlo, puedes proporcionar una consulta SQL personalizada o filtros.

¡Eso es todo! Los trabajos se ejecutarán según el calendario que hayas configurado. Nosotros nos encargamos de los reintentos, el backoff y la integridad referencial en toda la base de datos. También ofrecemos API, CLI y acciones de GitHub para que puedas usar Neosync para poblar bases de datos de CI dentro de tu pipeline de CI.

Neosync es un proyecto de código abierto escrito en Go y Typescript, y puede ejecutarse con Helm o Docker compose. También ofrecemos una plataforma alojada con una generosa capa gratuita.

Esperamos sus comentarios y las contribuciones siempre son bienvenidas.