Sobre la calidad de los datos: principios básicos

Los datos no tienen una calidad innata; se puede considerar que su calidad es mayor cuanto más grande sea el valor que generan en un caso de uso específico.

La calidad de los datos se compone de cuatro niveles: datos individuales, corpus completo, adecuación al propósito y resultados de negocio. Los niveles inferiores hacen posibles los superiores, y los superiores dan una razón para invertir en los inferiores.

Incluso datos de ingresos precisos pueden ser adecuados para contabilidad, pero no para la gestión en tiempo real ni para pronosticar ingresos futuros, por lo que la evaluación de calidad de los mismos datos cambia según el usuario y el objetivo.

Si uno se concentra solo en revisar atributos, puede crear datos perfectos y aun así no generar valor de negocio; por el contrario, si solo persigue resultados e ignora la calidad básica, puede terminar construyendo un sistema insostenible.

La gestión de la calidad de los datos no debe limitarse a limpiar datos, sino incluir también la medición de la ruta datos → cambio en decisiones → resultado de negocio, y ajustar la inversión según esos resultados.

Por qué no basta con las definiciones estándar

ISO 8000 define los datos de calidad como datos que cumplen requisitos especificados, pero es una definición circular que, aunque precisa, no ayuda mucho al juicio práctico.

ISO 25012 define la calidad de los datos mediante 15 atributos, entre ellos exactitud, completitud y consistencia.

Es útil para revisar el estado de datos individuales, pero no aborda si esos datos realmente contribuyen a su uso real y a los resultados de negocio.

La razón por la que distintos profesionales evalúan de forma diferente los mismos datos es que juzgan con base en distintos niveles de calidad y distintos fines de uso.

La calidad de los datos surge del valor de los datos

Los datos no tienen valor intrínseco; lo que determina su valor es qué se puede hacer con ellos.

La lógica utilizada en
Cómo fijar el precio de los activos de datos
puede aplicarse también a la calidad.

La calidad de los datos es una característica que aumenta el valor de los datos.

Como el valor de los datos es función de cómo se usan, la calidad de los datos también se determina según su forma de uso.

El objetivo de mejorar la calidad es poder hacer más cosas con los datos, o hacer lo mismo mejor, más rápido y más barato, o habilitar cosas distintas a las que antes eran posibles.

1.er nivel: calidad de los datos individuales

La calidad granular evalúa unidades de datos individuales, como registros de base de datos, oraciones, pares de pregunta-respuesta o ejemplos etiquetados.

Entre los principales atributos de evaluación están la exactitud, precisión, actualidad, adecuación de formato, consistencia interna, plausibilidad, procedencia, interpretabilidad y confiabilidad.

Cada atributo puede evaluarse sobre una unidad individual sin necesidad de revisar otros registros.

Aun así, toda evaluación presupone un contexto de uso.

Qué se toma como criterio de verdad.

Con respecto a qué momento se considera actual.

De qué forma puede utilizarse.

En qué contexto se considera consistente.

Calidad individual de los datos de ingresos

Si se interpretan mal las condiciones contractuales, renovaciones, descuentos o la diferencia entre ingresos únicos e ingresos recurrentes, un ítem individual de ingresos puede estar equivocado desde el inicio.

Aunque se registre correctamente, el reconocimiento de ingresos de marketplace como monto bruto (gross) o neto (net) depende de la estructura del negocio.

La evaluación cambia según si la empresa proporciona valor directamente, fija precios y además asume la responsabilidad del servicio,

o si está más cerca de un intermediario que conecta compradores y vendedores.

Incluso los auditores pueden llegar a conclusiones distintas, por lo que la exactitud misma no puede separarse del propósito de uso y del contexto contable.

2.º nivel: calidad del conjunto completo de datos

Aunque todos los registros individuales sean correctos, no hay garantía de que la calidad del corpus completo (aggregate quality) sea alta.

A nivel global deben evaluarse los siguientes atributos:

Cobertura y existencia de omisiones.

Eliminación de duplicados.

Granularidad de los datos.

Representatividad y equilibrio.

Consistencia entre registros y etiquetas.

Distribución y estadísticas agregadas.

Cantidad de datos y suficiencia.

Continuidad temporal.

Posibilidad de combinación con otros datos.

Drift a lo largo del tiempo y el espacio.

Estos atributos no se ven en datos individuales; aparecen en las relaciones y distribuciones del conjunto completo.

Hay que verificar si todos los datos existen, si están suficientemente depurados, si reflejan la realidad y si son estables a lo largo del tiempo y el espacio.

Calidad global de los datos de ingresos

Aunque cada evento de ingreso se haya registrado con exactitud, pueden seguir existiendo los siguientes problemas:

La definición de ingreso cambia en medio de los datos históricos.

Faltan algunos ingresos.

El mismo ingreso se cuenta dos veces.

Los resultados de agregación entre sí no coinciden.

Un conjunto de datos que refleja perfectamente a los clientes actuales puede ser de alta calidad para contabilidad y reportes, pero si difiere de la composición de clientes futuros, puede ser de baja calidad para predecir ingresos por expansión.

La representatividad de un conjunto de datos debe evaluarse no con base en los datos mismos, sino en el objetivo al que se quiere aplicar.

3.er nivel: adecuación al propósito

La adecuación al propósito (fitness for purpose) evalúa la interacción entre los datos y la aplicación real, más que los atributos de los datos en sí.

Los estados financieros no son adecuados para campañas publicitarias, y los perfiles de clientes no son adecuados para análisis bursátil, pero al cambiar el uso, cada uno puede convertirse en un dato indispensable.

Adecuación informativa

Evalúa si los datos pueden responder la pregunta que se busca resolver.

Incluye relevancia, pertinencia, suficiencia y necesidad.

Que los datos sean correctos y que proporcionen la información necesaria son problemas distintos.

Adecuación operativa

Evalúa si los datos pueden utilizarse eficazmente en un entorno real.

Incluye disponibilidad, licencias y cumplimiento regulatorio, interoperabilidad y balance entre riesgo y recompensa.

Aunque la información sea suficiente, si no se puede acceder a ella en el momento necesario o no puede usarse legalmente, no es adecuada para el propósito.

Diferencias por objetivo en los datos de ingresos

Para cerrar perfectamente los ingresos de fin de mes, incluso un muy buen equipo financiero necesita varios días, pero el CEO puede tener que decidir sobre inversión, recortes de costos, contratación o despidos dentro del mismo mes en que los ingresos se desvían de lo esperado.

Los ingresos cerrados, de alta calidad para un auditor, pueden ser datos demasiado tardíos para la operación en tiempo real.

Incluso información financiera detallada puede no ajustarse a las necesidades de cada usuario.

La junta directiva quiere un resumen clave.

El CMO quiere conocer la contribución del marketing.

El equipo de ventas quiere saber el tamaño de sus comisiones.

Los detalles, matices, advertencias y múltiples ejes de análisis que aumentan la calidad para el equipo financiero pueden, por el contrario, reducir la usabilidad para otros usuarios.

4.º nivel: calidad de resultados de negocio

Aunque la calidad individual, la calidad global y la adecuación al propósito sean excelentes, eso no garantiza que los datos generen valor real para el negocio.

La calidad de resultados de negocio (business-outcome quality) evalúa cuánto mejoraron los resultados de la empresa gracias a los datos.

Puede medirse en aspectos como:

Mejora en puntajes de evaluación.

Mayor tasa de retención de ingresos empresariales.

Mejora del rendimiento ajustado por riesgo.

Aumento de la tasa de conversión de clientes.

Puede dividirse en tres preguntas:

¿Los datos realmente se usaron?

¿Qué cambió después de usarlos?

¿Ese cambio valió la inversión?

Medición del uso y de los resultados

El uso de los datos se mide por la tasa de adopción, la influencia sobre las decisiones y el grado de cambio en el comportamiento.

El cambio en los resultados se evalúa por la diferencia entre antes y después, la contribución precisa y la importancia del cambio.

El valor del cambio también debe considerar retorno sobre la inversión, momento en que apareció el resultado, duración y riesgo.

Cuando fracasan datos de ingresos de alta calidad

Incluso si se cambia el sistema de comisiones de ventas con base en datos de ingresos exactos, sin sesgo y alineados con las necesidades del usuario, puede que no se obtenga el resultado de negocio esperado.

Si el equipo comercial optimiza la nueva fórmula, pueden ocurrir las siguientes conductas:

Adelantar ingresos futuros para obtener pagos acelerados.

Ofrecer descuentos que dañan el margen.

Perseguir contratos de baja calidad que se cierran fácilmente, en vez de contratos difíciles pero de alto valor a largo plazo.

Aunque los datos en sí sean de alta calidad en todos los niveles inferiores, la institución y los cambios de comportamiento basados en ellos pueden destruir valor de negocio.

En el nivel más alto, más que seguir depurando los datos en sí, se necesita el siguiente proceso:

Definir con mejores hipótesis el valor que crearán los datos.

Instrumentar la ruta desde el uso de los datos hasta la acción y el resultado.

Reducir o ampliar la inversión según los resultados reales.

La escalera de la calidad

Los cuatro niveles no son checklists separados, sino una escalera ordenada e interdependiente.

Para llegar a la adecuación al propósito y a los resultados de negocio, primero debe existir calidad en los datos individuales y en el conjunto completo.

A la inversa, la calidad de los niveles inferiores no crea valor por sí sola, y solo los resultados de los niveles superiores justifican la inversión.

En los niveles bajos hay que confirmar que la atención a los atributos no esté haciendo olvidar los casos de uso de negocio.

En los niveles altos hay que confirmar que la obsesión por el resultado no esté haciendo ignorar la higiene básica de los datos.

Cómo fallan los estándares existentes

Un enfoque al estilo ISO 25012 puede caer en la trampa del checklist: medir muchísimos atributos de calidad sin que el negocio mejore.

Un enfoque al estilo ISO 8000 se queda en definir que los datos que producen buenos resultados son buenos datos, sin indicar concretamente qué debe mejorarse.

La escalera de la calidad conecta en una sola estructura las revisiones accionables de los niveles inferiores con el juicio de valor de los niveles superiores.

Conflictos que surgen en distintos niveles

Los debates sobre calidad de datos suelen aparecer cuando se habla desde distintos escalones de la escalera.

Un ingeniero de operaciones de datos prioriza etiquetas precisas y el estado de los registros, pero esos datos pueden no usarse en el negocio.

El CEO da prioridad al modelo operativo ideal y a los resultados de negocio, pero ese modelo puede estar construido sobre datos de entrada poco confiables.

Cuando surge un problema, una parte busca corregir datos detallados y la otra busca una nueva estrategia, pero ninguna de las dos resuelve todos los problemas por sí sola.

Tres formas de saltarse niveles
Fracaso de lanzamiento

Es el caso en que se pone un énfasis excesivo en los niveles inferiores, se perfeccionan la calidad individual, la calidad global y la adecuación al propósito, y aun así no se genera ningún valor de negocio.

Los niveles inferiores son concretos, medibles y fáciles de mejorar directamente, por lo que suelen convertirse en el principal foco de la organización.

El hecho de que haya muchos elementos medibles puede hacer que el trabajo de ordenamiento de datos se vuelva el objetivo, en vez del resultado real.

Fracaso de base

Es el caso en que se ignoran los niveles inferiores y se intenta optimizar directamente el valor de negocio.

Si el objetivo es claro y el ciclo de retroalimentación es lo bastante rápido, puede funcionar temporalmente.

Pero un enfoque donde solo importan los resultados, aunque haya problemas de exactitud, procedencia o actualidad, por lo general no es sostenible, y tarde o temprano afloran los problemas de los datos base.

Usar la procedencia como evidencia de calidad

Se puede reducir la inversión en validación interna dejando que una fuente externa confiable garantice en su lugar la calidad de los datos individuales y del conjunto completo.

Elegir un proveedor especializado en una industria específica también puede reducir la carga de verificar la adecuación al propósito.

Aun así, el valor de negocio debe crearlo directamente la organización que compra los datos.

La confianza en la procedencia de los datos no surge automáticamente.

Se forma con tiempo, recursos y resultados repetidos.

Se mantiene mientras los datos sigan funcionando.

Y se debilita rápido cuando no producen los resultados esperados.

Siguiente paso

La calidad de los datos no es una propiedad absoluta que exista dentro de los datos mismos, sino algo que aparece en el propósito de uso y en el proceso de creación de valor.

Una gestión eficaz de la calidad exige revisar los cuatro niveles y no quedarse solo en uno de ellos.

En una próxima entrega se abordará cómo la IA cambia la intuición existente sobre la calidad de los datos.