Es habitual llegar a un proyecto de calidad de datos queriendo escribir reglas directamente: "que el email no esté vacío", "que la fecha sea válida", "que el ID sea único". El problema es que esas reglas se basan en supuestos sobre cómo son los datos, no en cómo son realmente. El data profiling es el paso que cierra esa brecha: es el análisis sistemático de un conjunto de datos para entender su estructura, contenido y relaciones antes de decidir qué reglas tienen sentido.
Qué es exactamente el data profiling
Data profiling es el proceso de examinar los datos disponibles en una fuente y recopilar estadísticas e información sobre ellos: tipos de dato reales (no los declarados en el esquema), rangos de valores, porcentaje de nulos, valores únicos, patrones de formato y relaciones entre columnas o tablas. No corrige nada ni impone reglas; simplemente documenta cómo son los datos hoy, con defectos incluidos.
Los tres tipos de profiling
1. Structure discovery (descubrimiento de estructura)
Analiza si los datos siguen el formato y tipo esperado: ¿cuántos registros de la columna "fecha_nacimiento" son realmente fechas parseables? ¿Cuántos "código_postal" tienen la longitud correcta? Aquí aparecen las primeras señales de inconsistencia estructural.
2. Content discovery (descubrimiento de contenido)
Examina la calidad de los valores individuales: nulos, duplicados, valores atípicos, rangos fuera de lo esperado (una edad de 340 años, un importe negativo en una columna que no debería tenerlo). Es donde sueles encontrar los defectos más evidentes.
3. Relationship discovery (descubrimiento de relaciones)
Identifica cómo se conectan las tablas entre sí: claves foráneas implícitas no documentadas, dependencias funcionales, redundancias entre columnas que deberían ser la misma fuente de verdad y no lo son.
Técnicas y métricas habituales
| Técnica | Qué responde |
|---|---|
| Análisis de nulos por columna | ¿Qué porcentaje de esta columna está vacío? ¿Es sistemático (siempre el mismo origen) o disperso? |
| Cardinalidad y unicidad | ¿Cuántos valores distintos hay? ¿Coincide con lo que debería ser una clave única? |
| Distribución de valores | ¿Hay concentración anómala en un valor (ej. el 80% de los pedidos con "país = España" cuando el negocio es internacional)? |
| Detección de patrones | ¿El formato de teléfono, email o ID sigue un patrón consistente o hay múltiples formatos mezclados? |
| Análisis cruzado entre columnas | ¿La fecha de fin es siempre posterior a la fecha de inicio? ¿El importe con impuestos es coherente con el importe base? |
Herramientas para hacerlo
No siempre necesitas una plataforma dedicada. Para volúmenes moderados, librerías como pandas-profiling (ahora ydata-profiling) o great_expectations en modo exploratorio generan un informe completo en minutos. Para volúmenes de producción a gran escala, herramientas como Soda, Monte Carlo o los módulos de profiling de catálogos como Collibra automatizan el proceso y lo mantienen actualizado según cambian los datos. Repasa la comparativa de herramientas de data quality si necesitas elegir una.
Del profiling a las reglas: un ejemplo
Supón que perfilas una tabla de clientes y descubres que la columna "email" tiene un 3% de nulos, que un 0,4% de los valores no tienen formato de email válido, y que existen 120 registros duplicados con el mismo email pero distinto ID de cliente. Ese hallazgo, no una suposición genérica, es lo que te permite definir umbrales razonables: quizá el negocio acepta hasta un 2% de nulos en email porque no es obligatorio en el alta, pero cero tolerancia a duplicados porque afecta a facturación. Sin profiling previo, habrías fijado un umbral arbitrario que o es demasiado laxo o genera alertas constantes que nadie atiende.
Errores comunes
- Perfilar una sola vez y no repetirlo: los datos cambian con cada nueva fuente o integración. El profiling debería repetirse cuando cambia el esquema o se añade una fuente nueva, no ser un ejercicio de una sola vez.
- Perfilar solo columnas técnicas y no las de negocio: los campos que más importan para decisiones (importes, fechas de vencimiento, estados) suelen recibir menos atención que los IDs técnicos.
- Confundir profiling con limpieza: profiling documenta, no corrige. La corrección viene después, en el proceso de data cleansing.
Si vienes de definir tus dimensiones de calidad y ahora necesitas convertirlas en umbrales concretos, el profiling es exactamente el puente que te falta antes de escribir la primera regla.