Calidad de Datos Abiertos

Entidad convocante:

Subdirección General de Transparencia. Dirección General de Transparencia y Calidad del Ayuntamiento de Madrid

Reto: 

¿Cómo podríamos integrar en el proceso de publicación de datos abiertos una herramienta que mejore la calidad de estos, automatizando validaciones y acompañando a las unidades antes de su publicación?

Subretos:

1. ¿Cómo podríamos apoyar a las unidades publicadoras para que los conjuntos de datos cumplan con los criterios de calidad?
2. ¿Cómo podríamos facilitar la validación de los datos abiertos para detectar el mayor número de errores posibles y mejorar su calidad desde el origen?
3. ¿Cómo podríamos sistematizar la información sobre el uso y el feedback de los reutilizadores (dudas, consultas, solicitudes de nuevos datasets...) para enriquecer los conjuntos de datos, priorizar mejoras y construir un sistema de aprendizaje continuo?

Contexto:

La Dirección General de Transparencia del Ayuntamiento de Madrid gestiona la publicación de datos abiertos de la ciudad a través del portal datos.madrid.es. Aunque los datos se generan en sistemas de distintas unidades publicadoras —como direcciones generales, organismos autónomos o empresas públicas municipales—, actualmente el proceso de validación es compartido entre las unidades responsables de los datos y el equipo de Transparencia y, la publicación, está centralizada en este último.

Problema identificado:

La centralización de gran parte del proceso por parte del equipo de Transparencia, enfrenta importantes limitaciones operativas, especialmente ante el volumen de datos gestionados: más de 600 conjuntos activos, muchos de ellos con procesos manuales de revisión y actualización. Las validaciones actuales se limitan, en algunos casos, a comprobar la estructura de un único archivo y no permiten realizar comparativas entre versiones, detectar inconsistencias o ejecutar análisis exhaustivos de calidad. Además, la cantidad de trabajo manual impide establecer controles sistemáticossobre la frecuencia de actualización o el estado general de los conjuntos, lo que incrementa considerablemente la carga operativa del equipo.

Por otra parte, aunque las unidades publicadoras reciben formación inicial y una guía metodológica —apoyo que ha sido clave para generar confianza, especialmente en unidades con menor experiencia previa en datos abiertos—, hay errores que persisten en las publicaciones posteriores. Esto obliga al equipo de Transparencia, compuesto por 3-4 personas, a asumir validaciones manuales continuas que ralentizan el servicio y dificultan la escalabilidad del modelo.

Asimismo, el sistema actual necesitaría mecanismos estructurados para recoger y analizar el feedback de los reutilizadores (dudas, consultas, solicitudes de nuevos datasets...) para enriquecer los conjuntos de datos, priorizar mejoras y construir un sistema de aprendizaje continuo. Esto permitiría identificar patrones de mejora, errores recurrentes o oportunidades para priorizar nuevas publicaciones en función de la demanda real.

En los próximos meses, el equipo de Transparencia llevará a cabo la migración del portal a la plataforma CKAN, lo que abre una oportunidad clave para rediseñar este modelo. CKAN permitirá descentralizar tareas de publicación y validación, automatizar flujos, establecer trazabilidad en las actualizaciones y redefinir el rol del equipo como facilitador. No obstante, para que esta transición sea efectiva, será necesario incorporar soluciones tecnológicas que acompañen a las unidades en el proceso, garanticen la calidad desde el origen y activen un sistema de mejora continua basado en el uso real de los datos abiertos.

Actores implicados:

Unidades responsables publicadoras de datos: Direcciones generales, organismos autónomos y empresas públicas que generan los conjuntos de datos abiertos. Equipo de análisis de la Subdirección General de Transparencia: Encargados de coordinar, validar (conjuntamente con las unidades responsables) y publicar los datos abiertos. Además, forma y acompaña a las unidades publicadoras para mejorar la calidad de los datos y fomentar buenas prácticas. Reutilizadores de datos: Ciudadanía, empresas, universidades, investigadores, periodistas... que utilizan los datos abiertos.

Stack tecnológico y datos disponibles:

CKAN: plataforma de código abierto para gestionar y publicar datos estructurados. Permite catalogar, describir y compartir conjuntos de datos de forma sencilla, tanto a través de una interfaz web como mediante APIs. El equipo de transparencia tiene previsto la migración del portal de datos abierto a esta plataforma.

A qué accedes:

La entidad seleccionada podrá desarrollar un caso de uso real con el acompañamiento del promotor del reto, accediendo además a financiación para el piloto —hasta 225.509,15 € (IVA incluido), a repartir entre las soluciones de los ocho retos. Se tendrá en cuenta la complejidad del desarrollo de la solución para la asignación de recursos.  

El proceso incluye apoyo técnico y estratégico, mentorías adaptadas a las necesidades y seguimiento en la implementación. Además, las soluciones recibirán visibilidad a través de los canales del programa así como en eventos específicos como Demo Days.

Plazos y proceso:

Toda la información se encuentra detallada en las bases de la convocatoria de DesafIA Madrid. Accede a través de este link. 

IMPORTANTE: Utiliza la siguiente plantilla para preparar tu propuesta y pégala en el formulario.