18  Mira antes de modelar

Palabras clave

Quarto, publicación reproducible, agentes de programación, Markdown, Python, EPUB, análisis de datos, k-means

Antes de cualquier modelo, mira los datos. Explorar te dice lo que un modelo va a poder ver y lo que no: qué columnas están casi vacías, qué zonas nunca se miden y si una serie cambia de nivel por razones que no tienen nada que ver con lo que mide. Nada de eso aparece como un error. Un algoritmo de agrupamiento agrupará de buena gana filas que solo se volvieron comparables porque se llenaron sus vacíos, y el gráfico de una serie cuyo método cambió dibujará una tendencia que no existe.

Los datos del agua tienen dos sorpresas de ese tipo que un gráfico puede mostrar, y varias más que solo se ven de cerca, en un solo lugar. Para esas, este capítulo presenta a Tunja, el municipio que sigue el resto de la parte.

En este capítulo
  • Hacerle cuatro preguntas a cualquier tabla antes de modelarla.
  • Interpretar dónde falta el IRCA, y decidir qué permite afirmar al análisis descartar esas filas.
  • Decidir si un salto en una serie es un avance o un cambio de método.
  • Revisar la primera página del agente contra resultados que ya conoces.

Partes de~/water-quality/ tal como lo dejó el Capítulo 17.

Construyesexplore.qmd, renderizado como explore.html.

Punto de controlcheckpoints/05-water-explore/, que también contiene el trabajo del Capítulo 17.

18.1 Para qué sirve explorar

Vale la pena responder cuatro preguntas antes de modelar cualquier tabla, y este capítulo se las hace a los datos del agua:

  1. ¿Qué tan grande es? Filas y columnas, y qué es una fila.
  2. ¿Qué falta, y dónde? Los faltantes por columna y por grupo (aquí, por zona).
  3. ¿Cómo se distribuyen los valores clave? Para el IRCA, el conteo de filas en cada nivel de riesgo.
  4. ¿Cómo se mueven en el tiempo? Para el IRCA, su mediana (el valor del medio, con la mitad de las filas por debajo) por año y zona.

Las respuestas deciden lo que puede afirmar el análisis. Si un grupo está casi todo vacío, las conclusiones sobre él se apoyan en la minoría que se midió, y esa minoría puede no ser típica.

18.2 Lo rural: menos datos, más riesgo

Dos barras horizontales apiladas, urbana y rural. La barra urbana es sobre todo IRCA sin riesgo y de riesgo bajo, con una pequeña parte rayada sin datos. Más de la mitad de la barra rural es rayada, sin datos, y la mayor parte del resto está en el nivel de riesgo alto.
Figura 18.1: Todas las filas, 2010–2023, incluidas San Andrés y las áreas no municipalizadas, por zona: sin IRCA reportado (rayado) y el nivel de riesgo de la Resolución 2115 del resto. IRCA de prestadores, datos abiertos del INS (datos.gov.co nxt2-39c3).

Lado a lado, la Figura 18.1 muestra las 31,416 filas. El 53% de las filas rurales no tiene ningún IRCA, frente al 14% de las urbanas, porque muchos sistemas rurales nunca se muestrean, o no los opera un prestador y por eso quedan fuera de la tabla de prestadores. Entre las filas rurales que sí tienen un valor, el 51% cae en los niveles alto o inviable sanitariamente, frente al 12% de las urbanas. Esas proporciones juntan los catorce años. Solo en 2023, fueron del 28% y del 6%, las cifras con las que empieza el análisis del agua, después de las caídas del IRCA rural que muestra la Figura 18.2 más abajo.

Los dos hechos se suman en la peor dirección: las zonas con peores puntajes son también las que menos se puntúan. Los vacíos no son aleatorios. Dependen de la zona, que los datos registran, y quizá del riesgo mismo, que no registran: en estadística, al segundo tipo se le llama faltantes no aleatorios, y ningún relleno puede repararlo. Cualquier análisis que descarte las filas sin IRCA, como debe hacerlo el del análisis del agua, describe solo los sistemas rurales muestreados, y debería decirlo.

Detente y piensa

Supón que cada IRCA rural faltante se llenara con la mediana de las filas rurales con puntaje. ¿El agua rural se vería entonces más segura o más riesgosa de lo que realmente es?

Respuesta

Probablemente más segura, aunque nadie puede comprobarlo. Muchos sistemas sin puntaje son sistemas que no opera ningún prestador, y los sistemas de autoabastecimiento puntúan mucho peor a nivel nacional (Tabla 17.1), así que el relleno convertiría “desconocido, y probablemente peor” en “típico”. Por eso el análisis descarta estas filas en lugar de llenarlas (Sección 19.1).

Dos líneas a lo largo de los años 2010 a 2023. La mediana urbana es baja y desciende suavemente, del nivel de riesgo bajo en los primeros años a menos de 5 desde mediados de la década. La mediana rural es mucho más alta y casi plana hasta 2015, luego cae bruscamente en 2016 y otra vez en 2020, y termina en el nivel de riesgo bajo.
Figura 18.2: Mediana del IRCA de prestadores por año y zona, 2010–2023, sobre las filas que lo reportan.

La cuarta pregunta importa, como muestra la Figura 18.2. La mediana rural cae bruscamente en 2016 y otra vez en 2020. Eso podría ser una mejora del agua rural, o un cambio en qué sistemas se muestrearon; el README de los datos advierte que la caída de 2020 puede reflejar el muestreo, y los datos abiertos no pueden distinguir lo uno de lo otro. Un análisis que compara años no debería leer la caída como un avance sin evidencia de fuera de la tabla.

La mediana rural también termina muy por debajo de la cifra rural nacional de la Tabla 17.1: 13.4 en 2023, en el nivel bajo, frente al 36.5 del INCA. Dos cosas explican la brecha. La tabla contiene solo sistemas operados por prestadores (Sección 17.2), y la mediana de las zonas es la zona del medio, a la que las peores zonas no arrastran hacia arriba, y que no está ponderada por cuánta gente bebe esa agua.

18.3 Un municipio para seguir: Tunja

Los agregados esconden los detalles que hacen que una variable sea confiable o no, así que de aquí en adelante esta parte sigue a un municipio a lo largo de cada paso. Tunja, la capital del departamento de Boyacá, es un buen caso por tres razones que están en sus filas. Como capital de departamento, carga con la advertencia sobre la cobertura que tienen todas las capitales. A diferencia de la mayoría de los municipios, tiene un IRCA para las dos zonas en todos los años: solo 117 de los 1,103 municipios tienen uno para su zona rural en los catorce años, así que el análisis nunca va a perder a Tunja por falta de un puntaje. Y sus dos zonas difieren: su agua rural puntuó en el nivel de riesgo alto todos los años de 2010 a 2014, mientras que su agua urbana nunca puntuó por encima de 11.9.

Tunja tiene 28 filas, dos zonas a lo largo de catorce años. Las variables de zona, como el IRCA, difieren entre sus dos filas de un año; las municipales, como la precipitación y la mortalidad infantil, se repiten en las dos (Tabla 17.2), así que el explorador y cada resumen las cuentan una vez. Mirar las filas una variable a la vez muestra varias de las advertencias del README en un solo lugar (Figura 18.3).

Figura 18.3: Las 28 filas de Tunja, a partir de water_municipal.csv. Elige una vista (los datos, un resumen, una distribución, una serie de tiempo o un diagrama de dispersión), luego una variable y una zona. Las variables que repiten el mismo valor en las filas de las dos zonas son municipales y se cuentan una vez. Algunas palabras del explorador están en inglés.
Detente y piensa

La mortalidad infantil de Tunja cae en 2017. ¿Es un avance?

Respuesta

No con esta evidencia. La serie cambia de método ese año, de lo que parecen estimaciones modeladas a tasas observadas (el README de los datos, advertencia 8), así que la caída puede ser el cambio mismo, y la tabla no puede decirlo. Una serie así solo se compara dentro de un mismo método.

Vale la pena encontrar cinco cosas (Tabla 18.1). Como Tunja es capital de departamento, su cobertura no tiene separación urbana y rural, así que el explorador usa el total del municipio. Ese total se reporta exactamente como 0 en 2021, lo que, al lado de sus años vecinos, probablemente significa “no reportado” más que “sin servicio”; esos puntos se dibujan huecos. El índice fiscal idf termina en 2020 y idf_new empieza ahí, en otra escala, así que los dos nunca deben unirse en una sola línea.

Tabla 18.1: Cinco advertencias de data/README.md, tal como aparecen en las filas de Tunja, y lo que hace el análisis con cada una.
Advertencia En las filas de Tunja El análisis
Sin separación por zona para la cobertura de las capitales solo el total municipal lo usa para llenar, marcado (Sección 19.1)
Un 0 puede significar “no reportado” cobertura 0 en 2021 lo conserva (Sección 19.2)
Dos índices fiscales idf termina en 2020, empieza idf_new no usa ninguno (Sección 17.5)
El método nuevo de la mortalidad infantil una caída en 2017 solo 2017–2019 y 2021–2023 (Sección 21.4)
Saber 11 en algunos años 2014–2017, 2019, 2020 y 2022 solo los años publicados (Sección 21.4)
TipEn la práctica

Los resúmenes del explorador nunca juntan las dos zonas. Promediar los valores de la pequeña población rural con los de la población urbana, mucho más grande, no describiría a ninguna de las dos. La misma precaución vale para cada comparación de esta parte: compara lo comparable, y di de qué filas sale un número.

18.4 La primera página: explore.qmd

Pídele a tu agente
Lee data/README.md. Crea explore.qmd a partir de data/water_municipal.csv (divipola como texto): filas y columnas, % de faltantes por columna según `zone`, conteos del IRCA por nivel de la Resolución 2115 y `zone`, y la mediana del IRCA por `year` y `zone`, con la etiqueta IRCA de prestadores (utility-supplied, prestadores). Renderízalo; informa los errores.
Probablemente ejecute

escribe explore.qmd · uv run quarto render explore.qmd

Tú haces

abres explore.html en tu navegador

“divipola como texto” importa: los códigos tienen ceros a la izquierda (05001 es Medellín), y un código leído como número los pierde, y con ellos la unión con cualquier otra tabla.

AdvertenciaError frecuente

Revisa la tabla de faltantes antes de confiar en la página. irca debería faltar en más o menos el 53% de las filas rurales y el 14% de las urbanas. Si no está mucho más vacía en las filas rurales que en las urbanas, probablemente el agente contó la columna equivocada, o contó filas en lugar de valores. Ahora sabes la respuesta que debería dar la tabla (Figura 18.1), que es exactamente lo que hace posible la revisión.

ImportantePruébalo

Ejecuta el prompt y lee la página.

Terminaste cuando explore.html muestra las filas y las columnas, los valores faltantes por zona, y el IRCA por nivel, zona y año para 2010–2023.

¿Dos minutos sin avanzar? Pega esto en tu agente. Respalda tu trabajo y lleva el proyecto hasta este punto; luego sigue leyendo desde aquí.

Catch me up: follow ../quarto-workshop/checkpoints/05-water-explore/README.md

Este recuadro para ponerte al día también cubre el Capítulo 17: restaura las reglas y el entorno además de explore.qmd, y copia data/ si falta, porque los puntos de control del agua solo contienen fuentes.

Resumen

  • Antes de modelar, pregúntale a una tabla su tamaño, qué falta y dónde, cómo se distribuyen los valores clave y cómo se mueven en el tiempo.
  • Las filas rurales casi no tienen IRCA y, donde lo tienen, son más riesgosas, así que los resultados describen solo los sistemas muestreados.
  • Los vacíos pueden depender del riesgo mismo, así que llenarlos inventaría una calidad del agua que nadie midió.
  • Un salto en una serie puede ser un cambio de método o de muestreo, que la tabla no puede distinguir de un cambio real.
  • Mantén separadas las zonas, cuenta una vez las variables municipales y lee los códigos como texto.

Ver los vacíos no es lo mismo que decidir qué hacer con ellos: el capítulo siguiente decide qué filas y qué números va a ver el agrupamiento, y cuenta lo que cuesta cada decisión.

Lecturas adicionales

  • examples/water/data/README.md, “Known gaps and caveats”, en el repositorio del taller: la lista completa de las trampas de los datos, con cómo se encontró cada una.
  • pandas, Working with missing data (consultado el 2026-11-12).
  • Quarto, Tables: tablas calculadas y tablas de Markdown con pie (consultado el 2026-11-12).