Ejercicios del análisis del agua
Quarto, publicación reproducible, agentes de programación, Markdown, Python, EPUB, análisis de datos, k-means
Los ejercicios del análisis del agua son de tres tipos. Los ocho numerados reconstruyen el proyecto en orden; los que terminan en un punto de control dan las líneas que te ponen al día. Las tareas de transferencia que vienen después no traen prompt: escribes tú el prompt y la comprobación. Las preguntas de repaso ponen a prueba las ideas más que los comandos, y sus respuestas están al final.
Inicia el agente en ~/water-quality/, al lado de ~/quarto-workshop/. Los puntos de control del agua solo contienen fuentes, así que cada recuadro para ponerte al día también copia examples/water/data/ a tu carpeta si falta data/. Desde el Ejercicio III.3, la ruta normal copia el scripts/analysis.py terminado de cada capítulo; escribir tú el análisis es opcional. El Apéndice E — Los puntos de control de un vistazo, y respuestas tiene la tabla completa.
Ejercicio III.1: reglas, entorno y una primera mirada
Del 17 La pregunta, los datos y las reglas y el 18 Mira antes de modelar. Copia los datos, escribe AGENTS.md a partir del README de los datos, crea el entorno de uv y construye explore.qmd.
Terminaste cuando explore.html muestra los valores faltantes por zona y el IRCA por nivel, zona y año para 2010–2023.
¿Dos minutos sin avanzar? Pega esto en tu agente. Respalda tu trabajo y lleva el proyecto hasta este punto; luego sigue leyendo desde aquí.
Catch me up: follow ../quarto-workshop/checkpoints/05-water-explore/README.mdEjercicio III.2: características
Del 19 De la tabla a las características. Escribe prepare() en scripts/analysis.py: selecciona, transforma, imputa con indicadores y estandariza dentro de cada año, y guarda outputs/prepared.parquet.
Terminaste cuando la cantidad de filas conservadas que se imprime coincide con la Tabla 19.1 y outputs/prepared.parquet existe.
¿Dos minutos sin avanzar? Pega esto en tu agente. Respalda tu trabajo y lleva el proyecto hasta este punto; luego sigue leyendo desde aquí.
Catch me up: follow ../quarto-workshop/checkpoints/06-water-prepare/README.mdEjercicio III.3: clústeres
Del 20 Encontrar tipos de lugares: k-means. Copia (o construye) el paso de k-means, y crea clusters.qmd.
Terminaste cuando outputs/clusters.parquet existe, puedes decir cuál es k y por qué, y clusters.html muestra el codo, la silueta y la imagen de PCA.
¿Dos minutos sin avanzar? Pega esto en tu agente. Respalda tu trabajo y lleva el proyecto hasta este punto; luego sigue leyendo desde aquí.
Catch me up: follow ../quarto-workshop/checkpoints/07-water-cluster/README.mdEjercicio III.4: interpretación
Del 21 Interpretar los clústeres. Copia (o construye) las reglas de las variables de resultado, los perfiles y los nombres, y agrega el mapa de calor y las líneas de las variables de resultado a clusters.qmd.
Terminaste cuando el script imprime un nombre por clúster, y clusters.html muestra el mapa de calor y las variables de resultado por clúster y año.
¿Dos minutos sin avanzar? Pega esto en tu agente. Respalda tu trabajo y lleva el proyecto hasta este punto; luego sigue leyendo desde aquí.
Catch me up: follow ../quarto-workshop/checkpoints/08-water-interpret/README.mdEjercicio III.5: la comprobación dentro de cada clúster
Del 22 Correlación no es causalidad. Copia (o construye) la comprobación, y agrégala a la página de los clústeres con su oración de que es solo descriptiva.
Terminaste cuando clusters.html muestra la \(\rho\) y n de cada clúster y dice que la comprobación es descriptiva, y puedes decir cómo una variable de confusión podría sesgarla.
¿Dos minutos sin avanzar? Pega esto en tu agente. Respalda tu trabajo y lleva el proyecto hasta este punto; luego sigue leyendo desde aquí.
Catch me up: follow ../quarto-workshop/checkpoints/09-water-causation/README.mdEjercicio III.6: informe, diapositivas y libro electrónico
Del 23 Publicar en muchos formatos. Construye report.qmd (HTML, Word, PDF de Typst), slides.qmd (Reveal.js y PowerPoint) y, si quieres, el EPUB del informe.
Terminaste cuando report.docx y report.pdf abren con el mapa de calor, las variables de resultado y la figura de la comprobación dentro de cada clúster; slides.html y slides.pptx tienen seis diapositivas cada uno; y, si lo hiciste, report.epub abre con las tres figuras y las fuentes.
Hay un recuadro para ponerte al día por cada paso: usa el del paso en el que te trabaste, el informe, las diapositivas o el libro electrónico opcional.
¿Dos minutos sin avanzar? Pega esto en tu agente. Respalda tu trabajo y lleva el proyecto hasta este punto; luego sigue leyendo desde aquí.
Catch me up: follow ../quarto-workshop/checkpoints/10-water-report/README.md¿Dos minutos sin avanzar? Pega esto en tu agente. Respalda tu trabajo y lleva el proyecto hasta este punto; luego sigue leyendo desde aquí.
Catch me up: follow ../quarto-workshop/checkpoints/11-water-slides/README.md¿Dos minutos sin avanzar? Pega esto en tu agente. Respalda tu trabajo y lleva el proyecto hasta este punto; luego sigue leyendo desde aquí.
Catch me up: follow ../quarto-workshop/checkpoints/12-water-epub/README.mdEjercicio III.7: el sitio web, publicado
De la Un sitio web con un blog y la Publícalo. Convierte la carpeta en un sitio web con una entrada de blog titulada con el k real, súbela a GitHub y publícala con un uv run quarto publish gh-pages interactivo.
Terminaste cuando https://<your-github-username>.github.io/water-quality/ se abre, y su página de inicio enumera una entrada cuyo título dice el k real.
¿Dos minutos sin avanzar? Pega esto en tu agente. Respalda tu trabajo y lleva el proyecto hasta este punto; luego sigue leyendo desde aquí.
Catch me up: follow ../quarto-workshop/checkpoints/13-water-website/README.mdEjercicio III.8: cambia un dato de entrada, explica la reconstrucción
De la Cambia un dato de entrada, explica la reconstrucción, sin prompt: cambia MAX_MISSING, predice, reconstruye, explica y deshaz el cambio con git restore scripts/analysis.py.
Terminaste cuando puedes nombrar las salidas que cambiaron, las que no, qué les pasó a las dos zonas de Tunja y el mecanismo que las conecta (pre-render, outputs/, freeze: false). La respuesta modelo está en el Apéndice E — Los puntos de control de un vistazo, y respuestas.
Tareas de transferencia: tu prompt, tu comprobación
Cada tarea aplica una de las reglas del análisis del agua a algo que los capítulos no hicieron. Escribe tú el prompt, una sola tarea con nombres de archivo y de columna concretos, y escribe la comprobación antes de ejecutarlo: ¿qué vas a mirar, y qué te diría que el agente se equivocó?
Sigue a otro municipio. Elige uno que conozcas, u otra capital de departamento, y enumera los clústeres de cada una de sus zonas por año a partir de
outputs/clusters.parquet, con cada indicador que marca un valor llenado.Terminaste cuando puedes decir en qué tipo cae cada zona, si alguna pasa de un tipo a otro y cuáles de sus valores se llenaron en lugar de medirse.
La deserción dentro de cada tipo. Repite la comprobación dentro de cada clúster (¿Peor agua, más muertes infantiles?) para la deserción escolar en lugar de la mortalidad infantil, y agrégala a
clusters.qmd. El prompt tiene que llevar las reglas que se aplican a la deserción: los años que le daOUTCOME_YEARSy el nivel en el que se mide.Terminaste cuando la página muestra la \(\rho\) y n por clúster al lado de una oración que dice que la comprobación es descriptiva, y puedes explicar por qué su n difiere del de la comprobación de la mortalidad infantil.
Protege una oración con una guarda. Encuentra en
report.qmdo en la entrada de blog una oración cuyas palabras, no solo sus números, dependen de los datos, como una que nombre el tipo con la cobertura más baja. Haz que la página falle al renderizarse si los datos dejan de sostenerla, como haceassert k == 4con el título de la entrada.Terminaste cuando la página se renderiza con la guarda, y falla con un mensaje que nombra la oración cuando inviertes temporalmente la condición de la guarda.
Otro lector. Supón que una secretaría de salud regional pide una sola página: un PDF con una figura, una tabla y la oración que dice lo que la comparación no muestra. Constrúyela solo a partir de
outputs/.Terminaste cuando
brief.pdfse renderiza, cada número debrief.qmdes código en línea, el IRCA lleva la etiqueta de prestadores y la última oración dice que la comparación no establece un efecto causal de la calidad del agua.
Preguntas de repaso
- Alguien de tu equipo sugiere agregar la mortalidad infantil a las características, ya que dice más sobre el riesgo para la salud que la altitud. ¿Por qué el análisis del agua nunca agrupa según una variable de resultado?
- ¿Por qué el IRCA se llama “de prestadores” cada vez que aparece, y dónde importa más la etiqueta?
- La mayoría de las filas rurales no tienen IRCA, y el análisis las descarta. ¿Qué pueden afirmar los resultados del clúster rural, y qué no?
- ¿Por qué el análisis agrupa puntajes z estandarizados dentro de cada año, y no los valores originales?
- La silueta con el k elegido es solo 0.19. ¿Falló el agrupamiento?
- La zona rural de Tunja tuvo agua de riesgo medio en algunos de los años del análisis, y sin embargo está en un clúster que se llama “agua sin riesgo”. ¿Está mal el nombre?
- Dos títulos borrador para la última diapositiva del concejo: “El agua más segura reduce la mortalidad infantil” y, después de la comprobación dentro de cada clúster (¿Peor agua, más muertes infantiles?), “La calidad del agua no hace ninguna diferencia en la mortalidad infantil”. ¿Qué está mal en cada uno, y qué escribirías en su lugar?
- En la comprobación dentro de cada clúster, cada municipio-año de Tunja lleva el IRCA medio de sus dos zonas. ¿Por qué esa no es el agua que bebieron los bebés de Tunja, y cómo se llama leerla como si lo fuera?
- Después de cambiar
MAX_MISSINGy reconstruir, la página de los clústeres, el informe y la entrada muestran números nuevos, pero la página de exploración y el sitio en vivo no. ¿Por qué? ¿Y qué saldría mal si el sitio usarafreeze: auto?
Más allá
Piezas opcionales. Construye el dashboard y el documento técnico (Un dashboard y un documento técnico (opcional)); el proyecto terminado,
examples/water/, es su punto de control:¿Dos minutos sin avanzar? Pega esto en tu agente. Respalda tu trabajo y lleva el proyecto hasta este punto; luego sigue leyendo desde aquí.
Catch me up: follow ../quarto-workshop/examples/water/README.mdCambia la semilla. Repite el Ejercicio III.8 con
SEEDen lugar deMAX_MISSING. Los clústeres se numeran según el IRCA de su centro, así que los nombres y los colores deberían mantenerse; revisa si se mueve algo más, y por qué se mueve tan poco (Elegir k, sobre la estabilidad).Congélalo. Cambia el sitio a
freeze: auto, cambiaMAX_MISSING, renderiza y encuentra una página que conservó sus números viejos. Luego escribe la regla para invalidar el caché en elAGENTS.mddel proyecto, aplícala y deshaz los dos cambios.Los desafíos de la Más desafíos: los cambios entre tipos como diagrama de Sankey, los desviados positivos y otros métodos de agrupamiento.
Respuestas a las preguntas de repaso
- Porque el análisis compara después las variables de resultado entre los tipos. Si la mortalidad infantil ayudara a definirlos, diferirían en mortalidad infantil por construcción, y la comparación encontraría exactamente lo que se puso (Características y variables de resultado). Las variables de resultado describen los clústeres; nunca los definen.
- La tabla abierta contiene el IRCA de los sistemas operados por prestadores, no la cifra nacional. Los sistemas de autoabastecimiento, que no tienen prestador, puntúan mucho peor (Medir el riesgo del agua: el IRCA), así que los datos subestiman el riesgo donde la gente depende del autoabastecimiento, y no dicen nada donde no existe un prestador. Sin la etiqueta, un lector tomaría la cifra por la nacional, y creería que el agua es más segura de lo que es donde el autoabastecimiento es común.
- Describen solo los sistemas rurales muestreados: los que opera un prestador y se analizan. Los vacíos no son aleatorios. Dependen de la zona, y quizá del riesgo mismo, ya que las zonas que menos se puntúan son las más riesgosas donde sí se puntúan, así que cada resultado rural debería decir qué sistemas cubre (Lo rural: menos datos, más riesgo, Lo que conservan los pasos).
- k-means agrupa las filas por la distancia en línea recta, en la que una característica cuenta en proporción a su varianza. En unidades originales, la precipitación y la altitud decidirían solas los clústeres, y los tipos serían zonas climáticas. Los puntajes z le dan a cada característica el mismo peso, y calcularlos dentro de cada año elimina los desplazamientos que mueven todos los lugares a la vez, como las transferencias en pesos no ajustados por inflación, así que un clúster significa la misma posición relativa en cada año (¿Por qué cambiar la escala?, Cuatro pasos de la tabla a las características).
- No, pero los tipos se superponen: resumen un continuo más que separar islas de datos. Por eso k se elige con una regla escrita antes de ver el resultado, y por eso los tipos se describen y no se tratan como tipos naturales. Los reajustes con otras semillas coinciden, lo que solo muestra que el resultado no depende del inicio, no que sobreviviría a otros datos u otras características (Elegir k).
- Está bien para el tipo y mal para este miembro: el agua rural de Tunja nunca estuvo en el nivel sin riesgo en 2016–2023. La palabra del riesgo es el nivel de la mediana del IRCA del clúster, no una afirmación sobre cada zona-año que contiene, y k-means ubica una fila según las nueve características, varias de las cuales las dos zonas de Tunja comparten como un solo municipio (Ponerles nombre con una regla, Dónde cae Tunja). Una afirmación sobre Tunja necesita las filas de Tunja.
- Los dos leen una descripción como un efecto. El primero convierte una diferencia entre tipos en una causa, aunque la pobreza, lo rural, el acceso a los servicios de salud y el registro también difieren entre los tipos. El segundo lee una asociación débil como ausencia de efecto, aunque un registro débil puede esconder muertes y los municipios pequeños agregan ruido (Qué más podría explicarlo). En su lugar, di qué se comparó sobre qué filas, con verbos de asociación, y agrega una oración que diga que la comparación no establece un efecto causal de la calidad del agua (Escribirlo con honestidad).
- La media pesa igual las dos zonas, aunque solo una pequeña parte de la gente de Tunja vive en la rural, y queda entre dos valores que no tuvo ninguna de las dos zonas. El IRCA se mide por zona y la mortalidad infantil por municipio, así que un patrón entre lugares no tiene por qué valer para las personas que viven en ellos; leerlo como si así fuera es la falacia ecológica (Qué más podría explicarlo).
pre-rendervuelve a ejecutar el análisis, que reescribeoutputs/, yfreeze: falsevuelve a ejecutar cada página, así que cada página que leeoutputs/está al día. La página de exploración también se vuelve a ejecutar, pero lee solodata/water_municipal.csv, que no cambió (Tabla 23.1). El sitio en vivo es el último_site/que publicaste, y solo cambia cuando vuelves a publicar (Publícalo). Confreeze: auto, Quarto volvería a ejecutar una página solo cuando cambiara su propia fuente: no veoutputs/nidata/, así que las páginas conservarían sus números viejos hasta que se vaciara el caché (Un sitio web con un blog).