Evaluación ex-post de intervenciones en salud

No basta: que un indicador mejore después de una intervención no demuestra que la mejora se deba a ella, porque pudo deberse a la tendencia que ya venía de antes, a la estacionalidad o a un cambio simultáneo. Aplica a cualquier programa o política ya implementada que se quiera evaluar a partir del antes-y-después. Comparar el valor previo con el posterior atribuye a la intervención todo lo que cambió en ese periodo, incluido lo que habría cambiado igual sin ella. La evaluación ex-post responde a la pregunta correcta: no si el indicador mejoró, sino si mejoró más, o de forma distinta, de lo que habría ocurrido sin la intervención. Para eso se construye un escenario contrafactual explícito, qué habría pasado sin la intervención, y se estima el efecto como la diferencia respecto a ese escenario, no respecto al punto de partida.

La evaluación ex-post estima el efecto atribuible a una intervención que ya se ha implementado, sobre datos reales; la modelización ex-ante proyecta el impacto potencial de una intervención antes de desplegarla, sobre supuestos y evidencia previa. Aplica a quien duda cuál de los dos servicios necesita porque ambos hablan de "impacto". La diferencia es temporal y de naturaleza del dato: ex-post trabaja con lo que ya ocurrió y busca atribuir un cambio a la intervención; ex-ante trabaja antes de actuar y busca anticipar qué cabría esperar. Si la intervención ya está en marcha o concluida y la pregunta es si funcionó y a quién, es ex-post. Si todavía no se ha desplegado y la pregunta es si conviene hacerlo o qué efecto cabría esperar, es la modelización ex-ante de intervenciones, el servicio hermano. No responden a la misma decisión: pueden compartir lógica contrafactual y de modelización, pero una mira hacia atrás sobre datos y la otra hacia delante sobre supuestos.

Se necesita la fecha exacta de implementación y datos de outcome que cubran el periodo anterior y posterior, idealmente con una serie preintervención suficientemente larga y, cuando el diseño lo requiera, un grupo de comparación o unidades no expuestas. Aplica a toda evaluación ex-post, donde la calidad del contrafactual depende de tener con qué construirlo. Según el diseño, eso significa una serie histórica para series temporales interrumpidas, unidades comparables para difference-in-differences o control sintético, o covariables suficientes para equilibrar grupos. También importa conocer si hubo cambios en la implementación, cointervenciones o modificaciones del sistema de registro durante el periodo evaluado, porque en salud pública muchas intervenciones no se implementan de golpe ni de forma homogénea. El cliente aporta los datos y conoce el detalle de cómo y cuándo se implementó la intervención; el servicio fija el marco temporal, identifica el grupo de comparación o las unidades donantes y evalúa la plausibilidad de los supuestos antes de estimar. No siempre hace falta que los datos lleguen listos, pero sí que exista una base preintervención y una fuente de comparación defendible: sin una estrategia contrafactual defendible no hay estimación causal del efecto, solo descripción del antes-y-después.

El contrafactual no se observa, se estima, a partir de la información disponible sobre cómo evolucionaban las unidades no expuestas o la propia unidad antes de la intervención. Aplica a todo diseño cuasi-experimental, que es precisamente el conjunto de métodos pensados para reconstruir ese escenario no observado. Difference-in-differences compara la evolución de unidades expuestas y no expuestas cuando existen unos y otros, o exposición escalonada en el tiempo; las series temporales interrumpidas proyectan la tendencia previa de una unidad para ver si se rompe tras la intervención; el control sintético construye una unidad de comparación combinando varias unidades donantes que reproducen el comportamiento previo de la expuesta. Cada uno descansa en un supuesto clave, sea de tendencias paralelas, de continuidad de la tendencia o de validez de la combinación sintética, que debe ser defendible y se hace explícito. Si esos supuestos no son defendibles, el diseño debe cambiar o la conclusión causal debe rebajarse. El contrafactual es una estimación con supuestos, no un hecho, y su credibilidad depende de cuán defendibles sean esos supuestos.

La confusión se intenta controlar equilibrando o ajustando los grupos según características observadas relevantes, porque quien recibe una intervención rara vez es comparable de partida a quien no la recibe. Aplica a toda evaluación donde la asignación no fue aleatoria, que es lo habitual en salud pública. Según el mecanismo de asignación, se emplea propensity score (matching o weighting) cuando hay covariables suficientes para mejorar la comparabilidad; regression discontinuity cuando existe un umbral de elegibilidad que separa a quienes acceden de quienes no; o variables instrumentales cuando existe una fuente de variación defendiblemente exógena en el acceso o exposición a la intervención. La elección no es por costumbre: depende de qué permita defender el dato y el mecanismo real de asignación. El objetivo es que la diferencia que se estima entre grupos no sea en realidad una diferencia que ya existía antes de la intervención; conviene recordar que estos métodos ajustan por la confusión observada, y los supuestos de cada uno se explicitan y se ponen a prueba.

Una estimación del efecto es más defendible cuando se mantiene al poner a prueba el supuesto clave del diseño y al cambiar razonablemente la especificación, no cuando aparece en un único análisis. Aplica a toda estimación causal cuasi-experimental, donde una cifra sin análisis de sensibilidad es una afirmación, no evidencia. Por eso se somete a prueba el supuesto del que depende cada diseño, como las tendencias paralelas en difference-in-differences, la ausencia de cointervenciones simultáneas o la validez del control sintético, y se reporta cómo cambia el resultado bajo especificaciones alternativas. Si el efecto se sostiene con distintos supuestos razonables, la conclusión gana credibilidad; si depende fuertemente de una elección concreta, eso se reporta en lugar de ocultarse. La estimación llega con su grado de confianza y sus límites explícitos, no con una rotundidad que el diseño no respalda.

La evaluación ex-post es la aplicación de la inferencia causal a una intervención o política de salud pública ya implementada: el objeto es un programa o una ley concreta, y la pregunta es qué efecto atribuible puede estimársele. El servicio de inferencia causal y diseño de estudios observacionales es el método en su sentido amplio, aplicable a cualquier pregunta causal sin experimento, dentro o fuera del ámbito de las intervenciones de salud pública. La relación es de caso de uso aplicado frente a marco metodológico general: la evaluación ex-post es inferencia causal aplicada a la evaluación de una intervención implementada, con el léxico y los diseños propios de ese terreno (difference-in-differences, series temporales interrumpidas, control sintético). Si lo que tienes es una intervención o política concreta ya en marcha cuyo efecto quieres atribuir, encaja en evaluación ex-post; si es un problema de inferencia causal en otro tipo de datos o contexto, encaja mejor en el servicio transversal de inferencia causal.

Se entrega una estimación del efecto atribuible a la intervención frente al contrafactual construido, con el diseño cuasi-experimental justificado, el control de confusión aplicado y el análisis de sensibilidad sobre los supuestos críticos, además de los efectos por subgrupo, territorio o nivel de exposición cuando los datos lo permiten. Aplica a quien necesita sostener una decisión sobre una intervención en marcha: continuarla, expandirla, ajustarla o discontinuarla. El entregable sirve para defender esa decisión ante un financiador o un órgano de decisión con una estimación causal del efecto atribuible, condicionada al diseño y a sus supuestos, no con la evolución bruta de un indicador. El reparto se mantiene: el cliente implementa la intervención y toma la decisión de política; el servicio estima el efecto que puede atribuirse razonablemente a la intervención y aporta la evidencia, con sus supuestos y su grado de confianza explícitos, para que esa decisión se tome sobre una base defendible.