Monday, June 7, 2010

Meta-Análisis estadístico de encuestas electorales en Colombia: El fenómeno de Familias en Acción


Hace varios días quería escribir esta entrada que, aunque al día de hoy puede parecer un poco desactualizada, tiene una connotación estadística interesante. Si no la escribí en su tiempo pertinente fue por dos motivos: el primero emocional, causado por la decepción que me produjo los resultados electorales en Colombia y el segundo terrenal, pues estaba ausente de mi sitio regular de trabajo (aunque seguía trabajando, por supuesto). Ahora que en mi vida todo vuelve a la normalidad y la interesante rutina toma su lugar, es tiempo de reflexionar y comentar este interesante fenómeno, no sin antes agradecer a mi maestro LGDM por haberme transmitido desde la distancia su parecer, el cual motivo esta entrada. En primer lugar quiero introducir algunos conceptos que el lector desprevenido debe interiorizar para un mejor entendimiento del tema y luego de contextualizar la coyuntura electoral colombiana pasaré a exponer la idea principal y las conclusiones de este fugaz estudio.


Para entrar en materia es necesario exponer que mucho descubrimientos de la ciencia médica han tenido lugar debido a que la estadística ha incorporado entre su arsenal de herramientas una técnica basada en la recopilación de observaciones de diferentes estudios en diferentes tiempos e incluso en diferentes países y regiones. Se trata del meta-análisis, que según información de la red, fue empleado por primera vez por Eugene V. Glass en 1976 y es usado con autoridad y como evidencia en muchas publicaciones científicas médicas de renombre internacional. Para los escépticos, hay que afirmar que esta técnica fue utilizada por primera vez por el señor por Karl Pearson a principios del siglo pasado para palear los problemas que se presentan cuando se trabaja con tamaños de muestra pequeños.


El lector se preguntará cuál es la relación entre estos estudios clínicos con el título de esta entrada. Pues bien, se trata de analizar rápida y empíricamente el comportamiento de la tendencia electoral en Colombia para luego contrastarla con los resultados reales de las votaciones… El análisis se hará teniendo en cuenta los resultados de las encuestas electorales de los últimos meses, tal y como lo haría un investigador médico con un conjunto de experimentos, tal y como lo sugiere el meta-análisis. Es claro que no se tienen experimentos controlados pero dado que el tamaño de muestra final es elevado, este supuesto se puede omitir, máxime cuando los resultados de las encuestadoras no fueron disimiles.


Yo siempre he afirmado que no soy dogmático de ninguna rama de la estadística; aunque como conocedor de los temas de muestreo presté poca importancia a la validez individual de cada resultado que las firmas encuestadoras colombianas presentaban en sus sondeos de opinión. Sin embargo, la tendencia de un empate técnico era clara, continua y contundente. Ahora, apelando a la teoría estadística de la inferencia en poblaciones finitas basada en modelos poblacionales y reuniendo las observaciones de las distintas encuestas - justo como en el meta-análisis - se llega no sólo a un tamaño de muestra alto, sino a conclusiones similares, pero esta vez respaldadas por las técnicas estadísticas. El lector estará de acuerdo conmigo en que, bajo este escenario, la reunión de tantas y tantas observaciones no es una cuestión de poca importancia.


Con base en lo anterior, se podría afirmar que existe evidencia estadística de que la votación de la primera vuelta de las elecciones presidenciales en Colombia no sería otra cosa que una reñida puja entre el candidato del oficialismo y el candidato independiente. Sin embargo, la realidad de las votaciones arrojó otro escenario muy distinto al que sugería la estadística. El candidato oficialista obtuvo una ventaja de tres millones de votos frente a su inmediato contendor independiente… ¿Qué paso?, esa fue la pregunta que, con seguridad, fue planteada por más de tres millones de votantes simpatizantes del candidato independiente. Si por un lado, y con poca validez estadística, las encuestas realizadas pronosticaban un empate y por el otro, y con harta validez estadística, el meta-análisis parece concluir de la misma manera, ¿qué diantres pasó?


Yo no sé con seguridad si lo que voy a afirmar a continuación sea la respuesta a la pregunta, pero si sé que explica muy bien el fenómeno. Dos argumentos, los siguientes:


Primero: en Colombia existe un programa gubernamental de ayuda a la población menos favorecida del país (que lamentablemente es la gran mayoría). Cifras oficiales indican que unas tres millones de familias están activas en este programa que provee una ayuda de entre 10 a 15 dólares mensuales. Para recibir esta ayuda es necesario demostrar que la familia es pobre, muy pobre. Segundo: volviendo a los supuestos del meta-análisis, la mayoría de las encuestas fue realizada en los principales municipios y ciudades del país de forma telefónica y unas pocas se hicieron por interceptación en la calle. Lo anterior no garantiza la homogeneidad y control de un experimento de laboratorio. A todas las encuestadoras se les olvidó que la gran mayoría de Colombianos con teléfono no pertenece a ese cúmulo de familias que reciben ese beneficio del estado; si no tienen dinero para comer mucho menos para pagar las cuentas del teléfono… Grave error si se quieren realizar pronósticos en un país en donde la regla es la pobreza… A todas las firmas de sondeos de opinión se les olvidó que la política de este gobierno está basada en la mano dura y que es de todos conocida la injerencia indirecta del estado en la contienda electoral… Grave error porque ya era bien sabido que se había amenazado a los beneficiarios de Familias en Acción de que el candidato independiente anularía este programa y los perjudicaría directamente… Grave error si se tiene en cuenta que tres millones de votantes pobres y desesperados pueden hacer una gran diferencia en las elecciones.


Muy a pesar mío sé que esta entrada tendrá el mismo efecto que tiene un grito debajo del agua y que muy pocas personas oirán el clamor que las ocho millones de personas que en este mismo instante tienen hambre en mi país.



PD: como conclusión se puede afirmar que en estadística no todo vale, no todo vale, no todo vale y que las muestras son sagradas, las muestras son sagradas, las muestras son sagradas.

9 comments:

  1. Genial la entrada, creo que como estadísticos debemos difundir esta información, pues la profesion esta en riesgo de perder una credibilidad que se habia ganado hace muchisimo tiempo.

    Creo que hay otro factor que es dificilmente medible, y son los 3 debates que se hicieron en esa semana, lo q explica tambien la caida (mas honda aún) de Noemi, la subida de lleras y petro.

    Solo nos queda creer en que todo es probable!!!

    ReplyDelete
  2. Hola Andrés. Tengo un par de comentarios con respecto a este post.

    El primer comentario puede ser debido a una malinterpretación de su frase "Es claro que no se tienen experimentos controlados pero dado que el tamaño de muestra final es elevado, este supuesto se puede omitir, máxime cuando los resultados de las encuestadoras no fueron disimiles".

    El hecho de que el tamaño de muestra sea elevado (qué es elevado en este caso?) no hace que las muestras sean insesgadas, el sesgo sigue estando ahí. Si los resultados de las encuestas no son disímiles es porque todas sus muestras están sesgadas en el mismo sentido.

    Por ejemplo. Colombia tiene, digamos, 30 millones de posibles votantes. Si excluyo sistemáticamente a 10 millones de mi marco muestral, aún una muestra de 15 millones (grande) estaría terriblemente sesgada. Por favor corríjame si estoy malinterpretando su frase.

    En mi opinión, el fenómeno de la diferencia abismal entre las "encuestas" pre electorales y los resultados reales de las elecciones tiene dos posibles explicaciones:

    1) Todas las encuestas incurrieron en los mismos sesgos, dejando por fuera de sus marcos de muestreo (si los tienen) los mismos grupos poblacionales, que seguramente son aquellos grupos más aislados física y tecnológicamente, a los cuales la "ola verde" no pudo llegar y sólo pudieron ser conquistados por prácticas tradicionales y maquinarias políticas.

    2) Las encuestas no estaban tan sesgadas y hubo un fraude gigantesco en la registraduría.

    Personalmente creo más en la primera. A propósito, dónde encuentro el meta análisis?

    ReplyDelete
  3. Ivan, tengo varias apreciaciones con respecto a su comentario.

    Primero, aunque una muestra es un vector aleatorio no es una estadística y no es un estimador y por tanto no se puede hablar de muestras insesgadas o sesgadas. La esperanza de una muestra (sin reemplazo) es el vector de probabilidades de inclusión.

    Segundo, cuando se utiliza el model-based, se supone que lo aleatorio es Yk y no la muestra. Es decir que, sin importar si la muestra fue o no seleccionada de manera probabilística es teóricamente correcto hacer todo tipo de inferencias, si el modelo que respalda el análisis es adecuado.

    Tercero, en este caso del meta-análisis se tiene la reunión de todas las observaciones de las muestras de opinión y con ellas se realizan las inferencias.

    Cuarto, Su primera explicación se refiere a la conclusión del post. Lo que yo quise decir es que sin importar que hay un tamaño de muestra elevado, el meta-análisis arroja pronósticos malos puesto que las encuestas excluyeron a un subgrupo poblacional gigantesco de personas. Esto lo digo en “A todas las encuestadoras se les olvidó que la gran mayoría de Colombianos con teléfono no pertenece a ese cúmulo de familias que reciben ese beneficio del estado; si no tienen dinero para comer mucho menos para pagar las cuentas del teléfono.”

    Quinto, la moraleja del post es ni siquiera un análisis sofisticado puede arreglar los pronósticos. Lo anterior no contradice el punto segundo, puesto que el modelo que respalda la inferencia no es el correcto. Este ha sido un tópico muy discutido en el muestreo por modelos. Puesto que, los estimadores propuestos dependen directamente del modelo. Si el modelo está mal pues el insesgamiento no se garantiza.

    En el último párrafo del post escribí “en estadística no todo vale” refiriéndome a que si el modelo está mal entonces los estimativos son errados y “las muestras son sagradas” refiriéndome a la importancia de la aleatorización adecuada y el muestreo probabilístico en estudios de opinión.

    Saludos,

    AG

    ReplyDelete
  4. Gracias por la repsuesta. Cometí un error semántico, debí haberme referido a que marcos incompletos llevan a estimadores sesgados, sin importar el tamaño de la muestra.

    Cuando la inferencia se hace basada en modelos hay un principio similar a la selección de muestras probabilísticas: la aleatorización. En el contexto de diseño experimantal, por ejemplo, la aleatorización asegura que el efecto de los factpres no controlados está "igualmente repartido" entre los difrerntes grupos con tratamiento. Eso hace posible establecer relaciones causales entre los tratamientos y la respuesta, dados otros supuestos.

    Bajo ningún esquema se puede reemplazar el supuesto de aleatorización por tamaño de muestra como usted lo sugiere. Por ejemplo, suponga un experimento clínico no aleatorizado en el que a personas enfermas se le suministra un medicamento. Asuma también un tamaño de muestra gigantesco. Encontrará que es muy probable llegar a la conclusión de que altas dosis de medicina causan la enfermedad. Eso puede ocurrir si a los pacientes más enfermos se les suministran altas dosis. Eso sucede por no aleatorizar, y no se corrige con tamaños de muestras grandes.

    No sé cómo se podría aplicar el concepto de la aleatorización al caso de la estimación de parametros poblaciones si se trabaja con base en modelos, pero tampoco creo que se pueda hacer "todo tipo de infeerencias" con base en una muestra que de alguna forma no respete este principio.

    ReplyDelete
  5. No, yo jamás sugerí que el tamaño de muestra reemplaza al supuesto de aleatorización. Dije que el supuesto de la aleatorización se puede omitir... esa es una práctica válida en las agencias de estadísticas oficiales más importantes del mundo... hace rato que las cifras dependen más de modelos que de muestreo.

    Por otro lado creo que usted está dogmatizando la aleatorización... en realidad no es necesaria para realizar inferencias estadísticas válidas. Tal vez, lo siguiente ayude a la discusión:

    Valliant, Dorfman y Royall (p. 21, 2000) afirman que “la aleatorización es deseable, pero no es una condición ni suficiente ni necesaria para realizar un análisis estadístico riguroso. Se pueden realizar inferencias válidas sin aleatorizar; y cuando la aleatorización está presente, no necesariamente crea el marco probabilístico apropiado para la inferencia. “

    Esto me lleva a firmar que sí es posible hacer todo tipo de inferencias sin aleatorizar nada. Lo importante es el modelo. Pero si el modelo está mal, pues de nada valen las propiedades de los estimadores.

    Saludos,

    AG

    ReplyDelete
  6. Un claro ejemplo de que la aleatorización no es (ni más faltara) indispensable para hacer inferencia es el marco teórico expuesto por Rubin para hacer inferencia causal. O los planteamientos de Judea Pearl en su libro Causality.

    ReplyDelete
  7. Yo solo puedo decir que hacer encuestas por teléfono en uno de nuestros países es una enorme (ENORME) muestra de conocimiento estadístico. Si el diseño está mal, si no se están considerando a todas las personas de Colombia, si solo se mide a algunas ¿cómo esperaban acertar? Lo horrible es que algunos ingenuos creímos en esas encuestas. Saludos.

    ReplyDelete
  8. ERROR: donde dice 'conocimiento' corregir por 'desconocimiento'. Un error de tipeo...

    ReplyDelete
  9. [...] Colombia) y que el método estándar será la metodología logística utilizada por Gallup. Bla, bla, bla… ya sabemos que estas empresas colombianas de investigación de opinión no tienen una [...]

    ReplyDelete