Monday, August 29, 2011

Cuidado con la estimación de la varianza… ¡SAS, PC-Carp, Sudaan, Wesvar y R pueden arrojar malos resultados!

Y en principio no estoy insinuando que estos excelentes paquetes computacionales sean malos o que su programación esté errada, de ninguna manera… Sin embargo, en mi ejercicio como auditor de metodologías de muestreo, he encontrado que en algunas ocasiones, para diseños de muestreo complejos que involucran estratificación y varias etapas, los errores estándar (definidos como la raíz cuadrada de la varianza), los coeficientes de variación (definidos como el cociente entre el error estándar y la estimación puntual), la longitud de los intervalos de confianza (definida como el producto del error estándar y el percentil adecuado de la distribución del estimador) y hasta los efectos de diseño (definidos como el cociente entre la varianza del diseño complejo y la varianza del muestreo aleatorio simple) parecen ser sospechosos.


De repente, para alguna muestra que se sabe que debería tener un efecto de aglomeración bastante alto, aparecen efectos de diseño muy bajos y errores estándar muy bajos. De esa manera, al revisar los informes metodológicos uno se encuentra con excelentes formulaciones de estrategias de muestreo que no responden a la sospecha de esas cifras y entonces uno infiere que el problema debe ser computacional. De esa forma, sistemáticamente he encontrado que muchos estadísticos dejan el tema de la estimación de la varianza en manos del software computacional.


En particular, en alguna ocasión me encontré estimando el tamaño de muestra de una gran encuesta y mis cifras diferían un poco con los tamaños de muestra de una respetada firma. Después de revisar muy bien, me encontré con que su estimación de los errores estándar no coincidía con la mía. Así que indagué a profundidad y encontré que la expresión que se utilizó para este cálculo de los errores estándar dentro de un estrato (para una encuesta en varias etapas) es la siguiente:



Y ya… sin importar el número de etapas, sin importar si la selección dentro de las etapas haya sido proporcional o simple… sin importar nada más, esta es la fórmula que veo y veo y sigo viendo en los informes metodológicos. Ahora, por supuesto que se trata de un a aproximación a la varianza real. Por lo tanto, está bien que se utilice y me imagino que la seguiré viendo con frecuencia, máxime cuando el PROC SURVEY MEANS del SAS, el WESVAR 4.0, el SUDAAN, el PC-CARP, entre otros, utilizan dentro de sus procedimientos de estimación esta expresión para el cálculo de los errores estándar. Escribí acerca de la validez de esta aproximación en el Survey Research Methods Section de la ASA y un experto muy reconocido me respondió lo siguiente:




Most variance estimators work with municipality level estimates.  The sampling procedures at further stages of selection are typically ignored unless the fpc (1-f) is important at the municipality level.  See for example Appendix D of the WesVar 4.0 manual or chapter 3 of the SUDAAN manual.



Luego, lo discutí con Felipe Ortiz, un amigo y colega a quien respeto y admiro mucho por su amplia visión de la estadística y el muestreo, y quien dirige la cátedra de diseño de encuestas en la Facultad de Estadística de la Universidad Santo Tomás. Cuál sería mi sorpresa al saber que en la entidad en donde él trabaja se había realizado una simulación para evaluar la validez de esta misma aproximación. Los resultados del ejercicio están acá y al parecer son muy claros.


En conclusión, es muy plausible usar esta aproximación, pero se debe usar teniendo en cuenta que la fracción de muestreo dentro de la primera unidad de muestreo no debe ser grande… Esto implica que el factor de corrección para poblaciones finitas (1-f) debe ser pequeño, luego el submuestreo en las USM debería ser grande. Por otra parte, si se usan estas expresiones, sería muy enriquecedor para el informe aclarar que no se trata de una expresión exacta, sino lo que es, una aproximación de la varianza.

1 comment:

  1. Rafael Hernández NietoAugust 29, 2011 at 9:05 PM

    Estimados colegas y amigos:

    Muy interesante el problema planteado sobre posibles errores en la estimación de la varianza.

    Relacionado con este problema es el problema de los errores en la estimación de la variabilidad relativa y variabilidad absoluta cuando se comparan diferentes distribuciones con diferentes escalas y / o diferentes rangos empíricos.

    La estimación típica insesgada (la cual es siempre calculada en los diferentes paquetes estadísticos) tiene errores de sobrestimación cuando el tamaño de la muestra es realtivamente pequeño (N igual o menor que 20), lo cual se puede demostrar a partir de la relación matemática existente entre la desviación típica y el rango empírico, en cualquier distribución. Esta relación matemática se expresa a través del CVP (CVP = Coeficiente de Variación Proporcional) el cual es igual a cero cuando no hay variabilidad y es igual a 1.00 cuando la distribución es de variación máxima (las frecuencias se distribuyen bipolarmente entre dos únicos valores de la escala, sin frecuencias observables en los puntajes intermedios). Cuando se compara este coeficiente con los anteriormente conocidos en la literatura estadística (Coeficiente de Variación, Coeficiente de Rango, Coeficiente de Desviación Media, Coeficiente de Desviación Mediana y Coeficiente de Desviación Intercuartílica), se puede demostrar que este nuevo coeficiente presenta mejores propiedades matemáticas y estadísticas, en términos de estabilidad y consistencia (Hernández Nieto, 2002a, 2002b) e igualmente produce intervalos de confianza más cerrados (Hernández Nieto, 2011a).

    En el caso específico del SPSS cuando N = 2, la desviación típica insesgada tiene un gran error, dado que el divisor de la suma de las desviaciones cuadráticas se transforma en la unidad (N - 1 = 1) y por lo tanto el valor obtenido es simplemente la raíz cuadrada de la suma de las desviaciones cuadráticas, NO la raíz cuadrada del promedio de las desviaciones cuadráticas, como debe ser por definición.


    Se puede demostrar igualmente que las desviaciones típicas entre diferentes distribuciones no son comparables, al menos que los correspondientes rangos empíricos sean iguales. La Prueba de Levine de homoscedasticidad de varianzas , fundamental supuesto estadístico para la aplicación de ANOVA, asume que las desviaciones absolutas con respecto de la media (sobre las cuales se basa la prueba) son métricamente equivalentes, independientemente de que los rangos sean iguales o desiguales. Esta prueba da errores en el contraste de varianzas, a menos que se aplique un factor de corrección, fundamentado en el CVP. (Hernández Nieto, 2011a).

    Quienes deseen explorar un poco más sobre lo aquí planteado, pueden consultar
    la siguiente bibliografía, disponiblen AMAZON.COM:

    Hernández-Nieto, Rafael (2002a). Contribuciones al análisis estadístico. Mérida, Venezuela: Universidad de Los Andes

    Hernández-Nieto, Rafael (2002b). Contributions to statistical analysis. Mérida, Venezuela: Universidad de Los Andes

    Hernández-Nieto, Rafael (2011a). Variabilidad absoluta y relativa en distribuciones de frecuencias. Mérida, Venezuela: Universidad de Los Andes
    (versión en Inglés en preparación)

    Me gustaría conocer sus observaciones críticas sobre estos planteamientos.

    Saludos cordiales.

    ---------------------------------------------------------------
    Rafael Hernández Nieto, M. Sc., Ph. D.
    Profesor Titular - Full Professor

    Universidad de Los Andes
    Facultad de Humanidades y Educación. Escuela de Educación
    Departamento de Medición y Evaluación

    ReplyDelete