Thursday, November 24, 2011

Pensamientos de un auditor en muestreo


Lo cierto es que tengo la convicción de que un auditor en muestreo en un país de América Latina realizaría un trabajo arduo, que no sería nada fácil. La idiosincrasia del gremio no lo hace fácil. Desafortunadamente hay muy pocos muestristas en nuestro país y, en realidad, hay muy pocas firmas licitando. Para nadie es un secreto que habrá más calidad si la competencia es mayor. Y más allá de las calificaciones, los conceptos y los comentarios técnicos, el trabajo se trata de asegurar la calidad en un contexto en donde ésta no es producida por la interacción entre las firmas.

Lo anterior es muy bueno, tanto desde el punto de vista de las directivas del gobierno, como desde el punto de vista de las firmas. Para el GOBIERNO se trata de certificar que las firmas efectivamente hacen lo que proponen y esto se traduce en una vigilancia permanente que redunda en que los procesos de licitación y ejecución, en materia de muestreo efectivamente se cumplen con eficacia. En términos de estadísticas públicas, es indispensable que exista una contraparte que garantice que las cifras estimadas efectivamente son confiables. Y no estoy queriendo decir que las firmas tratan de engañarnos, ni mucho menos. Pero, definitivamente al existir esa revisoría, la calidad va a aumentar, como efectivamente lo estamos viendo. Por otro lado, para las firmas también es muy bueno, puesto que cuentan prácticamente con un asesor experto que hace las veces de un coach. De esta forma, al existir esta interacción saludable entre las firmas y el gobierno, por medio de un experto en muestreo, hay un enriquecimiento claro en términos de la calidad de la evaluación y de sus cifras resultantes.

De alguna manera cuando surgen comentarios como este <<Hay que planear muy bien el diseño, porque están molestando en la calificación>> esto se traduce en calidad garantizada desde la propuesta. Y me parece que ese tipo de comentarios enriquecen sobremanera nuestro trabajo. Si la firma planea seriamente su trabajo desde la etapa de diseño, es una garantía de que las cifras resultantes serán efectivamente confiables. Por otro lado, que exista ese rumor de que la calidad está siendo medida y valorada en el gobierno es muy importante porque envía un mensaje inequívoco.

Para un estadístico no es una tarea fácil hacer caer en cuenta a un colega de las posibles falencias en el diseño metodológico de la evaluación. Sin embargo, la mayoría de las veces hay un ambiente receptivo y muy amable. Aunque también, en contadas ocasiones habrá ambientes no tan cordiales porque algunos expertos tomarán los comentarios a título personal. Pero, ese es el día a día de las evaluaciones y seguramente que usted no tendrá ninguna dificultad en superar esos pocos impases. En los conceptos, el estadístico debrería preocuparse por ponerse en el lugar del muestrista de la firma consultora (no es nada fácil hacer un muestreo) y tratar siempre de encontrarle el sentido de la contraparte. La primera instancia de la relación con una firma son los conceptos que siempre deben estar sustentados desde el punto de vista técnico. Para su redacción, es posible preguntase cómo lo hubiera hecho yo y también como lo están haciendo ellos. Así que, de esa manera, no habrá sesgo hacia ninguna de las partes. Pienso que los conceptos con argumentos técnicos deberían ser tan diáfanos como los derechos humanos, no tienen discusión… Hasta el momento, ninguna firma ha refutado mis conceptos y más bien las recomendaciones que se dan allí han sido acogidas rápidamente. Algo parecido sucede con las calificaciones a las propuestas. Se deben sustentar bastante bien porqué la firma recibe o no recibe una calificación y un indicador de esto es que deberá haber pocos reclamos de las firmas.

Concerniente a este tema, la colaboración intra-gobierno es fundamental. Debe haber un alineamiento completo entre el muestrista asesor y los responsables de la evaluación desde el principio para planear la estructuración de los estudios previos, los puntajes óptimos y sobretodo los criterios de evaluación. Por ejemplo, para un tamaño de muestra: los criterios no son los mismos en una evaluación de resultados que en una evaluación de impacto. En la evaluación de resultados, se busca un tamaño de muestra óptimo que minimice un error para parámetros simples como proporciones. Pero en la evaluación de resultados, se debe buscar un tamaño de muestra óptimo para diferencias entre proporciones; lo cual hace que se necesite un tamaño de muestra mayor. Todo esto debe ser especificado con cuidado en los estudios previos de cualquier evaluación. En esta parte, quisiera ser un poco más enfático en que la planeación de los criterios de calificación de las muestras para todas las evaluaciones sea un trabajo en equipo y que no se trate de copy-paste a criterios de otras evaluaciones.

Es muy interesante y pertinente la documentación de los procesos. Este debe ser un apartado fundamental y esencial para el muestrista, para las firmas y para el usuario final de las cifras. Entonces, dado que el día a día del gobierno son las estadísticas oficiales deberá existir un proceso de documentación continuo y por siempre. Es algo tan sencillo como esto: el <<deff>>, el efecto de diseño, que es una cifra que está implicada la mayoría de las veces en el cálculo del tamaño de muestra. Es increíble que haya que buscar tan a fondo para obtener esta cifra, porque se supone que para cada encuesta debe ser calculada. Por ejemplo, para realizar algún concepto preliminar sobre cuántas encuestas se necesitarían para obtener representatividad en un encuesta, se necesita esa cifra para realizar un cálculo aproximado y puede ser que en la documentación no se informe del efecto de diseño. Bueno, cosas como esas no deberían suceder, pero la gestión del auditor en muestreo asegura que, como todo debe estar documentado, jamás tengamos que preocuparnos por conseguir cifras que deberían estar a nuestro alcance, o metodologías que deberían estar disponibles para cualquiera.

Por otra parte, permítame hacer una comparación un poco ridícula para poner en contexto la importancia que tiene que un muestrista haga parte del equipo de evaluación de gobierno. Suponga usted que una encuesta tienen un costo de sesenta millones de pesos (treinta mil dólares). Con esa plata es posible comprarse un carro. Con esa plata es posible alimentar a muchos niños con hambre. Es posible hacer muchas cosas, pero nosotros decidimos hacer encuestas para verificar los resultados de una política pública. La comparación la voy a hacer en términos de posventa. Si el carro falla, yo voy al concesionario y me lo tienen que arreglar por garantía. En términos de lo niños, la garantía es la satisfacción de que ya no tienen hambre. Y si se fija, en este tipo de contexto de las encuestas, en donde los bienes son intangibles, pues se trata de cifras y resultados de indicadores, no existe ningún tipo de garantía, mucho menos si no hay alguien que revise la información metodológica de la encuesta. El quid del asunto es que debería existir una garantía. Más aún, la asesoría del muestrista consiste en ser garante de que los estudios sean representativos. Note que, desafortunadamente, si la muestra no es representativa, no existe ningún tipo de análisis estadístico o econométrico que permita corregir el sesgo causado por la mala praxis que se puede llegar a cometer. Obviamente, las implicaciones de lo anterior van mucho más allá de los sesenta millones, puesto que, con base en las cifras de la encuesta, el gobierno puede decidir si mantiene o no mantiene una intervención. Por lo tanto, si la muestra es mala y no es representativa de la población estamos bajo tres posibles escenarios: el primero, que por casualidad la encuesta arroje los resultados verdaderos; el segundo, que la encuesta arroje resultados malos, siendo que la intervención es buena; el tercero, que la encuesta arroje resultados buenos, siendo que la intervención es mala. De esta forma, bajo el segundo escenario, la afectación la llevan las personas que dejan de recibir la intervención, bajo el último escenario, la afectación la llevan los contribuyentes que financiamos una intervención que no sirve. Siendo así ¿por qué le vamos a dejar al azar esa responsabilidad?... ¡mejor me gasto la plata en el carro!

Fuera de chistes, existe una gran responsabilidad sobre las firmas, que no están ajenas a equivocarse, y sobre el gobierno, que debe garantizar una especie de interventoría diáfana, porque en nuestro contexto es muy grave que cualquiera de las dos situaciones se dé o que las dos se den al tiempo. Es decir, que las firmas se equivoquen, que el gobierno no controle o que las firmas se equivoquen y al gobierno se le pase revisar. Para el futuro inmediato recomiendo fuertemente las agencias del gobierno sigan disponiendo de expertos en muestreo y estadística que intervengan cuando sea necesario y que sigan realizando esta labor.

Finalmente, algunos de las labores anexas del auditor deberán también estar enfocadas en:

1.    Establecer una guía de criterios óptimos para la redacción de los estudios previos en los distintos tipos de evaluaciones.

2.    Brindar asesoramiento y acompañamiento al equipo y a las firmas.

3.    Establecer documentos y guías metodológicas documentadas para la calificación de las propuestas.

4.    Crear criterios de estimación de modelos econométricos que tengan en cuenta los pesos del muestreo.

No comments:

Post a Comment