jueves, 29 de julio de 2010

Generación de índices

Muy frecuentemente se aplican encuestas que contienen varias preguntas que pretenden indagar sobre un tema del que no es posible preguntar directamente por tratarse de un concepto abstracto o complejo que no todos los cuestionados interpretan necesariamente de la misma forma, o porque ni ellos mismos conocen la respuesta.

La generación de índices es una estrategia utilizada desde hace varios decenios. Lo que pretende un índice es reflejar en una variable numérica un valor que determine la intensidad del concepto indagado. Si se tiene un extenso número de variables iniciales, podrían generarse varios índices, pero siempre será un número mucho menor al conjunto de variables iniciales, y deberá poderse interpretar la dimensión que refleja cada índice. Por ejemplo, a partir de cuestiones como los materiales y número de cuartos de la vivienda, el número de individuos, edades y composición familiar del hogar y la posesión de algunos electrodomésticos o servicios considerados básicos, se puede calcular un número que determine el índice de condiciones de vida, el cual tiene sentido en referencia a un parámetro definido de manera arbitraria.

Hay dos estrategias tradicionales: el análisis de correspondencias múltiples (MCA por sus siglas en inglés) y Análisis de Componentes Principales (PCA por sus siglas en inglés). Ésta última sólo debe ser utilizada si las variables analizadas son de carácter continuo, es decir, no corresponden a escalas categóricas tales como 1.- Muy importante, 2.- importante, 3.- poco importante, 4.- nada importante, no corresponden tampoco a variables nominales, es decir, que no pueden ser sometidas a un ordenamiento, tales como 1.– hombre, 2.- mujer y de manera general, no son de carácter discreto, es decir, no presenta interrupciones o discontinuidades en los valores que pueda tomar.

Hoy en día se están utilizando cada vez más frecuentemente dos estrategias nuevas: la generación de índices a partir de la Teoría de Respuesta al Ítem (IRT por sus siglas en inglés) y el Análisis de Componentes Principales basado en correlaciones policóricas (PCApolychoric) como fue propuesto por Kolenikov y Ángeles en 2004, la cual sí permite utilizar variables nominales, categóricas y discretas en general.

He utilizado esta última técnica en la generación de índices de clima escolar con resultados muy positivos en cuanto a la coherencia de los resultados.

Referencias:

Kolenikov, S. y Angeles, G. The Use of Discrete Data in PCA: Theory, Simulations, and Applications to Socioeconomic Indices. Carolina Population Center. Paper. Octubre 20 de 2004.

Evaluación de impacto

En el contexto de datos, información y conocimiento, iré mencionando algunas disciplinas relacionadas con la transformación de información en conocimiento. He aquí una introducción a la evaluación de impacto de programas sociales:

El interés sobre la evaluación de impacto se ha incrementado a medida qué el monto de los recursos del Estado se incrementan en programas de bienestar social. Recientemente en Colombia salió a la luz la publicación del resultado de la evaluación de impacto del programa Familias en Acción, al cual se le ha dado mucha publicidad en los medios académicos por haber sido contratado por el Estado, el amplio abanico de temas evaluados y la rigurosidad con que fue tratado por parte de las reconocidas empresas y entes investigadores que participaron en el mismo. Así mismo, se ha incrementado el monto invertido por la sociedad civil en temas de responsabilidad social, llevando a que la evaluación de impacto también sea contratada por parte de organizaciones no gubernamentales.

La evaluación de impacto de programas sociales tiene como objetivo determinar los beneficios obtenidos por los participantes en conexión a los objetivos del proyecto respecto a lo que hubiera ocurrido si no hubieran participado en el programa: el denominado hecho contrafactual. Debido a que no es posible tener a un individuo dentro del programa y fuera de él simultáneamente con el objeto de comparar los efectos, se debe buscar población similar con la cual realizar dicha comparación. No obstante esta posibilidad puede traer distorsiones que escondan los beneficios realmente obtenidos.

Un grupo de distorsiones o sesgos comunes son las que pueden presentarse en el conjunto de características observadas en las dos poblaciones, la tratada y la de control, las cuales pueden no ser necesariamente pareables, o ser pareables, pero con diferencias no evidentes. Por ejemplo pueden tener el mismo valor medio, pero no tener una función de distribución semejante.

Pero también pueden presentarse otras distorsiones no evidentes causadas por la existencia de correlaciones entre las características acordadas para la selección de los beneficiarios del programa social y los resultados buscados por el mismo.

No hay garantía de que estas dos fuentes de distorsión no trabajen en direcciones opuestas y en intensidad semejante de tal modo que anulen en conjunto el impacto que se pretende medir.

Por ello, en los últimos dos decenios se ha avanzado en el desarrollo de técnicas que disminuyan dichas distorsiones, las cuales van desde el diseño del método de selección de la población objetivo del programa y la de comparación, pasando por la selección de las variables que se deben preguntar a ambas poblaciones para realizar la evaluación, hasta el diseño de métodos econométricos específicos para el análisis cuantitativo.

La participación activa del evaluador de impacto desde la etapa de planeación del programa social permite darle robustez a los resultados.

Basado en RAVALLION, Martin. The Mistery of Vanishing Benefits: An introduction to Impact Evaluation. The World Bank Economic Review, Vol 15, No. I, 115 - 140.