25 of abril, 2014

Grupo Equipos
Bvar Artigas 1098
Tel +598 (02) 7086362
Fax +598 (02) 7086599
Montevideo, Uruguay.

Noticias

CÓMO EVALUAR EL DESEMPEÑO DEL TRABAJO DE CAMPO: EL “RECHAZO” EN LAS ENCUESTAS

CÓMO EVALUAR EL DESEMPEÑO DEL TRABAJO DE CAMPO: EL “RECHAZO” EN LAS ENCUESTAS

A) El problema de la no respuesta

Cuando se presentan resultados de encuestas en general la “vedette del error” es el margen de error de muestreo.

Sin embargo, no es el único tipo de error que pueden tener las encuestas. Existen al menos otros tres tipos: a) el error por cobertura, que se produce cuando algunos miembros de la población no tienen ninguna chance de ser incluidos en la muestra; b) el error de medición, que básicamente es todo el error humano en el proceso de medición; y c) el error por no respuesta, que se produce si -en los temas que interesan al estudio- las personas que no responden las encuestas son diferentes a las que sí lo hacen (AAPOR, 2008). A este último se dedica este artículo.

Es muy importante tener presente que existirá error de no respuesta si -y solo si- el público que no responde difiere del que sí lo hace en el tema investigado. Si esto sucede, el nivel de error dependerá de la combinación de dos aspectos: 1) la magnitud de aquella diferencia y 2) la cantidad de público que no responde.

B) Medir el desempeño del trabajo de campo

Como se desprende de la sección anterior, se vuelve importante estudiar el fenómeno de la no respuesta, pero ¿cómo hacerlo? Lo primero es comenzar a medir el desempeño del trabajo de campo.

Para esta tarea la Asociación Americana para Investigación en Opinión Pública (AAPOR, por su sigla en inglés) elaboró un documento que contiene las definiciones y lineamientos para el registro y cálculo de los indicadores de desempeño de las encuestas (AAPOR, 2008). La primera edición fue en 1998; en agosto de 2009 va por su quinta edición y se ha vuelto una referencia ineludible a nivel internacional.

El primer concepto que se debe tener claro es el de “elegibilidad”. Un elegible es aquella persona/hogar que forma parte de la población objetivo y de acuerdo a los criterios de selección de la muestra debería ser encuestada.

Ahora se pueden introducir las principales categorías de lo que puede suceder con todos los casos en una encuesta (ejemplificando con situaciones de una encuesta cara a cara a personas en hogares):

1) Encuestas realizadas: pueden subdividirse en “completas” y “parciales” según la cantidad de preguntas que respondió la persona.

2) Rechazos: casos en los que personas elegibles rechazan la encuesta o habiéndola comenzado la interrumpen y dan por finalizada.

3)No contactos: casos de hogares en los que se averigua o se presume que existen personas elegibles pero no se logra hacer contacto con ellas. Por ejemplo, si en el/los momento/s en que el encuestador fue al hogar no había nadie.

4) Elegibilidad desconocida: Se trata de casos en lo que no se pudo verificar si la persona es elegible o no. Por ejemplo, si la encuesta requiere hacer algunas preguntas para poder determinar si la persona califica (la edad por ejemplo) y ésta rechaza antes de poder realizarlas, no se sabrá si era elegible o no.

5) Inelegible: Básicamente casos que no forman parte de la población que se estudia o se encuentran fuera de cuota (si el diseño las tuviera).

Las primeras cuatro categorías representan situaciones de casos potencialmente elegibles para la encuesta (2 a 4 componen la “no respuesta”) y con ellas básicamente se construyen los principales indicadores de desempeño del trabajo de campo. En relación a esto último, el documento de AAPOR presenta cuatro tasas:

1) Tasa de respuesta: Es la proporción del total de potenciales elegibles que finalmente fueron encuestados.

2) Tasa de cooperación: Es la proporción de todos los elegibles contactados (porque los encuestamos o nos rechazaron) que finalmente fueron encuestados.

3) Tasa de rechazo: Es la proporción del total de potenciales elegibles que finalmente rechazaron la encuesta.

4) Tasa de contacto: Es la proporción del total de potenciales elegibles que finalmente fueron contactados (aceptaron la encuesta o la rechazaron).

Dentro de cada tasa pueden considerase distintos tipos según si se incluyen o no algunas categorías específicas.

C) Medición del desempeño del trabajo de campo en Equipos Mori

Si bien en varios estudios puntuales de Equipos Mori se había medido el desempeño del trabajo de campo, en el año 2004 se introducen los criterios de la AAPOR en la Encuesta Regular. Sin embargo, a pesar de que desde entonces se registra la información, sólo se sistematizó durante el primer semestre.

En 2009 se decidió retomar el procesamiento de la información generada y tomarla como referencia para la mejora de nuestro trabajo. El sistema es el mismo que en 2004 y, si bien la implementación tiene aspectos a mejorar -y estamos trabajando en ello-, nos permite comparaciones con lo sucedido hace cinco años atrás.

Comentaremos algunos resultados para la Encuesta Regular que es una encuesta a nivel nacional a población de 18 y más años de edad. Se trata de un diseño de muestreo aleatorio politetápico para la selección de la manzana, complementado por muestreo sistemático para elegir el hogar, y con cuotas de sexo y edad para el individuo.

Uno de los aspectos que más interesa es la tasa de cooperación con las encuestas porque indica la voluntad de la gente de responderlas. Para la Encuesta Regular la tasa de cooperación (COOP4), fue de 63% en julio de 2009 un valor apenas inferior al que se registró en promedio en 2004.

Por su parte la tasa de rechazo (REF1) se ubicó en 14%, casi el mismo valor que el promedio de 2004. El análisis por algunas variables sociodemográficas sugiere que los rechazos se dieron más en Montevideo, entre las mujeres, el público de edades medias (entre 30 y 59 años) y el de mayor nivel socioeconómico.

D) Qué hacer para controlar el problema de la no respuesta

Hay al menos dos aspectos, no excluyentes, a abordar para reducir el problema de la no respuesta y mejorar así las estimaciones.

Por un lado, una vez recopilados los datos pueden hacerse ajustes considerando las diferencias entre quienes responden y quienes no lo hacen. Esta estrategia tiene la limitación de que para ello se requiere información sobre quienes no responden y, precisamente porque no responden, es poco lo que en general sabemos de ellos.

Por otro lado, se puede trabajar para reducir el nivel de la no respuesta. Para ello se deben tratar los factores que inciden sobre ella. En este sentido, Groves y Couper (1998) plantean que la decisión de participar o no en las encuestas depende de la relación entre los siguientes factores:

a) el contexto social (condiciones económicas, clima hacia las encuestas, características del barrio)

b) el hogar (estructura, características socio demográficas, predisposición sicológica)

c) el diseño de la encuesta (tema, modo de administración, modo de selección del responderte)

d) el encuestador (características sociodemográficas, experiencias, expectativas)

e) la interacción entre el hogar/respondente y el encuestador.

Los dos primeros factores vienen dados para el investigador pero puede actuar sobre el resto.

La información generada a través de los indicadores de desempeño del trabajo de campo puede indicar segmentos que requieren abordajes diferenciales y permitirá evaluar la eficacia de las acciones.

Santiago Peyrou

Bibliografía

  • The American Association for Public Opinion Research. 2008. Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys. 5th edition. Lenexa, Kansas: AAPOR.

  • Groves, Robert y Couper, Mick. 1998. Nonresponse in Household Interview Surveys. New York, Chichester, Weinhein, Brisbane, Singapore, Toronto: John Wiley & Sons, Inc.