Réplica a Alberto Mayol: Encuestas de opinión pública, ni tan buenas ni tan malas

En los últimos días ha circulado en diferentes círculos una columna que Alberto Mayol publicó en este mismo medio. En ella, Mayol hace una crítica extensa, con aciertos y errores, a la encuesta Plaza Pública de CADEM.

Más allá de la polémica puntual que conecta a Alberto Mayol con CADEM, su columna y la atención que ha recibido nos ofrece una oportunidad para aclarar varios aspectos que el público general suele desconocer -respecto del oficio de hacer encuestas- y que son importantes para interpretarlas adecuadamente y poder tomar decisiones basadas en ellas.

Los errores más frecuentes de las encuestas se pueden agrupar en dos dimensiones. El primero se refiere a la medición, en la que debemos encargarnos que el cuestionario y sus preguntas sean confiables y válidos.

Y el segundo, a la representación, que se refiere a cómo se obtiene la muestra en la que se aplica la encuesta. Al considerar ambos lo que se busca es minimizar los errores asociados a una encuesta. Para una revisión exhaustiva de estos puntos y cómo afrontarlos técnicamente recomendamos a las personas interesadas ver el artículo de Groves y Lyberg (2010) en este link.

En que coincidimos

Si bien Mayol hace algunos puntos dirigidos a una encuesta en particular, hay aspectos que son de alcance más general. Son básicamente tres: la calidad del cuestionario, la inferencia a partir de los resultados y el marco muestral.

Lo primero es que es fundamental hacer buenas preguntas y eso requiere de un esfuerzo investigativo importante en la elaboración de un cuestionario, de modo que realmente se esté midiendo de manera no sesgada ni intencionada la opinión de los entrevistados.

Se debe sospechar de la utilidad de un resultado cada vez que una pregunta de la encuesta posea un enunciado que implícitamente -y a veces explícitamente- exprese la opinión del que está investigando. O cuando las alternativas no son excluyentes, o cuando se omite una alternativa que tiene sentido y, por ende, se termina forzando al entrevistado a elegir entre lo que se le presenta. En cada una de estas circunstancias se incurre en una falta y, por ende, tienen asidero las sospechas de quienes dudan de la intencionalidad de la encuesta respectiva. Bien podría ser el caso que se busca confirmar una creencia u opinión de quien diseña la encuesta.

Algo similar sucede cuando se presentan los resultados a nivel de la muestra total, pese a que los datos sólo representan submuestras. El margen de error del dato es mayor en submuestras y, por ende, algunas diferencias podrían ser estadísticamente no significativas por muy llamativas que sean, llevando al lector casual a sacar una conclusión equivocada.

Por último, los marcos muestrales suelen ser otra fuente de potenciales errores. Es muy importante conocer las coberturas de estos en el esfuerzo de levantamiento de datos. Más dudas habrá sobre la confiabilidad de los resultados si no existe transparencia en la comunicación de la forma en que se seleccionaron a los entrevistados o no se sabe el origen de esa información.

En que no coincidimos

Por otro lado, Mayol hace algunas aseveraciones que son incorrectas y corresponde despejarlas. Aquí nos enfocaremos en las tres que son relevantes a nivel general.

Primero, en estudios de opinión pública el tamaño de la muestra SI importa. Precisamente, por el punto hecho anteriormente sobre la capacidad de inferir a partir de una encuesta, es recomendable que el tamaño de la muestra sea tal que permita realizar ciertas aperturas y análisis dentro de subgrupos, eso aporta a la interpretación de los resultados, le da sentido y permite explicar datos “extraños,” o incluso contradictorios con las hipótesis desde las cuales se diseñó la encuesta.

Segundo, no es lo mismo si la muestra es probabilística o no. Ello no significa que encuestas realizadas bajo el segundo método sean malas o que no se puedan usar, pero es bueno conocer las limitaciones que tienen, desde un punto de vista estadístico, respecto de las primeras. Nos referimos a que conocer el margen de error de una estimación no solo permite contar con el rango posible de variación de ese dato a partir de esa muestra, lo que contribuye a una mejor lectura de los resultados sino además el efecto del diseño en el procedimiento de obtención de la muestra.

Tercero, los ajustes post encuesta, que consideran la creación de factores de ponderación de acuerdo a parámetros poblacionales, es un procedimiento necesario y técnicamente correcto para asegurar que la muestra final preserve al menos representatividad sobre esas características (por ejemplo sexo, edad, región, educación, etc.) especialmente tomando en consideración que existen variaciones en la muestra final debido a la no respuesta.

Evidentemente, en el caso de muestras no probabilísticas que fija cuotas por esos parámetros -que al parecer sería el caso del estudio de Mayol- ese ajuste no es necesario.

Por otra parte, nada de lo señalado previamente tiene sentido si con ello no se adoptan buenas prácticas en la comunicación de resultados de las encuestas. Es clave la transparencia, la que es promovida por asociaciones gremiales como AIM u organismos internacionales como Wapor y Esomar, quienes hacen recomendaciones de cómo publicar y comunicar los resultados de encuestas, en que lo mínimo que se espera es la publicación de la ficha técnica. Al respecto, hay mucho por hacer aún en nuestro país, pero hay protocolos y trabajo ya en curso.

Finalmente, es completamente razonable que las personas sospechen y desconfíen de los estudios de opinión pública. Y por eso, de tanto en tanto, se levantan polémicas en torno a alguna encuesta específica sobre su representatividad, intencionalidad y/o utilidad. Eso está bien.

Tener una ciudadanía informada y crítica es un requisito básico para que se pueda tener cada vez encuestas mejor hechas y con mejores estándares de calidad. Nosotros vemos esas instancias como oportunidades para ayudar a los consumidores de encuestas a entender el instrumento que tienen entre manos, ponderar los resultados que éstas entregan y, en último término, evaluar si tomarán o no decisiones en función de lo que ven en ellas.

Paulina Valenzuela y Jorge Fábrega
Socios directores de Datavoz