Cómo leer las encuestas

Quien propuso la célebre clasificación “mentiras, grandes mentiras y estadísticas”, olvidó incluir las encuestas. En la Unión Soviética, las estadísticas eran, en expresión de André Frossard, el único género de pintura abstracta permitido por el régimen. En las actuales democracias, los sondeos de opinión se han convertido en un oráculo que políticos, publicistas y organizaciones de toda clase auscultan con reverencia. Pero ¿son realmente fiables las encuestas? Un informe de Stephen Budiansky publicado en U.S. News & World Report (4-XII-95) explica qué valor tienen y las posibilidades de error o manipulación.

“Las encuestas -comenta Budiansky- han llegado a ser, para los políticos y eruditos actuales, lo que era el oráculo de Delfos para los antiguos griegos o el mago Merlín para el rey Arturo: una fuente misteriosa y casi divina de sabiduría”. Hasta hay encuestas que dicen a los políticos con qué tipo de vestimenta han de presentarse ante el público. “Hay encuestas para decirles todo, excepto cómo llevar una conducta íntegra, juiciosa y honrada”.

La cantidad de encuestas ha alcanzado niveles asombrosos. El presidente Kennedy encargó tres sondeos durante sus tres años en la Casa Blanca. Richard Nixon encargó 233 en sus seis años de mandato. En los primeros dos años y medio del presidente Clinton, el partido demócrata ha pagado entre 100 y 150 encuestas para la Casa Blanca, al costo de casi cinco millones de dólares.

Los políticos se han hecho tan dependientes de los sondeos, que muchos son prácticamente incapaces de tomar una decisión sin consultar antes las encuestas. Budiansky afirma que los sondeos han sustituido a la reflexión en la política real y en la información política que sirven los medios de comunicación. Esto es de por sí preocupante, y más aún si se tiene en cuenta que los sondeos son un sucedáneo de mala calidad.

¿Qué opinan los que no contestan?
Para mostrar las limitaciones de las encuestas, Budiansky explica algunas características técnicas.

Cuando se publica un sondeo, se señala el margen de error. Por ejemplo, de uno hecho con una muestra de un millar de norteamericanos se dirá que tiene un margen de error de ±3%. Pero el mayor error sería tomar esa afirmación al pie de la letra, como si fuera la medida exacta de la precisión de la encuesta.

Para los no iniciados, el margen de error oficial indica sólo la posibilidad de que una muestra seleccionada al azar no represente exactamente a la población total. Pero hay otras fuentes de error, que pueden muy bien causar una desviación diez veces mayor que el margen declarado.

Primero, el margen de error tiene significado real sólo cuando la muestra es verdaderamente representativa. Este es un problema frecuente de las encuestas telefónicas, que son un método muy usado hoy día -y el más rápido- para explorar las opiniones de la gente. Los encuestadores parten de una muestra aleatoria; pero resulta que la mitad o incluso dos tercios de las personas elegidas se parapetan tras contestadores automáticos, no descuelgan el teléfono o rehúsan responder. Consecuencia: la muestra realmente empleada no es aleatoria.

El inventor del método de sondeo telefónico que hoy se emplea, el estadístico Warren Mitofsky, señala que hay indicios sólidos de que la gente a la que no suelen llegar los encuestadores opina de distinta manera que las personas que contestan. Por ejemplo, quienes poseen contestador automático y lo usan para filtrar las llamadas tienen, por lo general, más dinero y superior nivel de instrucción que la media. Por tanto, una encuesta telefónica no es fiable si no se hacen repetidos intentos de hablar con las personas de la muestra seleccionada que no responden. Y muchos sondeos -especialmente los “de urgencia”- no cumplen este requisito.

La ficha técnica no se explica
Pero supongamos que la muestra es realmente representativa. Aun así, muchas veces los medios de comunicación llevan a engaño a los no prevenidos porque no explican bien cuál es el grado de fiabilidad de los sondeos. Casi siempre, la ficha técnica señala un nivel de fiabilidad del 95%: esto significa que si se hiciera la misma encuesta una y otra vez, en el 95% de los casos los resultados estarían dentro del margen de error. Pero el margen vale sólo para la muestra total, no para los subgrupos. Y lo más frecuente es que se distribuyan las respuestas según el sexo, la afiliación política, la edad, etc. de los encuestados. El público suele creer que las subdivisiones de la muestra tienen el mismo grado de fiabilidad; pero no es así. Los subgrupos -por ejemplo, mujeres mayores de 25 años- resultan demasiado pequeños para ser representativos.

También ocurre que las informaciones periodísticas exponen los resultados y sacan consecuencias sin tener en cuenta el margen de error señalado al principio. Supongamos que una encuesta con un margen de error de ±5% da una intención de voto del 54% para un candidato, contra el 46% para su contrincante. Lo habitual es que se interprete como prueba de que el primero va por delante. Pero si el sondeo está desviado 5 puntos -lo que cae dentro del margen de error-, puede muy bien que el supuesto ganador en realidad pierda por 49 a 51. Análogamente, muchos “cambios de tendencia” que airean los medios -por ejemplo, en la evolución de la intención de voto o de la popularidad de un gobernante- no son más que fluctuaciones dentro de los márgenes de error.

La pregunta no es inocente
Otra fuente de anomalías es el diseño de las preguntas, que puede no ser inocente. Budiansky lo ilustra con algunos casos de encuestas hechas en Estados Unidos. Pregúntese a la gente si el país tiene problemas de atención sanitaria o una crisis de atención sanitaria; el 55% dice “crisis”. Pregúntese si el país tiene una crisis de atención sanitaria o problemas de atención sanitaria; el 61% dice “problemas”. Dime qué resultado quieres obtener y te diré cómo tienes que preguntar.

Pero tales divergencias, subraya Budiansky, pueden aparecer aunque los encuestadores no pretendan amañar los resultados. Lo que sirve de aviso para profesionales y público. Un cambio aparentemente insignificante en el orden o en la redacción de las preguntas se traduce en resultados muy distintos.

Por ejemplo, los políticos siempre salen mejor parados en los sondeos que piden puntuarlos según el “grado de aprobación” (lo apruebo o desapruebo firmemente o moderadamente), que cuando se pide calificarlos de “excelente”, “bueno”, “aceptable” o “malo”. “Desapruebo moderadamente” y “aceptable” ocupan el tercer puesto en las respectivas escalas; pero cuando se usa la primera salen más respuestas de los dos primeros grados. La razón es que “aceptable” ofrece una salida fácil al encuestado: es mucho menos comprometido que expresar “desaprobación”, aunque sea moderada.

Sin embargo, tanto los medios de comunicación como los grupos de interés subrayan resultados en apariencia espectaculares sin tener en cuenta el efecto que puede tener la forma de preguntar. Durante la reciente polémica sobre el presupuesto federal norteamericano, el New York Times destacó en primera página un sondeo según el cual la gente prefería, por una diferencia del 67% contra el 27%, que no se recortasen los gastos sanitarios, antes que tener un presupuesto sin déficit. El diario concluía que tales resultados mostraban un claro rechazo a los planes de Gingrich y compañía. Pero pocas semanas después, una encuesta de Newsweek que no hablaba de “recortar”, sino de “limitar” los gastos sanitarios, dio sólo un 51% en contra -y un 41% a favor- del mismo proyecto republicano.

Tan decisiva como la redacción de las preguntas puede ser el orden en que se hacen, sobre todo porque los encuestadores tienden cada vez más a emplear preguntas de tanteo (push questions, en el argot). Son una técnica legítima que sirve para explorar la seriedad y los matices de las opiniones que expresan los encuestados. Por ejemplo, si una persona se manifiesta de entrada favorable a un proyecto de ley, el encuestador puede plantearle luego una serie de preguntas, quizá muy intencionadas, que añaden nuevos datos, para comprobar si provocan un cambio de opinión en el encuestado.

Es frecuente que en las campañas políticas se emplee esa técnica para tantear las opiniones sobre cuestiones candentes que los partidos puedan explotar. Pero a veces se publican tales resultados como si procedieran de una encuesta inocente. Ejemplo: primero se pide opinión sobre la vida extrapolítica de un candidato, aportando algunos datos comprometedores; luego se pregunta a quién votaría el entrevistado; finalmente, se publica que “tras ser informados de las posturas y trayectorias de los candidatos, los electores manifiestan…”.

La pasión por opinar
Además, hay casos en que un sondeo de opinión no puede aportar nada. En primer lugar, se debe tener en cuenta que -como bien saben los profesionales de las encuestas- las personas tienden a manifestar opiniones convencionales antes que originales, opiniones que creen mayoritarias antes que otras que les parecen estar en retroceso, y, en todo caso, prefieren expresar una opinión cualquiera antes que reconocer su ignorancia. Así lo muestra un célebre experimento, en el que un tercio de la muestra opinó sobre una imaginaria “Ley de Asuntos Públicos”. Es normal también que la gente exagere sobre su intención de participar en unas elecciones y que se quede corta cuando se le pregunta si consume drogas.

El problema es que cada vez se hacen más encuestas sobre asuntos de los que es difícil o imposible que el público tenga opinión. O de los que no debería opinar, como cuando Time preguntó a una muestra de norteamericanos si creían que el cáncer de colon que sufría Ronald Reagan era grave, o cuando Gallup, en pleno proceso a O.J. Simpson, preguntó a la gente si creía que el famoso guante manchado de sangre podría o no ser del acusado.

Los sondeos no son predicciones
Otras cuestiones que no se prestan a sondeos son las hipotéticas. Sin embargo, ahora se toman decisiones después de encuestas exploratorias que preguntan cosas como “¿Qué le parecería si cierto político hiciera tal o cual cosa?”. Pero la mayoría de la gente simplemente no sabe. Contra lo que algunos creen, los sondeos predictivos tienen muy poco valor. Quien plantea hipótesis cosecha conjeturas.

La obsesión por sintonizar con la opinión pública lleva a la práctica inútil de hacer encuestas sobre asuntos de los que el común de los mortales está poco enterado, como los tratados de libre comercio, el control de armamentos o la protección del medio ambiente. A propósito de esto, Budiansky cita a un profesional que advierte: “Si uno hace un sondeo con entrevistas de veinte minutos sobre cuestiones ecológicas, en la mayoría de los casos somete al encuestado a la conversación sobre medio ambiente más larga de su vida”.

Para comprobar que fácilmente las encuestas obtienen respuestas poco pensadas puede servir un estudio que cita Budiansky. Se preguntó a la gente “¿Cuánto le preocupa…?” sobre una serie de cuestiones relativas a la vigilancia sanitaria de los alimentos. Se ofrecieron cuatro respuestas posibles: “mucho”, “bastante”, “poco” o “nada”. Los investigadores sospechaban que la pregunta suponía de modo implícito que el encuestado debía estar preocupado. Así que hicieron otra encuesta en la que primero preguntaron “¿Le preocupa X o cree que en realidad eso no es problema?”. En todos los casos se duplicó la proporción de no preocupados.

Políticos de geometría variable
Esta secuela de atribuir opinión a gente que en realidad no tiene ninguna es, según Herbert Asher, el peor defecto -y el más peligroso- de las actuales encuestas. El mismo hecho de encuestar, y la insistencia de los medios en publicar encuestas presentándolas como verdaderas noticias, bien pueden crear los cambios de “opinión pública” que pretenden detectar.

Contra este peligro advierte Elisabeth Noelle-Neumann, directora del Instituo de Demoscopia de Allensbach (Alemania), creadora de la teoría de “la espiral del silencio”, que ha verificado mediante numerosos estudios empíricos. Su tesis es que la gente tiende a retraerse de manifestar su postura cuando cree que no coincide con la corriente dominante. Así, la opinión considerada prevalente parece cada vez más “mayoritaria”, se realimenta el fenómeno y el silencio de los “disidentes” crece en espiral (1).

Parece, entonces, que los sondeos no son la mejor guía para tomar decisiones políticas. Budiansky menciona una organización electoral republicana que, “harta de los políticos incapaces de dar un paso sin hacer primero un sondeo”, ha optado por cambiar el método de selección de candidatos. “Ahora, una de las cosas que preguntamos es: ‘¿Cuál es su idea de la misión de gobernar?’ Si no sabe contestar, buscamos a otro. Una persona que va a bailar al son de los sondeos, no vale”.

De hecho, los políticos más influyentes son aquellos que han sabido convencer a la opinión pública de la necesidad de adoptar cambios incómodos. Así actuaba Margaret Thatcher. Cuando perdió el poder en 1990, Henry Kissinger escribió que “su línea como primera ministra no estaba determinada por los sondeos de opinión del día anterior, sino por el profundo deseo de influir en los del día siguiente”.

De la convicción a la seducción
El uso que hoy se hace de los sondeos ha transformado profundamente la política, como señalaba hace años en una entrevista el sociólogo francés Patrick Champagne (2). “Antes, la acción de los políticos se basaba en sus convicciones; sin duda, los actos electorales, los mítines, los aplausos, etc. podían confirmarlos en sus creencias, pero la incertidumbre respecto al resultado final era suficientemente grande para que sus convicciones continuaran siendo su principal referencia.

“A partir del momento en que los especialistas del marketing pueden indicarles los temas que ‘funcionan’ y los que ‘no funcionan’, se pasa de una lógica de la convicción -donde los candidatos tienen unas creencias que intentan que sean compartidas por el máximo de electores-, a una lógica de la seducción, en la que los políticos se componen un personaje que agrade”.

Entonces, ¿para qué sirven las encuestas? Champagne lo aclara en la misma entrevista. Cuando preguntan por hechos, como la situación laboral, o por lo que la gente piensa hacer, como la intención de voto, los sondeos son útiles y cada vez más precisos. El problema viene cuando se piden opiniones. Una encuesta bien diseñada y realizada puede resultar bastante fiel -aunque no tanto como en los casos anteriores-, si la cuestión es simple y nítida. Lo que sirve de poco es preguntar por asuntos generales y complejos y pretender reflejar el humor del público en una escala de cuatro valoraciones.

Ahí está el fallo. “Hoy parece natural -dice Champagne- preguntar a cualquiera sobre cualquier cosa, sin preocuparse de la información que cada uno tiene sobre los temas en cuestión ni de su interés por ellos. Lo que recogen los institutos de sondeos no son opiniones sino reacciones -en el sentido casi químico del término- de una población muy heterogénea a las cuestiones que los clientes de los institutos de sondeos quieren plantear con un propósito no siempre desinteresado”.

Así poco se averigua. Los encuestadores fabrican cuestionarios en los que siempre es posible dar una respuesta, escogiendo entre las opciones ofrecidas, sin necesidad de justificar la elección. Por tanto, “los institutos de sondeos suman respuestas que, aunque formalmente idénticas, son totalmente diferentes en su significado”.

Desde luego, pues, muchos sondeos de opinión sirven para algo, si no para lo que parece: “forman parte del juego político”, afirma Champagne. Ahora “hay que pagar a especialistas encargados de hacer creer que el pueblo aprueba o desaprueba las medidas adoptadas o las acciones políticas emprendidas”.

Para sanar de la sondeomanía, Champagne propone una cura de modestia y realismo. “La práctica de los sondeos se ha desarrollado sobre el eslabón más débil del sistema democrático, el que se basa en la suposición de que todo el mundo tiene opinión sobre todos los asuntos. Cabe imaginar que los sondeos hubieran podido servir, por el contrario, para demostrar que, sobre muchas cuestiones, la mayoría de la gente no tiene opinión, y que están en su derecho a no tenerla”.


Antología de encuestas dudosas

U.S. News & World Report recoge varios casos que muestran cómo influyen en los resultados circunstancias ajenas a la cuestión que plantea una encuesta.

Las características personales del entrevistador pueden condicionar la respuesta. En un sondeo de ABC y el Washington Post se preguntó si los problemas que padecen los negros estaban ocasionados por ellos mismos. Los entrevistados blancos respondieron afirmativamente en un 62% cuando el entrevistador era blanco, y en un 46% cuando el entrevistador era negro.

Un experimento del Instituo de Demoscopia de Allensbach muestra la notable influencia que tiene el modo de preguntar. A la cuestión “¿Cree que los automóviles contribuyen a la contaminación atmosférica más o menos que las industrias?”, el 45% contestó que contaminan más los automóviles, y el 32%, que contaminan más las industrias. A la cuestión “¿Cree que las industrias contribuyen a la contaminación atmosférica más o menos que los automóviles?”, el 24% respondió que los automóviles contaminan más, y el 57%, que contaminan más las industrias.

Las organizaciones judías norteamericanas reaccionaron con indignación ante un sondeo según el cual la quinta parte de la población pensaba que el Holocausto podría ser una invención. Pero una encuesta de comprobación reveló que la doble negación de la pregunta había confundido a muchos entrevistados. La cuestión era: “¿Le parece posible o le parece imposible que el exterminio nazi de judíos no hubiera ocurrido?”. Resultados: “Me parece posible”, 22,1%; “Me parece imposible”, 65,4%. Luego se repitió la encuesta, pero con una fórmula más clara: “¿Le parece posible que no hubiera ocurrido el exterminio nazi de judíos, o está convencido de que ocurrió?”. Resultados: “Me parece posible que no hubiera ocurrido”, 1,1%; “Estoy convencido de que ocurrió”, 91,2%.

También parece posible que hubiera sido más conveniente que no se hubieran realizado tales encuestas sobre temas en los que las simples opiniones aportan poco.

_________________________

(1) Cfr. Elisabeth Noelle-Neumann, La espiral del silencio, Paidós, Barcelona (1995); ver reseña en servicio 109/95.
(2) Le Monde (18-XI-85); ver servicio 184/85.

Share on twitter
Share on facebook
Share on linkedin
Share on email
Share on print
Share on twitter
Share on facebook
Share on linkedin
Share on whatsapp
Share on email
newsletter
cabecera_aceprensa

Reciba semanalmente por correo electrónico nuestros titulares