Encuestando a los expertos en encuestas

Navegar por Internet, coger el teléfono fijo o móvil, leer el periódico o ver la televisión: independientemente de cuál sea el vehículo de comunicación, las encuestas y los informes elaborados a partir de las mismas están por todas partes.“Para nuestro informe especial de final del año sobre viajes en avión de 2007 … compararemos ocho preguntas sobre la experiencia de volar en avión en 2007 y 2006 …”.“El veintitrés por ciento de los encuestados por la CNN/Opinion Research Corporation afirman que, en comparación con otros presidentes de la historia de Estados Unidos, el presidente Buch es el peor …”.

“¿Cuál es tu coche preferido? ¿Lamborghini, Lotus, Aston Martin, Massarati, Ferrari, …?”
Cuando el profesor de Estadística de Wharton, Robert A. Stine, revisaba la exótica encuesta sobre coches que su hijo de 11 años había diseñado para un trabajo de clase, las cuestiones que le fueron surgiendo reflejaban en cierto modo los principales problemas que rodean las encuestas en la actualidad. ¿Son las encuestas precisas? ¿Científicas? ¿Se puede confiar en ellas? ¿Pueden las preguntas manipularse para conseguir una respuesta determinada?

Tal y como Stine hacía ver a su hijo, la mayoría de los estudiantes encuestados simplemente contestaban el primer nombre de coche de la lista, el Lamborghini. “Cuando observamos las respuestas, le pregunté si pensaba si los niños que habían respondido a dicha cuestión sabían qué era un Lamborghini. Su respuesta fue que no”, recordaba Stine. “Entonces le sugerí que debía introducir una pregunta de seguimiento. Debía mostrarles fotos de todos los coches y pedirles que identificasen su coche preferido. En cierto modo, si no reconoces la foto de tu coche preferido, entonces no es tu coche preferido …”.

Tal y como señalan Stine y sus colegas de Wharton, los resultados de las encuestas políticas y de marketing –y si el público confía o no en sus resultados-, están influenciadas por muchos factores, incluyendo la tecnología asociada a las encuestas, las palabras empleadas en las preguntas, la imagen de quién está haciendo las preguntas, cuándo y cómo se elabora la muestra, y quién acepta participar en la encuesta y quién no.

Encuestas de máxima y mínima fiabilidadEn lo que respecta a las encuestas, ninguna es igual.
¿La más fiable? “Informes realizados periódicamente por organizaciones profesionales de encuestas que, de manera repetitiva, preguntan las mismas cuestiones –como “¿Tiene Ud. la intención de comprar un coche en los próximos tres meses?”-, son muy útiles y científicas”, afirma J. Michael Steele, profesor de Estadística de Wharton. “Aunque no sabemos lo que realmente quiere decir una persona cuando contesta Sí, podemos afirmar que el pasado año el 15% contestó afirmativamente frente al 5% este año”. Un ejemplo de empresa que entra dentro de este perfil es la organización Gallup y la Gallup Poll, considerado uno de los principales barómetros de opinión pública.

¿Y las encuestas que son potencialmente informativas pero, sin embargo, problemáticas en lo que respecta a su fiabilidad? Existen en la forma de informes que no repiten cuestiones pero están basadas en una muestra probabilística. Su validez, señala Steele, “depende de la calidad de la cuestión. Las firmas de marketing lo hacen para conseguir respuestas honestas que utilizan con fines comerciales. Los políticos también quieren respuestas honestas, pero a veces están buscando algún asunto mediático que explotar”.

Sin lugar a duda, en opinión de los expertos el peor tipo de encuestas son las realizadas a través de Internet o revistas, las cuales resultan atractivas únicamente a aquellos interesados en el tema. “No tienen ningún valor, excepto como mero entretenimiento”, dice Steele. “Por ejemplo, encuestas en revistas sobre el derecho a elegir casi siempre reciben toneladas de respuestas procedentes de asociaciones pro vida. Los resultados son basura”. Las encuestas a través de Internet, añade Steele, “son palabras vanas. No contienen ninguna información, excepto tal vez en el número de personas que las responden. Estas encuestas actúan como un modo de encontrar temas candentes entre cierta audiencia objetivo. Es bueno para las revistas, pero malo para los lectores. Lo único interesante es que son un indicador del número de lectores que están interesados en el tema”.

En lo que respecta a comparar encuestas de marketing o empresariales, las encuestas de marketing normalmente se realizan con el objetivo último de vender productos, probar cuál sería la acogida del mercado y las opiniones de los consumidores, e identificar las preferencias de los clientes. Por otro lado, las encuestas políticas normalmente intentan averiguar cuáles son las intenciones y opiniones de los votantes, y determinar qué candidato ganará las elecciones.

“Las encuestas de marketing tienen sus propios objetivos”, dice Richard Johnston, profesor de Ciencias Políticas y director de investigación del National Anneneberg Election Study de la Universidad de Pensilvania. “Es más, lo que les preocupa es que los resultados sean representativos de la población de la que vayan a obtener beneficios. Por ejemplo, la población objetivo suele ser urbana y tener estudios universitarios. En mi opinión los expertos en marketing han adoptado rápidamente las encuestas a través de la Red porque las muestras obtenidas de este modo son relevantes para sus objetivos”.

El impacto de la tecnología
El profesor de Marketing de Wharton, Peter S. Fader, cree que “en general el trabajo de hacer encuestas sigue siendo tan importante como siempre”. Sin embargo advierte que la tecnología ha tenido un impacto negativo sobre el negocio del marketing. “La tecnología ha empeorado las cosas”, dice Fader. “La facilidad con la que se recopilan datos en Internet es una gran noticia –reduce costes y da mayor flexibilidad en términos de tiempo y preguntas-, pero hace que las empresas sean menos cuidadosas. Antes se solía probar y volver a comprobar una encuesta para asegurarse de que las cuestiones eran correctas. Ahora, si se detecta un error, simplemente se vuelve a pasar la encuesta de nuevo. Pero en su mayoría la batería de preguntas que se suelen preguntar –familiaridad, preferencias, intenciones, comportamiento-, es básicamente la misma. Aunque los métodos pueden haber cambiado, la intención con la que se hacen las encuestas es una de las cosas más estables en marketing”.

El coste de hacer encuestas siempre ha sido un tema relevante. Con la introducción del teléfono, las encuestas cara a cara fueron desplazadas por las encuestas telefónicas. Según Johnston, el coste de una encuesta telefónica de 30 minutos es 50 dólares frente a los 1.000 dólares de una empresa personal. Pero las económicas entrevistas telefónicas también tienen sus puntos débiles. “Para las encuestas telefónicas el principal problema es el telemarketing”, dice Johnston. “Los hogares han sido tan vapuleados que ahora es muy difícil conseguir su cooperación en las encuestas telefónicas. Las tasas de respuesta han descendido para todo tipo de encuestas”.

Abraham J. Wyner, profesor de Estadística de Wharton, señala que “aunque el valor de una buena respuesta bien merece el coste de conseguirla”, cada vez es más caro elaborar una buena encuesta en un momento en que “la población es indiferente”. Por ejemplo, las encuestas telefónicas están consideradas entre las más fiables en lo que respecta a respetar modelos estadísticos y obtener una muestra aleatoria. “Pero en la era de la identificación de las llamadas, mucha gente opta por no contestar el teléfono si ven un número oculto”.

De hecho, un estudio llevado a cabo por Pew Research Center, en 2004, revelaba que “ahora hay más estadounidenses que se niegan a participar en las encuestas telefónicas que hace seis años” debido al creciente número de llamadas telefónicas molestas y a que los potenciales encuestados “están armados con tecnología cada vez más sofisticada para detectar las llamadas”. Una encuesta típica que utilizase técnicas estándar, como por ejemplo las empleadas por entidades estadísticas, conseguía “entrevistar a alguien tres de cada diez veces que llamaban a un hogar de la muestra”, lo cual representa una caída de 9 puntos porcentuales desde finales de los 90, se explicaba en el estudio.

La American Association of Public Opinion Research, una organización de opinión pública y profesionales de las encuestas, señala que los típicos informes elaborados a partir de encuestas políticas y de marketing no se ven afectadas por el reciente registro “No llamar”, el cual fue creado a partir de la aprobación de la ley Do Not Call Implementation Act en junio de 2003 por la Federal Trade Commission. Gracias a esta ley, es ilegal “en telemarketing llamar a consumidores con los que no se haya tenido un contacto comercial previo. La Federal Trade Commission exceptuó las investigaciones de opinión porque son una parte importante del proceso de monitorización y toma de decisiones políticas”.

Antes era habitual que los encuestadores se encontrasen con gente que se negase a contestar a las preguntas después de coger el teléfono; hoy el problema es, en palabras de Johnston, “la negación silenciosa”, esto es, la gente simplemente decide no coger el teléfono. Y se trata de un gran problema. “La disposición para coger el teléfono es, en cierto sentido, independiente de otras características, como por ejemplo estar interesado en política”, dice Johnston. “El tipo de persona que responde a las encuestas políticas hoy en día forma parte, en comparación con hace 40 años, del segmento poblacional más interesado. Hace 40 años también obtenías respuestas de gente con menos interés, más apática”.

Sin embargo, no está nada claro cuál será el efecto de “la negación silenciosa” sobre la capacidad de los encuestadores para obtener muestras representativas. El estudio Pew 2004 encontró que aunque las encuestas cada vez se enfrentan a una mayor resistencia y caída de la participación, “las encuestas realizadas de un modo cuidadoso siguen obteniendo muestras representativas de la población y proporcionan datos precisos sobre los puntos de vista y experiencias de los estadounidenses … La caída en la participación no ha socavado la validez de la mayoría de los informes elaborados por organizaciones de reputación que realizan encuestas”.

Teléfono fijo versus teléfono móvil
“La cuestión de la cobertura es realmente preocupante”, explica Johnston. “¿Con qué precisión puedes identificar la población de individuos a partir de la cual quieres obtener una muestra? La tecnología telefónica se ha convertido en el principal modo de hacer encuestas a medida que se dispuso de línea telefónica en prácticamente todo el territorio de Estados Unidos. Pero ahora las cosas van en otra dirección. Existe cierta relación entre juventud y no tener acceso a una línea fija. Los encuestadores están intentando calibrar cuánto se pierde cuando prescindes de los teléfonos móviles. ¿La respuesta? En lo que respecta a encuestas políticas, no mucho. Los usuarios de teléfonos móviles que votan no son radicalmente diferentes de los votantes que disponen de línea fija. El negocio de las encuestas telefónicas está en transformación, cosa que preocupa a todo el mundo”.

En lo que respecta al uso de los teléfonos móviles y las encuestas, algunas investigaciones apoyan la tesis de Johnston. Según Scott Keeter, director de investigaciones del Pew Research Center, en la actualidad no se puede tener acceso a casi el 13% de los hogares estadounidenses porque sólo tienen teléfono móvil, no línea fija. Para finales de 2008 dicho porcentaje tal vez supere el 25% “si la actual tasa de crecimiento se mantiene”, explica Keeter en un informe de Pew de 2007 titulado "The Landline-less are Different and Their Numbers are Growing Fast" (“Los que no tiene línea telefónica fija son diferentes y además cada vez son más”).

Pero por el momento el impacto del fenómeno de los teléfonos móviles sobre las encuestas ha sido sorprendentemente mínimo, señala Keeter. Según cuatro estudios realizados por Pew en 2006 que comparaban los encuestados a través del teléfono móvil y a través del teléfono fijo, Keeter concluye que “ningún resultado cambiaría en más del 2% si se incorporasen las respuestas de los encuestados a través del móvil. Aunque sean bastante diferentes a los encuestados a través de la línea fija, no son ni lo suficientemente numerosos ni diferentes como para generar cambios significativos en las estimaciones generales si se incluyen en la muestra y se ponderan según parámetros del US Census en base a características demográficas”.

No es ilegal realizar informes basados en encuestas a través del móvil; es simplemente más difícil y caro que llamar a líneas fijas. Leyes federales prohíben el uso de aparatos para realizar llamadas automatizadas cuando se llama a un móvil, de tal forma que cada número de la muestra de teléfonos móviles debe marcarse manualmente. Tal y como escribe Keeter, “el esfuerzo de contactar a través del móvil es significativamente mayor al de contactar a través de una línea fija; así pues, completar determinado número de encuestas requiere un mayor esfuerzo en el caso de los móviles. Pew estima que entrevistar a alguien a través del móvil cuesta cuatro o cinco veces el coste de hacerlo a través de una línea fija”.

El poder de predicción de los mercados
Unas características cambiantes entre los potenciales encuestados y factores relacionados con la tecnología son dos de los motivos por los que Justin Wolfers, profesor de Empresa y Políticas Públicas de Wharton, cree en el poder de predicción –o apuestas- de los mercados. Wolfers -que está asociado con varios sitios web de mercados de predicción como InTrade.com o Tradesports.com, en los que los participantes compran y venden contratos deportivos y posibles resultados políticos-, sostiene que hacer predicciones es mucho más fiable que las encuestas; tres son los motivos.

“En primer lugar, al tener que apostar tu propio dinero, estos resultados revelan realmente tus creencias”, señala Wolfers en un artículo sobre fijación de precios de los riesgos políticos con mercados de predicción. “En segundo lugar, los mercados proporcionan oportunidades de beneficios para aquellos que estén deseando recopilar nuevos datos que contribuyan a predecir el futuro. Y en tercer lugar, los mercados agregan información que se encuentra dispersa entre muchos compradores y vendedores”.

“No estás preguntando a quién votarían, sino quién creen que va a ganar”, dice Wolfers. “La evidencia resulta devastadora; los mercados de predicción ofrecen predicciones más precisas que las encuestas. Por término medio, las predicciones finales de una encuesta Gallup tienen un error del 2,25% mientras las de los mercados de predicción son del 1,5%”.

Wolfers señala que “la idea de apostar en las elecciones presidenciales no es algo nuevo. En los últimos 100 años siempre se ha apostado en las elecciones. Si lees el New York Times de principios del siglo XX encontrarás el mercado de predicciones, que por entonces se llamaba mercado de apuestas; ninguna señal de vida para las encuestas, que aún no se habían inventado. Pero, desde 1940, las elecciones han estado dominadas por las encuestas”.

Wolfers cree que “dentro de unos pocos años y un par de periodos políticos estaremos observando los mercados políticos a través de las lentes de los mercados de predicción en lugar de las encuestas. De hecho, en las últimas elecciones hemos visto como, a la luz de los mercados de predicción, los comentadores políticos hablaban cada vez más de la carrera hacia la presidencia”.

Donald F. Kettl, director del Fels Institute of Government y profesor de Ciencias Políticas en la Universidad de Pensilvania, señala que la influencia de los mercados de predicción y las encuestas tradicionales ya han tenido un enorme impacto sobre las elecciones de 2008. “Lo primero que resulta obvio es que la carrera hacia la presidencia es incluso más emocionante que antes. No hay nadie que lidere la carrera dentro del Partido Republicano y las encuestas siguen indicando que Hillary Clinton tiene las cosas bien atadas para ser la candidata demócrata. Hasta el momento las encuestas han desempeñado un importante papel en el modo en que se han desarrollado las campañas”.

Cuando esto sucede al principio de la campaña, Kettl sostiene que no sólo cambia la percepción del público sino también el grado de atención que se presta al tema. “La gente presta más atención cuando la batalla para ser candidato es dura. Es parte del problema. Para los que van en segunda, tercera y cuarta posición resulta mucho más complicado entrar en la batalla si se cree que ya existe un ganador. Se puede ver en el caso de la campaña de Barack Obama. Es difícil que Obama pueda acabar siendo candidato nacional porque Clinton lleva ocupando el primer puesto en las encuestas desde hace mucho tiempo … Se produce una especie de círculo sin salida… la percepción se convierte en realidad y la realidad en percepción”.

“Cada vez resulta más difícil hacer buenas encuestas”, opina Kettl. Es complicado conseguir resultados representativos de toda la población. El problema de conseguir una buena muestra de la población para así hacer estimaciones sobre lo que va a ocurrir cuando la gente de hecho acuda a las urnas es incluso más complicado. Estos problemas están volviendo locos a los encuestadores”.

Kettl predice que al final los encuestadores tendrán que recurrir a las metodologías basadas en la Red y el uso del teléfono. “Creo que probablemente en los próximos 18 meses los encuestadores intentarán redefinir los actuales procesos y métodos y encontrar el modo de romper con lo establecido. Estimar quién tiene más probabilidad de ir a votar; ésa es la clave. Eso es lo que diferencia a los buenos encuestadores de los malos”.

Johnston está de acuerdo. “Aunque muchos podrían encontrarlo un fastidio, la Red tal vez sea el futuro de las encuestas serias”, sostiene. “Con el estudio Annenberg Election de 2008 queremos hacer algunas comparaciones controladas entre la Red y el teléfono”.

Fabricar salchichas
“¿Podemos confiar en las encuestas?”, es la última cuestión que Stine aborda, y recuerda que se trata de una cuestión muy complicada. “¿Cómo podríamos saberlo? Confiar en las encuestas, ¿para qué? ¿Para tener una idea de lo que piensa el país? No sé. Como los comentaristas que describen por qué la bolsa subió o bajó. Hoy siempre puedo explicar por qué bajó ayer. Pero saber si es cierto o falso es una cuestión mucho más sutil”.

Steel sigue siendo igualmente escéptico. ¿Su opinión sobre las encuestas? “Me niego a participar en ninguna. Simplemente les digo que soy estadístico. ¿Afectan las encuestas a la política? Quien sabe cómo se hace realmente la política. Según parece ser es como fabricar salchichas. Hay que pensar en las encuestas como una manera de confirmar el sesgo, que consiste básicamente en que siempre buscamos más pruebas de las cosas en las que ya creemos. Si de niño te dicen que los elfos fabrican la lluvia, entonces cada vez que llueva hay más evidencia de que los elfos existen. Todos tenemos nuestras propias opiniones, y en cuanto se forman buscamos más evidencia que las refuercen”.

Artículo publicado en: http://wharton.universia.net