web analytics

1

Jun 11 2016

Por qué fallan los sondeos electorales

Categoría: forecasting / market research

Encuesta_electoralArranca la nueva campaña electoral y con ella la lluvia de sondeos electorales. Día sí, día también, se publican los resultados de nuevas encuestas. E, inevitablemente, día sí, día también, se escucha aquello de que las encuestas en el fondo no reflejan correctamente el sentir e intención del ciudadano (afirmaciones que, por lo general, provienen de aquellos que interpretan que no salen especialmente favorecidos en los resultados que anticipa la encuesta de turno y que, curiosamente, acto seguido invariablemente añaden que manejan encuestas internas cuyos resultados les son mucho más favorables).

Indirectamente, para los que manejamos como fuente esencial de nuestro trabajo la investigación de mercados son días complicados: lo cierto es que los continuos fiascos de las previsiones electorales termina por contaminar la percepción que se tiene sobre este ámbito. Si veinticinco encuestas no han sido capaces de anticipar medianamente los resultados electorales del mes que viene, cómo va a predecir ese modelo tuyo de forecasting que está construido a partir de los resultados de un estudio de mercado las ventas del nuevo producto durante los próximos tres años. Touché.

Así que, adelantándome a lo que se me viene encima durante las próximas semanas, dejadme que me ponga la venda antes de hacerme la herida: sí, es cierto, los sondeos electorales fallan. Con frecuencia y como escopetas de feria. Y ello no quiere decir que las metodologías y técnicas que se utilizan en investigación de mercados no sirvan. Quiere decir, simple y llanamente, que los sondeos que estamos habituados a ver en prensa y televisión, esos cuyos resultados llenan las hora de telediarios y contetulios, están en muchas ocasiones mal diseñados y mal ejecutados.

El caso reciente más flagrante probablemente fue el de las últimas elecciones generales en Reino Unido, celebradas en mayo de 2015. Todos y cada uno de los sondeos publicados durante las semanas previas a la votación habían coincidido en anticipar un resultado extremadamente igualado entre el partido laborista y el conservador, dibujando un escenario político para los próximos cuatro años caracterizado por una inestabilidad que hacía presagiar tiempos complicados en el parlamento británico. Por ello, los resultados fueron una sorpresa mayúscula: mayoría absoluta para el partido de David Cameron. Las críticas a los sondeos publicados antes de las elecciones fueron de tal magnitud que se abrió una investigación para entender por qué habían fallado de manera tan clamorosa. Dicha investigación, de carácter independiente y articulada en torno a un equipo de los académicos de mayor prestigio del país, publicó sus conclusiones hace un par de meses. Las 120 páginas del informe de resultados deberían ser de lectura obligada para todos aquellos que trabajan en el sector. Desmonta con datos varias leyendas urbanas en torno a las encuestas políticas y pone el dedo en la llaga explicando que los motivos esenciales detrás del fiasco de los sondeos electorales no es otro que el diseño y ejecución técnica de las encuestas.

Aseveraciones que solemos escuchar para explicar por qué las encuestas electorales fallan y que no son ciertas (sin entrar en grandes detalles para evitar que abandonéis la lectura):

  • La gente miente en las encuestasPuede ser, pero si lo hace, lo hace de manera sistemática, de modo que los errores se compensan y el resultado de la estimación no se ve afectado en gran medida.
  • Los partidarios de partidos conservadores no lo reconocen públicamente, por lo que la intención de voto de estos partidos se ve minorada.  Este efecto existe y de hecho se viene estudiando desde hace años en múltiples países. Como tal, es posible cuantificarlo y corregirlo, por lo que tampoco influye de manera relevante en los resultados de los sondeos.
  • Mucha gente decide su voto a última hora. Se dedican muchas horas en las tertulias a hablar de los indecisos. Lo cierto es que, salvo que sobrevengan eventos extraordinarios capaces de polarizar de manera abrupta la intención de voto (tal y como pudo vivirse en España en las elecciones de la primavera de 2004 tras los atentados del 11M) el reparto de voto del segmento de los indecisos viene a replicar en gran medida la tendencia de aquellos que sí declaran tener su voto decidido.
  • El voto por correo, tanto nacional como fundamentalmente desde el extranjero, no se contempla adecuadamente en las encuestas. Cierto, pero de nuevo es un factor que, además de ser poco relevante en términos de volumen, puede hasta cierto punto estimarse razonablemente a partir de datos históricos.

Si ninguno de estos factores influye de manera determinante en el error de los sondeos. ¿Qué es lo que falla entonces en las encuestas electorales? La clave está, como en muchos otros ámbitos, en la letra pequeña. En esas tres o cuatro líneas en un tamaño de letra ilegible que describen la metodología seguida para la realización de las encuestas.

Esencialmente la clave de la representatividad de la muestra sobre la que se realiza la encuesta viene dada por dos elementos: el tamaño de la muestra (cuánta gente se ha entrevistado) y el supuesto de muestreo aleatorio (entrevistamos a gente puramente al azar). Y es este segundo punto donde la gran mayoría de las encuestas electorales no dan la talla.

De nuevo en formato titulares:

  • La práctica totalidad de las encuestas electorales se realizan bien telefónicamente mediante llamadas a numeraciones aleatorias a teléfono fijo, bien mediante paneles online. En ambos casos se está dejando de considerar a buena parte de la población (en España, por ejemplo, más de un 20% de los hogares no tienen ya teléfono fijo o más del 30% de la población no son internautas), lo que introduce un sesgo notable – la muestra no representa adecuadamente a toda la población. Las encuestas del CIS son una de las pocas excepciones a esta tendencia ya que se realizan presencialmente, en hogares seleccionados aleatoriamente, lo que explica (junto al hecho de que el tamaño de muestra sea mayor) que sus resultados tiendan a ser notablemente mejores que los de otro tipo de medios (aquí debemos aclarar que la metodología presencial lleva asociada un coste y unos plazos de ejecución significativamente mayores, motivo esencial por el que las encuestas que los medios de comunicación encargan habitualmente se realizan mediante otros procedimientos). Aún así, ni las encuestas del CIS escapan a otros factores de error como veremos en los siguientes puntos.
  • El supuesto de aleatoriedad requiere igualmente que una vez se ha seleccionado un contacto (un número al que llamar, un hogar al que visitar) debe entrevistarse sí o sí a ese contacto. Lo que sucede en la vida real es que si el equipo de trabajo de campo intenta contactar por ejemplo con un teléfono dado en un par de ocasiones sin éxito pasará a intentarlo con un nuevo contacto. En la práctica ello implica que ciertos segmentos poblacionales estarán mal representados en la muestra (si trabajo hasta las ocho de la tarde difícilmente podrás entrevistarme llamándome al fijo o llamando al timbre de mi domicilio a mediodía; en cambio, si llamas a mi madre jubilada, a mi hermano estudiante o a mi primo en paro tendrás una mayor probabilidad de que responda a la encuesta).
  • A la hora de analizar los resultados de la encuesta, por norma se aplican una serie de ponderaciones que permita ajustar el perfil de la muestra entrevistada al perfil de población general (simplificando, si por ejemplo entre mis entrevistados hay un 60% de hombres y sé que en la población a representar hay sólo un 50% tendré que aplicar un factor corrector). El problema viene a la hora de identificar qué variables elegimos para aplicar cuotas. Típicamente se aplican variables sociodemográficas básicas (edad, sexo, etc.) que pueden resultar insuficientes a la hora de realizar estimaciones electorales (resulta por ejemplo razonable pensar que habría que aplicar cuotas específicas por situación laboral del entrevistado).

En definitiva, es en la representatividad de la muestra donde se concentra el error de las encuestas electorales. Los niveles de error que reflejan las fichas técnicas de las encuestas (el famoso +X% para un nivel de confianza del 95,5%) asume que se han dado las condiciones de un muestreo aleatorio, hipótesis que, como hemos visto, dista mucho de darse.

¿Perdemos la esperanza entonces de tener sondeos electorales cuyas estimaciones se aproximen más a la realidad? No necesariamente, hay vías para ello: combinar el tradicional contacto a través del teléfono fijo con llamadas a números de móvil parece la alternativa idónea hoy en día; se puede incrementar el número de intentos de contacto a diferentes horas del día, se debe explorar la correlación entre variables más allá de las sociodemográficas más elementales y la intención de voto para establecer nuevas cuotas, etc.

En resumen, no es que la investigación de mercados, las encuestas, no sirvan, simplemente es que las cosas hay que hacerlas bien. El mundo cambia y las herramientas y formas de trabajar deben de hacerlo igualmente.

Nota: Estas líneas tratan de ilustrar incluso para los más profanos en la materia la problemática de los errores a la hora de realizar e interpretar sondeos electorales. Los ejemplos y descripciones que he usado son deliberadamente simplistas y no exhaustivos.

0

May 09 2016

Y cuatro meses después…

Categoría: estrategia

Hace algo más de cuatro meses, un par de días después de las elecciones del 20D, dibujábamos en un post rápido el escenario que la teoría de juegos dictaba como el más probable:

Se abre una opción que aparentemente ha pasado todavía desapercibida por la masa de analistas y que se deriva de los pobres resultados obtenidos por Unidad Popular-Izquierda Unida: sus más de 920.000 votos se han traducido en apenas 2 escaños, cifra severamente penalizada por la Ley D’Hont. Si en un hipotético escenario en el que se repitiesen las elecciones lo razonable sería esperar que la decisión del voto se polarizase hacia los partidos con mayor apoyo, en el caso de los partidarios de UP-IU este movimiento natural se vería sustancialmente acrecentado tras haber constatado la situación de inferioridad en la que la Ley D’Hont deja a esta formación. Resumiendo: lo normal en este escenario es que gran parte de los votantes de Unidad Popular-Izquierda Unida optasen por un voto “útil” que mayoritariamente debería ir dirigido a Podemos (que con toda seguridad sabría incorporar hábilmente este mensaje a su discurso). La teoría de juegos nos dice que la dirección de Unidad Popular-Izquierda Unida, anticipando este movimiento, trataría de llegar (esta vez sí) a un acuerdo con Podemos para integrarse en esta formación y evitar su virtual desaparición

(…) Ello nos permite aventurar que la gran baza de Podemos a día de hoy pasa por llegar a esas nuevas elecciones y hacerse con el decepcionado electorado de UP-IU. Lo razonable, por lo tanto, es que Podemos no se preste a ningún acuerdo que conduzca a la investidura de un candidato, sea del color que sea, lo que a su vez deja al PSOE (dado que sin el apoyo de Podemos no estará en condiciones de presentar con opciones su propia candidatura) en la complicada tesitura de facilitar la presidencia a un candidato del PP (o a lo sumo un candidato independiente como comienza a escucharse) o forzar la convocatoria de un nuevo proceso electoral que bien puede conducirle al escenario que hemos descrito.

Pues ya estamos ahí 🙂

2

Mar 09 2016

Sobre la obsolecencia programada

Categoría: cajón desastre

No es por daros envidia (o sí), pero mirad qué he encontrado en un cajón. Pilas nuevas y funcionando como hace 30 años 🙂

donkey_kong_jr

 

1

Ene 18 2016

Aunque la mona se vista de seda…

Categoría: empresa 2.0

torpezaNo hay gran empresa en este país que no haya abordado durante los últimos años (y se vean hoy plenamente inmersas en ello) algún ambicioso proyecto de digitalización. De revisión de procesos obsoletos. De implementación de nuevos mecanismos y herramientas que les permita dar un servicio más ágil y personalizado a sus clientes. Es el futuro.

Y muy pocas son las que se han dado cuenta de que ese proceso no debe emprenderse sin dejar de lado un elemento esencial y al mismo tiempo muy poco digital: el factor humano. De nada sirve desarrollar costosas plataformas tecnológicas si la transformación no arranca por donde debe: por las personas que deben gestionarlas. Es inútil invertir en reinventar los sistemas y canales de la compañía si los procesos y hábitos adoptados durante años continúan inalterables. Igual que resulta absurdo tratar de reconstruir la operativa de la compañía a partir de un idílico modelo puramente digital en el que los imprevistos, errores y excepciones no tengan cabida.

Dos ejemplos tontos que he sufrido en primera persona muy recientemente:

Compañía aérea: Al aterrizar en un aeropuerto latinoamericano descubro que mi maleta ha resultado dañada (eufemismo para decir que quedó en tal estado que fue directa a la basura). Trato de poner una reclamación en el centro de atención al cliente de la compañía en el aeropuerto pero la oficina está vacía. Espero mi buena media hora y viendo que no hay señales de vida del personal de tierra, dejo una nota, intercambio un par tuits con el CM de la compañía y me voy. Unos días después me llega un correo electrónico pidiéndome una serie de datos para tramitar la queja. Hasta aquí, lo normal. Lo anormal es que, pasadas ya unas semanas, el proceso sigue exactamente en el mismo punto, es decir, en blanco. Mi maleta en la basura y mis expectativas de ser compensado nulas. ¿El motivo? Como no pude tramitar la reclamación en el aeropuerto, no se me asignó un código de reclamación y parece que es imposible que el proceso progrese. Las quejas de esta índole hay que tramitarlas a partir de la página web de la empresa, pero sin el dichoso código es sencillamente imposible. El que la culpa de que falte el código sea del personal de la empresa que andaba de paseo en lugar de atendiendo a sus clientes no es más que un pequeño detalle. Tratar de explicar la situación a una persona es también imposible: somos una compañía digital y lo de escuchar y hablar de tú a tú con nuestros clientes sólo lo hacemos con unos y ceros de por medio. Estupendo.

Banco: Esta es sencillamente de traca. Soy cliente de su oficina online. Su servicio no es que sea espectacular (siguen claramente por detrás de los Bankinter, ING y demás) pero no había tenido grandes quejas… en los tres meses que llevo con ellos. A la primera china en el zapato han quedado expuestas sus vergüenzas, que son muchas. El tema es que tenía que realizar una transferencia de cierto importe, que parece que superaba el límite preautorizado de mi cuenta (imagino que dicho límite estará especificado en alguna de las 1500 cláusulas en letra tamaño 2px del contrato de apertura; no tenía noticia de él hasta el momento de intentar tramitar la operación). ¿La solución? Esta empresa, de esas que que presumen en el Expansión día sí, día también del proceso de digitalización en el que está inmerso, me obliga a desplazarme físicamente a una oficina para que se autorice la operación. Creo que llevaba once años sin pisar una oficina bancaria, pero no han cambiado mucho las cosas por lo que pude ver: veinte minutitos de espera; folletos amarillentos de depósitos al 0,1%; una abuela discutiendo por el importe de la pensión. En fin, me toca. Explico a la atenta chica que me atiende que necesito eliminar el límite para la emisión de transferencias. Me mira extrañada. Eso es imposible. A lo sumo puede elevarse el importe máximo a transferir, me explica. Le digo que me vale también, pero cuando le indico la cantidad vuelve a mirarme con cara rara y me sugiere mejor realizar la transferencia desde allí. No tengo problema. Le doy los datos de la operación y los introduce con presteza en su terminal. Y chocamos con los viejos hábitos, con el hacer de toda la vida. Con considerar una herejía eso de que sus clientes hagan con su dinero lo que les venga en gana. Uy, parece que la oficina online tiene que autorizar la operación. Espere aquí que pregunto al director de la sucursal. El director se sienta en la mesa del fondo y me mira con interés mientras la chica le explica susurrando el caso. En sus cincuenta, pelo cano y un sobrepeso que podemos calificar siendo generosos de no menor se acerca para interesarse por el motivo de querer realizar la transferencia. Le indico educadamente que no es de su incumbencia y que entre unas cosas y otras llevo ya una hora perdida. Me explica, muy despacito, que este tipo de operaciones requiere de un tratamiento especial; hay que cumplimentar una solicitud por escrito y enviarla por fax (¡sí! ¡todavía existen!) junto con una copia de mi documento de identidad a la oficina online para que la validen. A estas alturas ya ni discuto y nos ponemos con ello. Todo listo. Llamada telefónica para asegurar que los de la oficina online han recibido la documentación. Y llega el detalle que consigue sacarme de mis casillas. Llegados a este punto la chica que me atendía en la oficina me pasa el auricular. Los de la oficina online quieren hablar con usted para verificar unos datos. Para autorizar la operación necesitamos su nombre. ¿Perdone, cómo que mi nombre? Sí, para confirmar la operación la operación necesitamos que nos indique su nombre y dirección. Ah, entiendo, debe ser que usted no sabe leer, ¿no? Porque acabamos de enviarle copia por fax de una solicitud de dos hojas y de mi carnet de identidad. Silencio. Es que es el procedimiento. Pues se olvida del procedimiento y se lee lo que tiene en la pantalla. En definitiva, hora y media perdida para realizar un trámite que en cualquier otra entidad me hubiera llevado dos clicks. Un servicio online que te obliga a desplazarte a una oficina física a rellenar papeles y mandarlos por fax.

Lo dicho, dos ejemplos que ilustran a la perfección la vacuidad de muchos de estos procesos de transformación de los que tanto oímos hablar; se pueden cambiar logos, gastar fortunas en campañas de comunicación, poner bonitas las páginas web, pero si no se resuelven los problemas raíz, si los servicios más básicos e higiénicos que nuestra compañía debe prestar a sus clientes no funcionan, todo lo demás no dejan de ser sino fuegos de artificio.