Quindi vuoi annullare l'inclinazione dei sondaggi

Non entrare nelle tabelle incrociate. Parli di bias di mancata risposta.

La nostra moderna ossessione per i sondaggi presidenziali risale, ovviamente, al 2008, quando il metodo di aggregazione di Nate Silver rassicurò i liberali ansiosi che Obama avrebbe davvero vinto. I semi di un'altra ossessione - criticare la validità di detti sondaggi - germogliarono anche durante quelle elezioni, con dibattiti sui sondaggi condotti tramite cellulare vs. fisso (la mancanza del primo, è stato suggerito, spiegava che Obama non era ancora più avanti). Ma è stato solo nel 2012, quando un uomo di nome Dean Chambers ha introdotto il termine non distorto nel lessico elettorale tramite un sito web (ora defunto) dedicato a dimostrare che i sondaggi si sbagliavano su Mitt Romney, che il passatempo del debunking dei sondaggi è davvero decollato. . I sondaggi del 2012 non erano sbagliati, ma i sondaggi del 2016 lo erano (o meglio, come direbbe qualsiasi data scientist, dicevano che Hillary era più probabile che vincesse che briscola , e sappiamo come è andata a finire), e di conseguenza nessuno si fida del vantaggio dell'8% di Joe Biden intorno a luglio 2020. Poiché l'analisi dei sondaggi è diventata più sofisticata, lo sono anche i modi in cui le persone si parlano per credere che quei sondaggi siano sbagliati. Ecco come farlo correttamente e come non farlo.

Non distorcere i sondaggi. No, seriamente, non farlo. I sondaggi sono misurazioni imprecise. Hanno margini di errore per un motivo. Non sono né giuste né sbagliate: sono istantanee di un momento, piccole informazioni di dimensioni ridotte.



Guarda i sondaggi in più contesto. Non ti ho persuaso, vero? Bene. Se devi iniziare a intrometterti, puoi rendere i sondaggi più utili visualizzandoli insieme ad altri sondaggi, ovvero aggiungendo il contesto di altre piccole informazioni, e poi, se sei davvero ambizioso, fai un po' di conti per creare fantasiose medie di sondaggio avanzate o modelli che prendono quelle medie e le trasformano in probabilità. Ma niente di tutto ciò implica guardare un singolo sondaggio e decidere che è sbagliato e poi cercare la prova nelle viscere della cosa.



Non entrare nelle tabelle incrociate. Uno di maggior parte modi comuni in cui gli investigatori di sondaggi dilettanti vanno male è scavare nelle tabelle incrociate di un singolo sondaggio (dove sono ospitate le informazioni sulle risposte per razza, sesso, età, ecc.) per dichiarare che ha campionato le quantità sbagliate di diversi dati demografici. Sostenitori hardcore di Bernie Sanders durante le primarie democratiche del 2020 , ad esempio, ha sostenuto che i sondaggi non riuscivano a catturare il suo sostegno perché le tabelle incrociate mostravano che non veniva intervistato un numero sufficiente di giovani.



Sembra intelligente, ma fondamentalmente non è così che funzionano i sondaggi. Le società di sondaggi non chiedono semplicemente a un campione casuale di persone la loro opinione, quindi la scrivono e la chiamano un giorno. Quando si tratta di elezioni, prima chiedono da qualche parte tra 300 e 5.000 persone la loro opinione, quindi ponderano tali opinioni in base alle categorie in modo che le medie finali del sondaggio riflettano i dati demografici delle persone intervistate. Troppi vecchi sfigati che rispondono al telefono? Hanno meno peso nella media finale.

A volte i sondaggi hanno un numero sufficiente di intervistati in una determinata tabella incrociata che non elencano nemmeno i risultati e generano invece un n/a (non applicabile). Un non iniziato nei sondaggi potrebbe pensare che questo significhi che nessuno in quella categoria è stato intervistato, ma non è così. La maggior parte dei sondaggisti non condivide i risultati quando viene raggiunto un numero molto piccolo di persone in una determinata tabella incrociata perché il margine di errore sale così in alto, ma ciò non significa che nel complesso non siano ponderati correttamente nel sondaggio.



Le tabelle incrociate sono cose pericolose. È meglio stare alla larga.