Quanto sono bravi i sondaggisti? Analizzando il dataset di Five-Thirty-Eight
Analizziamo il dataset della classifica dei sondaggisti del venerabile sito di previsioni politiche Five-Thirty-Eight.
Questo è un anno elettorale e la scena dei sondaggi intorno alle elezioni (sia presidenziali generali che della Camera/Senato) si sta scaldando. Questo diventerà sempre più eccitante nei prossimi giorni, con tweet, contro-tweet, lotte sui social media, e punditry senza fine in televisione.
Sappiamo che non tutti i sondaggi sono della stessa qualità. Quindi, come dare un senso a tutto questo? Come identificare sondaggisti affidabili usando dati e analisi?
Boxplot
Andando nell’analisi visiva, possiamo iniziare con i boxplot.
Supponiamo di voler controllare quale metodo di sondaggio si comporta meglio in termini di errore di previsione. Il set di dati ha una colonna chiamata “Errore medio semplice”, che è definito come “L’errore medio della società, calcolato come la differenza tra il risultato sondato e il risultato effettivo per il margine che separa i primi due classificati nella corsa.”
Allora, potremmo essere interessati a verificare se i sondaggisti con un certo bias di parte hanno più successo nel chiamare correttamente le elezioni rispetto ad altri.
Nota qualcosa di interessante sopra? Se siete un pensatore progressista e liberale, con ogni probabilità, potete essere partigiano del partito democratico. Ma, in media, i sondaggisti con inclinazione repubblicana, chiamano le elezioni più accuratamente e con meno variabilità. Meglio stare attenti a quei sondaggi!
Un’altra colonna interessante nel dataset si chiama “NCPP/AAPOR/Roper”. Essa “indica se la società di sondaggi era un membro del Consiglio nazionale sui sondaggi pubblici, un firmatario dell’iniziativa di trasparenza dell’American Association for Public Opinion Research, o un collaboratore dell’archivio dati del Roper Center for Public Opinion Research. In effetti, un’adesione indica l’adesione a una metodologia di sondaggio più robusta” (fonte).
Come giudicare la validità della suddetta affermazione? Il set di dati ha una colonna chiamata “Plus-Minus avanzato”, che è “un punteggio che confronta il risultato di un sondaggista con quello di altre società di sondaggi che sondano le stesse gare e che pesa maggiormente i risultati recenti. I punteggi negativi sono favorevoli e indicano una qualità superiore alla media” (fonte).
Ecco un boxplot tra questi due parametri. Non solo i sondaggisti, associati a NCCP/AAPOR/Roper, mostrano un punteggio di errore più basso, ma anche una variabilità notevolmente bassa. Le loro previsioni sembrano essere stabili e robuste.
Se siete un pensatore progressista e liberale, con tutta probabilità, potete essere partigiano del partito democratico. Ma, in media, i sondaggisti di orientamento repubblicano chiamano le elezioni in modo più accurato e con meno variabilità.
Piani di dispersione e regressione
Per capire la correlazione tra i parametri, possiamo guardare i piani di dispersione con regressione. Usiamo le librerie Seaborn e Scipy Python e una funzione personalizzata per generare questi grafici.
Per esempio, possiamo mettere in relazione le “Gare chiamate correttamente” con il “Plus-Minus predittivo”. Come da Five-Thirty-Eight, il “Plus-Minus Predittivo” è “una proiezione di quanto sarà accurato il sondaggista nelle elezioni future. Viene calcolato invertendo il punteggio Plus-Minus avanzato di un sondaggista ad una media basata sulle nostre proxy per la qualità metodologica”. (fonte)
Oppure, possiamo controllare come il “Voto numerico” che abbiamo definito, correla con la media degli errori dei sondaggi. Una tendenza negativa indica che un grado numerico più alto è associato a un errore di sondaggio più basso.
Possiamo anche controllare se il “# di sondaggi per l’analisi di bias” aiuta a ridurre il “grado di bias partigiano” che viene assegnato a ciascun sondaggista. Possiamo osservare una relazione al ribasso, indicando che la disponibilità di un alto numero di sondaggi aiuta a ridurre il grado di Partisan Bias. Tuttavia, la relazione sembra altamente non lineare e una scala logaritmica sarebbe stata migliore per adattare la curva.
I sondaggisti più attivi sono più affidabili? Tracciamo l’istogramma del numero di sondaggi e vediamo che segue una legge di potenza negativa. Possiamo filtrare i sondaggisti con un numero molto basso e molto alto di sondaggi e creare un grafico di dispersione personalizzato. Tuttavia, osserviamo una correlazione quasi inesistente tra il numero di sondaggi e il punteggio Predittivo Plus-Minus. Pertanto, un gran numero di sondaggi non porta necessariamente ad un’alta qualità dei sondaggi e al potere predittivo.