Gli esperti hanno sbagliato catastroficamente, secondo Dominic Cummings, ex consigliere capo del primo ministro britannico Boris Johnson. Cummings ha litigato che il parere scientifico ufficiale del governo del Regno Unito nel marzo 2020 ha enormemente frainteso come si sarebbe svolta la pandemia, portando a un ritardo nel blocco che è costato migliaia di vite.

Secondo Cummings, sono stati alcuni specialisti con meno conoscenza delle pandemie o della medicina – come il data scientist Ben Warner, il ricercatore di intelligenza artificiale Demis Hassabis di DeepMind e il matematico Tim Gowers – a fornire previsioni più accurate a questo punto.

Cummings è anche noto per essere un fan of Superforecast di Philip Tetlock, un libro sulle persone che predicono eventi futuri in modo più affidabile della maggior parte. Alcuni superprevisori sono stati elogiati per le loro previsioni sulla pandemia, mentre anche altri lo sono stati critico nei confronti degli esperti record.

Quindi i governi dovrebbero fare maggiore uso di superprevisori invece di affidarsi a esperti scientifici? Le prove non sono così chiare. Ma certamente sembrano esserci cose che i governi potrebbero imparare dalla superprevisione.

In un famoso studio americano sui superforecaster pubblicati nel 2014, erano un equipaggio d'élite. Solo il 2% dei migliori contendenti si è comportato abbastanza bene in un torneo di previsione geopolitica per vincere il titolo. Il loro compito era assegnare probabilità alle possibili risposte a dozzine di domande.

I ricercatori forniscono alcuni esempi illustrativi. Chi sarebbe il presidente della Russia nel 2012? La Corea del Nord farà esplodere un'altra arma nucleare nei prossimi tre mesi? Quanti rifugiati fuggiranno dalla Siria l'anno prossimo?

Naturalmente, solo perché qualcuno fa bene un anno non dimostra di essere più abile di chiunque altro. Forse sono solo stati fortunati. Dobbiamo vedere quanto bene hanno fatto negli anni successivi per valutare quanto siano veramente "super".

Sorprendentemente, questi superprevisori hanno mantenuto il loro vantaggio mentre il torneo andava avanti per altri tre anni. Infatti, dopo essere stati riuniti in "team di superforecasting" contenenti solo altri top performer, le loro prestazioni sono aumentate di un margine sostanziale. I ricercatori hanno anche scoperto che lavorare in team e seguire una formazione pertinente ha migliorato le prestazioni di altri previsori, rispetto ai previsori in una condizione di controllo.

Squadre e formazione

Indipendentemente dal fatto che prendiamo in parola o meno Cummings che la pianificazione della pandemia nel Regno Unito ha sofferto di una "classica bolla di pensiero di gruppo", sappiamo che i team non sempre prendono decisioni sagge. Cos'è che ha reso le squadre più efficaci nello studio statunitense?

È difficile dirlo con certezza, ma i ricercatori hanno specificamente incoraggiato i team a porre domande precise per incoraggiare un pensiero più chiaro sulle prove a sostegno di una particolare previsione, per "cercare prove che contraddicono la previsione attuale" e per introdurre in modo costruttivo punti di vista alternativi .

Tale dibattito potrebbe benissimo migliorare il giudizio collettivo ed guardati dal pensiero di gruppo. Né i membri del team erano tenuti a raggiungere un consenso. Sebbene condividessero informazioni e opinioni, facevano comunque previsioni individuali che venivano combinate da algoritmi. I team di Superforecaster in particolare erano molto impegnato, condividendo frequentemente informazioni e ponendo domande ad altri membri del team.

Un altro studio ha esaminato più da vicino quali tecniche di allenamento specifiche sembravano aiutare di più. Tre tecniche sono state particolarmente associate a una maggiore precisione. Il primo è stato l'uso delle cosiddette classi di confronto.

Ad esempio, se sto cercando di prevedere la probabilità che Benedict Cumberbatch e Sophie Hunter stiano ancora insieme tra cinque anni, può essere utile pensare ad altre "classi" rilevanti, ad esempio la classe dei matrimoni di celebrità, o anche matrimoni in genere. Questo mi permette di guardare alla storia per informare le mie previsioni: quale percentuale di matrimoni di celebrità finisce in un dato periodo di cinque anni?

Il secondo consisteva nell'utilizzare modelli matematici e statistici, quando disponibili, per aiutare a informare le proprie opinioni. Il terzo era “selezionare le domande giuste” – una raccomandazione per dedicare più tempo alla previsione delle risposte alle domande in cui si sa più di altri sull'argomento o su cui è probabile che ulteriori ricerche ripaghino. Tuttavia, i ricercatori hanno sottolineato che tutti i componenti di l'allenamento potrebbe aver contribuito in modo olistico a prestazioni migliori.

Anche la ricerca lo ha dimostrato la precisione migliora quando teniamo traccia delle nostre prestazioni passate - ma il tipo di feedback è importante. I risultati che pensavi si sarebbero verificati il ​​20% delle volte si sono effettivamente verificati il ​​20% delle volte? E i risultati che pensavi si sarebbero verificati il ​​90% delle volte? Le prestazioni migliorano per coloro che ricevono questo tipo di informazioni.

I governi possono fare di meglio?

Il governo del Regno Unito avrebbe potuto fare di meglio su COVID-19 sollecitando il contributo di squadre di superprevisori? È possibile. Superforecasters a Buon giudizio aperto e esperti previsori a metacolo (a cui ho partecipato) ognuno sembra aver ottenuto buoni risultati su COVID-19, con Metaculus che afferma di avere esperti superati nel giugno 2020. Detto questo, in a serie recente delle previsioni relative al COVID-19, i previsori addestrati non erano sempre più accurati degli esperti. I ricercatori dietro il sondaggio stanno sperimentando modi per combinare le previsioni di esperti di dominio e previsori formati in una "previsione del consenso".

Sembra anche plausibile che anche la formazione che ha aiutato i non superiori a fare previsioni migliori sarebbe stata utile. Ad esempio, Cummings ha affermato che, sebbene ci fosse molta attenzione ai modelli epidemiologici, le prove che contraddicevano le ipotesi dei modelli - come i dati riportati dalle unità di terapia intensiva - sono state ignorate. Sembra certamente plausibile che qualcuno addestrato a "cercare prove che contraddicano la tua previsione attuale" possa averlo notato prima.

Naturalmente, non tutte le raccomandazioni della letteratura sono pratiche in contesti governativi. In teoria, i governi potrebbero testare personalmente tali raccomandazioni, adottando quelle che sembravano utili. Sfortunatamente, non puoi migliorare ciò che non misuri.

In Superforecast, Tetlock sottolinea che qualsiasi organizzazione seriamente intenzionata a migliorare le proprie previsioni deve attribuire loro numeri concreti, almeno internamente. Una frase come "possibilità seria" può significare una possibilità del 20% per una persona e una possibilità dell'80% per un'altra.

Questo è quasi certamente ciò a cui si riferiva Cummings quando ha detto: "Un ragazzo chiamato Phil Tetlock ha scritto un libro e in quel libro ha detto che non dovresti usare parole come ragionevole, probabile e probabile, perché confonde tutti." Forse non dovrebbe sorprenderci se le organizzazioni che non fanno previsioni in modo da poter essere valutate non sono attrezzate per imparare a migliorarle. Per migliorare, devi prima provare.