Confirmation bias

Detto anche: bias di conferma, bias confermativo

Come si manifesta il confirmation bias quando leggi un backtest?

Dall'interno non sembra quasi mai un bias. Sembra discernimento. Gli schemi riconoscibili sono questi:

• Fermarsi quando il risultato dà ragione. La prima esecuzione che sostiene l'idea chiude l'indagine; una che l'avesse contraddetta ne avrebbe fatte nascere altre tre.
• Scrutinio asimmetrico. Un risultato favorevole si accetta così com'è. Uno contrario viene messo sotto esame — universo sbagliato, periodo sbagliato, "c'è qualcosa che non torna nei dati" — e l'esame si ferma appena si trova una spiegazione.
• Motivazioni prodotte dopo il risultato. L'obiezione a un'esecuzione nasce quando il suo numero è già noto. Se quell'esecuzione fosse andata bene, la stessa obiezione non sarebbe mai stata sollevata.
• Leggere solo la metrica che lusinga. Si legge il rendimento e si salta il peggior drawdown, oppure si legge la cifra della strategia senza il benchmark accanto.
• Ricordare l'esecuzione che dava ragione. Settimane dopo il ricordo è "funzionava": la versione del test che confermava, non quella che smentiva.

Una verifica utile è una sola domanda, posta prima che un'esecuzione finisca: quale risultato mi farebbe abbandonare questa idea? Un'idea per cui non esiste un risultato del genere non è sotto test.

Esempio pratico: l'esecuzione che hai tenuto e quella che hai giustificato

Sostieni che una regola di momentum a dodici mesi funzioni, e la testi sul periodo 2015–2024.

• Esecuzione 1: la regola su venti società grandi e familiari. Rende 9,1% all'anno. Corrisponde a ciò che ti aspettavi, quindi la salvi.
• Esecuzione 2: la regola identica su un universo ampio di quattrocento nomi. Rende 3,4% all'anno. Concludi che l'universo più ampio contiene troppi nomi di scarsa qualità e metti da parte l'esecuzione.

Ora mettici accanto il benchmark. Sullo stesso periodo ha reso 7,8% all'anno, quindi il rendimento in eccesso dell'esecuzione 1 è +1,3pp e quello dell'esecuzione 2 è −4,4pp. Ne seguono due cose. La prima: anche l'esecuzione che hai tenuto ha battuto il proprio benchmark con un margine molto più sottile di quanto "9,1%" suggerisse da solo. La seconda, più importante: la motivazione con cui hai scartato l'esecuzione 2 è nata dopo averne visto il numero. Se l'esecuzione 2 avesse reso il 12%, l'universo da quattrocento nomi non sarebbe stato "pieno di scarti", sarebbe stato "un test più ampio e più onesto". È quell'asimmetria, non i numeri, il bias.

Cosa distingue il confirmation bias dal cherry-picking bias?

La differenza è il destinatario. Il cherry-picking bias è selezione rivolta verso l'esterno: hai il risultato completo e ne mostri a qualcun altro una parte favorevole. Il confirmation bias è la stessa selezione rivolta verso l'interno: la mostri a te stesso, in genere senza accorgertene, e non c'è alcun momento in cui decidi di omettere qualcosa.

I due si alimentano a vicenda. Il confirmation bias decide a quale esecuzione credi; il cherry picking decide quale esecuzione presenti. E un risultato scomodo attribuito a "dati sbagliati" senza che nessuno controlli i dati è confirmation bias che prende in prestito il linguaggio del data-quality bias, esattamente come disattivare i costi perché la curva netta "sembra sbagliata" (vedi cost-ignoring bias).

Cosa fa Fincanva contro il confirmation bias?

Un backtest applica le tue regole in modo meccanico su tutto lo storico, a prescindere da ciò che speravi, e riporta il risultato per intero: il rendimento, il peggior drawdown da massimo a minimo, i mesi in perdita e il benchmark eseguito sullo stesso identico periodo, accanto. Questo dà alle regole una possibilità concreta di darti torto, e mette la prova contraria sulla stessa schermata di quella favorevole invece che a una ricerca di distanza.

Non può però farti leggere. Nulla in un backtest ti impedisce di liquidare un'esecuzione scomoda, e nessuno strumento può fornire la volontà di essere smentiti. Vedi I nove bias che Fincanva ti aiuta a evitare per il comportamento del prodotto nel suo contesto.

I backtest mostrano cosa sarebbe successo — non cosa succederà. Fincanva non fornisce consulenza finanziaria — vedi È una consulenza finanziaria?.