Il cherry-picking bias consiste nel citare solo i periodi, gli strumenti o le esecuzioni che hanno lusingato una strategia lasciando fuori tutto il resto, così che ogni cifra riportata è vera mentre il quadro che ne risulta non lo è. Non serve falsificare nulla — un anno buono è stato davvero un anno buono — ma al lettore viene mostrata una porzione delle prove scelta perché era favorevole, senza alcun modo di vedere ciò che è stato tolto. Il cherry-picking bias è un errore di comunicazione del risultato: il test alla base può essere del tutto corretto, e la distorsione entra solo quando i suoi risultati vengono raccontati.
Detto anche: cherry picking, reporting selettivo
Cosa viene selezionato in un backtest?
Di solito si selezionano quattro cose, e ognuna viene scelta allo stesso modo: quando i risultati sono già noti.
- La finestra temporale. Una data di inizio e una di fine scelte perché il tratto compreso tra le due è andato bene. È la forma più comune, perché in un backtest cambiare finestra costa un'impostazione.
- Gli strumenti. I nomi presenti nel resoconto sono quelli che hanno contribuito; quelli che hanno pesato in negativo diventano "non veramente parte dell'idea".
- La metrica. Si cita il rendimento e non il peggior drawdown, oppure si mostra la curva lorda e non quella al netto dei costi, cioè la cifra che un conto reale avrebbe davvero trattenuto (vedi cost-ignoring bias).
- L'esecuzione. Una configurazione tra le molte provate viene presentata come la strategia, senza menzionare le altre.
Una sola verifica smaschera tutte e quattro: qualcuno potrebbe riprodurre questa affermazione senza sapere quale porzione hai scelto? Se l'affermazione regge solo sulla tua porzione, il lavoro lo sta facendo la porzione, non la strategia.
Esempio pratico: riportare il 2019 e omettere il 2022
Una strategia viene testata sui dieci anni solari dal 2015 al 2024. Due di quegli anni spiccano: il 2019 ha reso +31% e il 2022 ha reso −29%.
Un resoconto costruito attorno al 2019 — l'anno, la curva che sale, il +31% — dice il vero. Ecco cosa dice anche la stessa esecuzione:
| Cifra della stessa esecuzione | Valore |
|---|---|
| Anno solare 2019 | +31% |
| Anno solare 2022 | −29% |
| Intero periodo, rendimento totale | +72% |
| Intero periodo, annualizzato (CAGR) | 5,6% all'anno |
| Peggior caduta da massimo a minimo nel periodo | −34% |
Citare il solo 2019 invita il lettore a leggere +31% come ciò che la strategia fa in un anno; la cifra annualizzata della stessa esecuzione è circa un quinto di quella. Rimetti dentro l'anno omesso e già la coppia lascia la strategia sotto il punto di partenza: 1,31 × 0,71 = 0,93, cioè −7% sui due anni presi insieme. Nessuna di queste cinque cifre contraddice le altre: vengono tutte da un'unica esecuzione. La distorsione sta interamente in quali di esse sono state citate.
In cosa differisce il cherry-picking bias dal selection bias e dal data-snooping bias?
I tre si distinguono per quale passaggio va storto: il cherry-picking bias riguarda ciò che riporti, il selection bias riguarda ciò che hai testato e il data-snooping bias riguarda quante cose hai testato prima che qualcosa apparisse buono.
Si sommano anche, in quest'ordine. Chi prova cinquanta varianti (data-snooping), tiene quella con la lista di strumenti più favorevole (selection) e poi presenta i suoi tre anni migliori (cherry-picking) ha commesso tutti e tre gli errori, e il resoconto finale non mostra traccia dei primi due.
Cosa fa Fincanva contro il cherry-picking bias?
Un backtest di Fincanva riporta l'intero periodo su cui è stato eseguito, non un tratto scelto, e riporta le cadute insieme ai guadagni: la stessa esecuzione che produce il rendimento produce anche il peggior drawdown da massimo a minimo, quindi la parte brutta della storia arriva attaccata a quella buona. Poiché l'esecuzione è una riproduzione walk-forward dell'intero arco temporale, non esiste una versione del risultato che copra solo gli anni andati bene.
La sensibilità alla data di inizio è la risposta diretta alla selezione della finestra: riesegue la stessa strategia su molte date di ingresso e su diverse finestre di detenzione e riporta l'intervallo degli esiti — la partenza migliore contro la peggiore, e la quota di date di inizio chiuse in positivo. Un'affermazione che regge solo su un mese di ingresso si smaschera subito, perché l'intervallo risulta ampio.
Ciò che il prodotto non può fare è decidere cosa racconti agli altri, o a te stesso. Scegliere una schermata favorevole da un'esecuzione che offre il quadro completo resta possibile per chiunque: per questo il cherry picking si discute accanto al confirmation bias, che è la stessa selezione rivolta verso l'interno. Vedi I nove bias che Fincanva ti aiuta a evitare per il comportamento del prodotto nel suo contesto e il data-quality bias per il caso in cui il problema siano i numeri stessi e non la loro selezione.
I backtest mostrano cosa sarebbe successo — non cosa succederà. Fincanva non fornisce consulenza finanziaria — vedi È una consulenza finanziaria?.
Dove si usa questo termine
Generato · 1 pagineLe pagine che fanno riferimento a questo termine — così una pagina di glossario è un punto di passaggio, non un punto d’arrivo.
Fincanva non fornisce consulenza finanziaria. I backtest mostrano cosa sarebbe successo — non cosa succederà.
GLOSSARY · 193 TERMS