Il data-snooping bias è l'errore di provare molte varianti di strategia sugli stessi dati finché una di esse sembra buona, per poi riportare quel vincente come se fosse una scoperta autentica. Le cifre principali del vincente sono vere; ciò che è andato perduto è l'informazione necessaria per giudicarle, perché il risultato non era un test ma il migliore di molti, e il migliore di molti fa colpo anche quando non c'è assolutamente nulla. Il data-snooping bias è una proprietà della ricerca che ha prodotto un risultato, non del risultato stesso — motivo per cui è invisibile nel referto e può essere valutato solo sapendo quanti candidati sono stati provati.
Detto anche: data mining, p-hacking, bias dei test multipli
Perché provare molte idee produce un vincente falso?
Provare molte idee produce un vincente falso perché ogni singolo test porta con sé la propria probabilità di sembrare buono per pura fortuna, e quelle probabilità si accumulano lungo la ricerca. Se ogni test ha una probabilità di apparire significativo pur in assenza di un effetto reale, la probabilità che almeno uno di test indipendenti lo faccia è:
dove: è il tasso di falsi positivi di un singolo test, è il numero di test indipendenti eseguiti e il risultato è il familywise error rate, cioè la probabilità che la ricerca produca almeno un risultato apparentemente significativo dal solo rumore.
La conseguenza è che il significato di una soglia dipende da quante volte è stata applicata. Un risultato che sarebbe notevole come esito di un unico test dichiarato in anticipo è banale come migliore di duecento, e le stesse cifre sulla pagina sostengono quindi conclusioni molto diverse a seconda di un dato che la pagina non contiene. Nella finanza quantitativa le correzioni standard alzano l'asticella della significatività al crescere del numero di prove (come fa la correzione di Bonferroni) oppure verificano il candidato sopravvissuto su dati che non ha mai visto.
Esempio pratico: 100 idee, un vincente
Prendi , cioè una probabilità su venti che un singolo test sembri buono per solo rumore.
| Idee testate () | Probabilità che almeno una sembri buona per fortuna |
|---|---|
| 1 | 5% |
| 14 | 51% |
| 100 | 99,4% |
Esegui 100 varianti di strategia non correlate ed è praticamente certo — 99,4% — che almeno una superi l'asticella senza alcuna ragione. Riporta solo quella variante e hai una pagina di cifre forti prodotta da un lancio di monete. L'aritmetica mostra anche quanto in fretta si arriva a questo punto: già alla quattordicesima variante le probabilità sono peggiori di una su due. Nota cosa non è registrato da nessuna parte nei risultati del vincente: le altre 99 esecuzioni. Un lettore a cui viene mostrato solo il vincente non può calcolare quale riga di questa tabella si applichi.
In cosa differisce il data-snooping bias dall'overfitting?
Il data-snooping bias e l'overfitting sono lo stesso problema affrontato da direzioni opposte. L'overfitting riguarda la strategia: ha gradi di libertà a sufficienza per assorbire rumore, quindi descrive un campione con troppa precisione. Il data-snooping riguarda la ricerca: sono stati valutati molti candidati e viene mostrato solo il sopravvissuto, quindi la qualità del sopravvissuto misura in parte l'ampiezza della ricerca. Una singola strategia a dodici parametri calibrata a mano è in overfitting senza alcuna ricerca; una strategia a un parametro scelta come migliore fra 500 test è data-snooped senza essere complessa.
È inoltre distinto dal suo vicino della fase di comunicazione: il cherry-picking bias è citare la parte favorevole di un risultato, mentre il data-snooping è citare il risultato favorevole fra molti. E differisce dal selection bias, che riguarda un campione non rappresentativo di strumenti o periodi anziché una ricerca ripetuta.
Cosa fa Fincanva contro il data-snooping bias?
Fincanva non evita il data-snooping, e nessuno strumento di backtesting può farlo: l'app ti lascia eseguire tutte le varianti che vuoi, e un backtest completato non porta alcuna traccia di quante altre varianti hai provato prima. Tenere il conto dell'ampiezza della tua stessa ricerca resta perciò a te, ed è l'unico dato che rende interpretabile un vincente. Quel conto deve anche sopravvivere al confirmation bias, cioè alla tendenza a ricordare le esecuzioni che davano ragione all'idea e a svalutare in silenzio tutte le altre.
Due comportamenti del prodotto incidono su questo. Un backtest riporta il risultato su tutto il periodo con i suoi drawdown, non solo il tratto favorevole, quindi un vincente fortunato è almeno mostrato per intero. E la vista sensibilità alla data di inizio riesegue una strategia su molte date di ingresso e riporta la dispersione degli esiti, cosa che tende a smascherare un risultato sopravvissuto solo su una finestra particolare. Vedi I nove bias che Fincanva ti aiuta a evitare per il comportamento del prodotto nel contesto.
I backtest mostrano cosa sarebbe successo — non cosa succederà. Fincanva non fornisce consulenza finanziaria — vedi È una consulenza finanziaria?.
Dove si usa questo termine
Generato · 1 pagineLe pagine che fanno riferimento a questo termine — così una pagina di glossario è un punto di passaggio, non un punto d’arrivo.
Citato anche da 3 termini
Fincanva non fornisce consulenza finanziaria. I backtest mostrano cosa sarebbe successo — non cosa succederà.
GLOSSARY · 193 TERMS