Overfitting

Detto anche: curve-fitting, sovradattamento

Perché una strategia in overfitting fallisce fuori campione?

Una strategia in overfitting fallisce fuori campione perché ogni serie storica di prezzi contiene due componenti — una ripetibile e una non ripetibile — e la calibrazione non è in grado di distinguerle. Man mano che aggiungi regole, soglie ed eccezioni, la strategia guadagna la flessibilità di descrivere dettagli sempre più fini del campione. Parte di quel dettaglio è un effetto reale che si ripresenterà; il resto è una coincidenza legata a quelle date specifiche. Superata una certa soglia, ogni grado di libertà aggiuntivo compra soprattutto coincidenze, quindi la prestazione in campione continua a migliorare mentre quella fuori campione si appiattisce e poi peggiora.

È il classico compromesso fra distorsione e varianza applicato alle regole operative: una regola molto semplice può perdere sistematicamente parte dell'effetto reale, mentre una molto flessibile riproduce il campione quasi alla perfezione e generalizza male. La complessità che rende meglio sul campione calibrato non è quindi quasi mai la complessità che rende meglio dopo.

Quante combinazioni di parametri copre davvero una ricerca?

Il numero di strategie distinte che una ricerca sui parametri copre è il prodotto dei valori provati per ciascun parametro: cresce in modo moltiplicativo, non additivo.

dove: $k$ è il numero di parametri regolabili, $v_i$ è il numero di valori provati per il parametro $i$ e $N$ è il numero di varianti distinte di strategia che la ricerca copre.

Quattro parametri con dieci valori candidati ciascuno non sono quaranta test: sono $10^4 = 10\,000$ strategie distinte, di cui la migliore sembrerà molto buona su quel campione, esista o no un effetto reale. È il legame meccanico fra overfitting e data-snooping bias: più varianti copre una ricerca, più la qualità apparente del vincente è spiegata dall'ampiezza della ricerca.

Esempio pratico: una strategia a 12 parametri, perfetta in campione e morta fuori campione

Immagina due versioni della stessa idea, calibrate entrambe sul 2000–2012 e poi eseguite senza modifiche sul 2013–2025.

Sulla finestra calibrata la versione a 12 parametri è chiaramente la strategia migliore su ogni cifra, ed è il risultato che un singolo backtest avrebbe mostrato. Sulla finestra mai vista crolla, mentre la versione semplice si comporta più o meno come prima. I 12 parametri non hanno scoperto una strategia migliore: hanno descritto il 2000–2012 con più precisione, comprese le parti che erano accidenti. Nota anche quale cifra si è mossa di più: il drawdown della versione calibrata è quasi triplicato, perché la calibrazione aveva silenziosamente rimosso le specifiche discese storiche che era stata istruita a evitare, anziché insegnare alla strategia a evitare le discese in generale.

Cos'è la divisione in campione / fuori campione?

La divisione in campione / fuori campione (in-sample / out-of-sample) è la difesa standard contro l'overfitting: lo storico viene diviso in due, la strategia viene progettata e calibrata solo sulla prima parte (in campione) e la seconda parte (fuori campione) viene poi eseguita una volta, senza modifiche, come verifica che il risultato sopravviva su dati che non hanno avuto parte nel formarlo. Il risultato fuori campione è quello che porta informazione, perché è il solo su cui le regole non sono state calibrate.

Due condizioni rendono la divisione significativa. Il periodo fuori campione deve restare davvero intatto: ogni volta che lo guardi, aggiusti le regole e lo guardi di nuovo, entra a far parte del campione di calibrazione e smette di essere una verifica. E la divisione deve essere cronologica, non casuale, così che i dati precedenti calibrino e quelli successivi verifichino — cosa che tiene l'esercizio anche libero da look-ahead bias. Ripetere la divisione come una serie di finestre scorrevoli calibra-poi-verifica è la validazione walk-forward, la forma sequenziale della stessa idea.

Cosa si intende per risultato robusto?

La robustezza riguarda la stabilità, non il livello: un risultato si dice robusto quando non dipende da un unico insieme esatto di valori dei parametri, da un'unica data di inizio o da un unico campione di strumenti. In pratica si riconosce da un ampio pianoro invece di un picco stretto — piccole variazioni di una soglia spostano l'esito di poco anziché distruggerlo — più una dispersione contenuta degli esiti su molte date di inizio, che è quanto riporta la vista sensibilità alla data di inizio. Una strategia il cui risultato esiste solo a un valore preciso dei parametri è il profilo da manuale di una strategia in overfitting. Una perturbazione è facile da dimenticare: un risultato che sopravvive solo lasciando fuori i costi si porta dietro anche il cost-ignoring bias, quindi vale la pena ripetere la verifica di robustezza sulle cifre nette. La robustezza è un'affermazione su come un risultato si comporta sotto perturbazione, e nessun grado di robustezza rende una strategia sicura o un rendimento futuro probabile.

Cosa fa Fincanva contro l'overfitting?

• Le regole le definisci tu. Fincanva non ha un ottimizzatore automatico: non cerca valori di parametri né calibra le tue soglie sullo storico al posto tuo, quindi un backtest riporta cosa avrebbero fatto le tue regole esatte così come dichiarate, e nient'altro.
• La vista sensibilità alla data di inizio riesegue una strategia su molte date di ingresso e finestre di detenzione e ne riporta la dispersione: è una verifica diretta di robustezza su una singola esecuzione lusinghiera.
• Un backtest arriva sempre fino all'ultima chiusura di mercato disponibile, quindi lo storico più recente non viene mai tenuto da parte automaticamente. Una divisione cronologica in campione / fuori campione è qualcosa che costruisci tu dai periodi che confronti, soprattutto tramite l'anno di inizio simulazione.

Vedi I nove bias che Fincanva ti aiuta a evitare per il comportamento del prodotto nel contesto.

In cosa differisce l'overfitting dal data-snooping bias?

L'overfitting e il data-snooping bias sono lo stesso problema statistico visto dai due lati. L'overfitting descrive la strategia: ha troppi gradi di libertà per i dati, quindi ha assorbito rumore. Il data-snooping descrive la ricerca: sono stati provati molti candidati e viene mostrato solo il sopravvissuto, quindi la qualità del sopravvissuto misura in parte l'ampiezza della ricerca. Una singola strategia con dodici parametri calibrati a mano è in overfitting senza alcuna ricerca; una strategia a un parametro scelta come migliore fra 500 test è data-snooped senza essere complessa. La maggior parte dei casi reali è entrambe le cose.

I backtest mostrano cosa sarebbe successo — non cosa succederà. Fincanva non fornisce consulenza finanziaria — vedi È una consulenza finanziaria?.