Bias di data snooping (test multipli)

Perché il migliore di molti è gonfiato

Prova una regola senza edge al livello di significatività del 5 % e c'è il 5 % di probabilità di un falso positivo. Prova venti regole indipendenti senza edge e la probabilità che almeno una passi è 1 − 0,95²⁰ ≈ 64 %. Le statistiche della regola vincente sono genuine per quella regola su quei dati, ma il processo che l'ha trovata avrebbe trovato qualcosa comunque. Il massimo di molti risultati rumorosi è distorto verso l'alto per costruzione; è una proprietà dei massimi, non dei mercati.

Halbert White ha formalizzato un test per questa situazione nel 2000, il Reality Check, che confronta la regola migliore con la distribuzione del migliore di molte regole sotto l'ipotesi nulla di assenza di edge. Il test di superiore capacità predittiva di Peter Hansen (2005) l'ha raffinato. Lo Sharpe deflazionato e la probabilità di sovradattamento del backtest affrontano lo stesso problema da altri angoli.

Le prove che nessuno conta

• Cambiare la finestra di sessione, il tipo di barra o lo strumento dopo un primo sguardo ai risultati.
• Aggiungere un filtro perché la curva di equity ha avuto un mese brutto, e poi tenerlo.
• Partire da un'idea che ha già funzionato nel backtest di qualcun altro sullo stesso periodo.
• Rilanciare un walk-forward con un criterio di selezione diverso finché l'efficienza non sembra accettabile.
• Ognuna di queste è una prova. Una correzione formale funziona solo se il conteggio le include.

In Senzoukria

La scansione dei parametri e il walk-forward del backtest automatico rifiutano griglie sopra le 400 combinazioni, e l'assistente di backtest ha l'istruzione di tenere le scansioni sotto 100. Il walk-forward riporta uno Sharpe deflazionato delle sue operazioni fuori campione in cui il numero di prove è il numero di configurazioni fra cui la selezione ha scelto. Il Gauntlet rilancia l'intera griglia sul periodo completo, calcola lo Sharpe deflazionato con N pari all'intera griglia invece delle configurazioni tenute, stima la probabilità di sovradattamento del backtest quando sono disponibili almeno otto giorni di sessione, e aggiunge un test di permutazione dello Sharpe. Ciò che il software non può vedere è la storia delle tue esecuzioni precedenti: una griglia lanciata dopo dieci griglie abbandonate è contata come un solo insieme di prove.

Contromisure pratiche

• Scrivi l'ipotesi, la griglia e il criterio di selezione prima di guardare i risultati.
• Tieni un registro di ricerca di ogni variante provata, incluse quelle abbandonate.
• Riserva un periodo finale che nessuna decisione ha toccato e usalo una volta sola.
• Preferisci le regole i cui vicini sulla griglia funzionano anche loro a una cella migliore isolata.