Test di permutazione

Un test di permutazione verifica se il risultato di un backtest possa essere nato dal caso, ricalcolando molte volte la stessa statistica su dati la cui struttura è stata riorganizzata a caso. La quota di permutazioni che eguagliano o superano il risultato reale è il p-value.

Senzoukria · Glossario · Aggiornato a settembre 2026

Costruire la distribuzione nulla

La domanda non è «la strategia ha guadagnato» ma «una regola senza informazione avrebbe guadagnato altrettanto». Per rispondere si distrugge l'informazione che la regola poteva sfruttare, tenendo tutto il resto: le stesse barre, lo stesso numero di operazioni, gli stessi costi. Riorganizzare l'ordine dei rendimenti, o il segno di ogni operazione, o l'accoppiamento tra segnali ed esiti sono i modi consueti per farlo.

Si ricalcola il criterio su ogni serie riorganizzata. Dopo molte permutazioni hai una distribuzione di risultati che una regola senza edge produrrebbe proprio su questi dati. Poi collochi il risultato reale su quella distribuzione.

Leggere l'esito

  • Il p-value è la frazione di permutazioni la cui statistica è almeno buona quanto quella osservata.
  • Un p-value piccolo significa che poche riorganizzazioni casuali hanno raggiunto il risultato osservato: su questo campione l'edge è distinguibile dal caso.
  • Un p-value grande significa che le riorganizzazioni casuali lo raggiungono di routine. Il risultato può comunque essere reale, ma questi dati non lo mostrano.
  • Il test è esatto sul campione e non richiede ipotesi sulla distribuzione: per questo si adatta bene ai risultati operativi a code spesse.

In Senzoukria

Il gauntlet GO/NO-GO del pannello di backtest del desktop elenca «Test di permutazione: edge distinguibile dal caso» tra i suoi criteri e mostra il p-value risultante accanto a PSR, DSR e PBO. Il pannello presenta il blocco come «un test di permutazione contro il puro caso», eseguito in una fase etichettata gauntlet · permutazioni, dopo il walk-forward e la griglia a periodo pieno.

La pagina backtest del sito elenca i test di permutazione insieme a PSR, DSR e PBO tra gli strumenti di ricerca disponibili sui test storici supportati. Come gli altri criteri, il test usa la stessa politica di riempimento e gli stessi costi del backtest che ha prodotto le operazioni.

Errori frequenti

  • Permutare in un modo che distrugge anche la struttura che la strategia usa legittimamente, come i confini di sessione: così la distribuzione nulla diventa troppo facile da battere.
  • Eseguire il test sul vincitore in-sample di una scansione senza tenere conto dei tentativi. Il p-value di permutazione non corregge per la selezione; lo Sharpe deflazionato sì.
  • Leggere il p-value come la probabilità che la strategia non abbia edge. È la probabilità del risultato osservato sotto l'ipotesi nulla, non il contrario.
  • Usare troppe poche permutazioni, il che rende grossolano il p-value più piccolo riportabile.

Questa pagina in altre lingue

Domande frequenti

Quante permutazioni servono?
Abbastanza perché la risoluzione del p-value sia più fine della decisione che vuoi prendere. Con cento permutazioni il p-value non nullo più piccolo è uno su cento. Il desktop esegue le permutazioni come fase separata del gauntlet dopo il walk-forward; il conteggio è impostato dal pannello e mostrato con il risultato.
Un test di permutazione può sostituire la validazione walk-forward?
No. Il test di permutazione chiede se il risultato sui dati testati sia distinguibile dal caso. Il walk-forward chiede se parametri congelati continuino a funzionare su dati successivi. Una strategia può superare l'uno e fallire l'altro. Il gauntlet riporta entrambi proprio perché falliscono per ragioni diverse.