Probabilità di overfitting del backtest (PBO)

La probabilità di overfitting del backtest (PBO) stima quanto spesso la configurazione migliore in-sample renda, fuori campione, sotto la mediana di tutte le configurazioni. Si calcola dividendo i risultati a periodo pieno di una griglia di parametri in molte combinazioni di addestramento e test.

Senzoukria · Glossario · Aggiornato a settembre 2026

Come si stima la PBO

Si parte da una matrice: una riga per segmento temporale, una colonna per configurazione, e in ogni cella il risultato di quella configurazione su quel segmento. I segmenti vengono divisi in un numero pari di gruppi. Per ogni modo di scegliere metà dei gruppi come addestramento, si classificano le configurazioni sulla metà di addestramento, si tiene la migliore e si guarda la sua posizione in classifica sulla metà restante.

Se il vincitore in-sample si piazza sotto la mediana fuori campione, quella combinazione conta come un overfit. La PBO è la frazione di combinazioni in cui questo accade. Il metodo, chiamato cross-validation combinatoria simmetrica, è stato pubblicato da Bailey, Borwein, López de Prado e Zhu.

  • Una PBO vicina a zero significa che il vincitore in-sample resta di solito sopra la mediana fuori campione.
  • Una PBO vicina a un mezzo significa che scegliere la configurazione migliore non è meglio che prenderne una a caso.
  • Sopra un mezzo il vincitore in-sample tende a essere un perdente fuori campione, il che indica un processo di selezione che premia il rumore.

Che cosa la PBO non dice

La PBO è un'affermazione sulla procedura di selezione, su questa griglia e su questo periodo. Non misura la dimensione dell'edge, e una PBO bassa su una griglia di configurazioni perdenti significa soltanto che la meno peggiore resta la meno peggiore. Eredita inoltre tutte le ipotesi del backtest sottostante: politica di riempimento, costi, buchi di copertura e costruzione delle barre.

In Senzoukria

Il pannello di backtest del desktop esegue una griglia a periodo pieno dopo il walk-forward: la nota recita «Griglia a periodo pieno: N configurazioni rieseguite su tutte le barre per la matrice PBO.» Il gauntlet elenca poi «Probabilità di overfitting del backtest» tra i criteri e mostra il valore della PBO accanto a PSR, DSR e p-value. Il pannello presenta il blocco come «la probabilità che scegliere la miglior config in-sample nuoccia fuori campione».

Poiché la PBO richiede l'intera griglia su tutto il periodo, è disponibile solo dopo una scansione. Una configurazione singola non produce né matrice né PBO.

Errori frequenti

  • Confrontare valori di PBO ottenuti su griglie di dimensioni diverse come se fossero sulla stessa scala.
  • Usare la PBO come verdetto isolato. Non dice nulla su drawdown, costi o regole del conto.
  • Ridurre la griglia a poche configurazioni per ottenere una PBO bassa. La stima diventa grossolana e il bias di selezione si nasconde altrove.
  • Dimenticare che i segmenti sono contigui nel tempo: un regime confinato in un solo segmento può dominare la classifica.

Questa pagina in altre lingue

Domande frequenti

Quale valore di PBO è accettabile?
Non esiste una soglia universale. Il valore è la probabilità che il vincitore in-sample renda sotto la mediana fuori campione, quindi qualunque cosa vicina a un mezzo significa che la selezione non aggiunge nulla. Leggilo insieme all'efficienza walk-forward e allo Sharpe deflazionato, e tieni a mente la dimensione della griglia, perché una griglia grossolana produce una stima grossolana.
In che cosa la PBO differisce dal test walk-forward?
Il walk-forward avanza nel tempo e riporta il risultato di parametri congelati su finestre successive. La PBO riutilizza l'intera griglia su ogni combinazione di segmenti, in entrambe le direzioni, per misurare quanto spesso il criterio di selezione scelga una configurazione che fallisce fuori campione. Il walk-forward misura la performance; la PBO misura l'affidabilità della selezione.