Probabilité de sur-ajustement du backtest (PBO)

La probabilité de sur-ajustement du backtest (PBO) estime la fréquence à laquelle la configuration la plus performante in-sample se situe sous la médiane de toutes les configurations hors échantillon. Elle se calcule en découpant les résultats pleine période d'une grille de paramètres en de nombreuses combinaisons entraînement/test.

Senzoukria · Glossaire · Mis à jour en septembre 2026

Comment la PBO est estimée

Partez d'une matrice : une ligne par tranche de temps, une colonne par configuration, chaque case contenant le résultat de cette configuration sur cette tranche. Répartissez les tranches en un nombre pair de groupes. Pour chaque façon de choisir la moitié des groupes comme entraînement, classez les configurations sur cette moitié, gardez la meilleure et relevez son rang sur la moitié restante.

Si le vainqueur in-sample se classe sous la médiane hors échantillon, cette combinaison compte comme un sur-ajustement. La PBO est la fraction des combinaisons où cela se produit. La méthode, dite validation croisée combinatoire symétrique, a été publiée par Bailey, Borwein, López de Prado et Zhu.

  • Une PBO proche de zéro signifie que le vainqueur in-sample reste en général au-dessus de la médiane hors échantillon.
  • Une PBO proche d'un demi signifie que retenir la meilleure configuration ne vaut pas mieux qu'en tirer une au hasard.
  • Au-dessus d'un demi, le vainqueur in-sample tend à perdre hors échantillon, ce qui désigne un processus de sélection qui récompense le bruit.

Ce que la PBO ne dit pas

La PBO est un énoncé sur la procédure de sélection, pour cette grille et cette période. Elle ne mesure pas la taille de l'edge, et une PBO faible sur une grille de configurations perdantes signifie seulement que la moins mauvaise reste la moins mauvaise. Elle hérite aussi de toutes les hypothèses du backtest sous-jacent : politique d'exécution, coûts, trous de couverture et construction des barres.

Dans Senzoukria

Le panneau de backtest du desktop lance une grille pleine période après le walk-forward ; la note se lit : « Grille pleine période : N configurations rejouées sur toutes les barres pour la matrice PBO. » Le gauntlet liste ensuite « Probabilité de sur-ajustement du backtest » comme critère et affiche la valeur de PBO à côté du PSR, du DSR et de la p-value. Le panneau présente le bloc comme la probabilité que choisir la meilleure config in-sample nuise hors échantillon.

Parce que la PBO réclame toute la grille sur toute la période, elle n'est disponible qu'après un balayage. Une configuration unique ne produit ni matrice ni PBO.

Erreurs fréquentes

  • Comparer des valeurs de PBO issues de grilles de tailles différentes comme si elles étaient sur la même échelle.
  • Utiliser la PBO comme verdict autonome. Elle ne dit rien du drawdown, des coûts ni des règles du compte.
  • Réduire la grille à quelques configurations pour obtenir une PBO basse. L'estimation devient grossière et le biais de sélection se cache ailleurs.
  • Oublier que les tranches sont contiguës dans le temps : un régime confiné à une seule tranche peut dominer le classement.

Cette page dans d’autres langues

Questions fréquentes

Quelle valeur de PBO est acceptable ?
Il n'existe pas de seuil universel. La valeur est une probabilité que le vainqueur in-sample fasse moins bien que la médiane hors échantillon : tout ce qui approche un demi signifie que la sélection n'apporte rien. Lisez-la avec l'efficacité walk-forward et le Sharpe déflaté, et gardez en tête la taille de la grille, car une grille grossière produit une estimation grossière.
En quoi la PBO diffère-t-elle du walk-forward ?
Le walk-forward avance chronologiquement et rapporte le résultat de paramètres figés sur des fenêtres ultérieures. La PBO réutilise toute la grille sur chaque combinaison de tranches, dans les deux sens, pour mesurer la fréquence à laquelle la règle de sélection retient une configuration qui échoue hors échantillon. Le walk-forward mesure une performance ; la PBO mesure la fiabilité de la sélection.