Test de permutation

Un test de permutation vérifie si le résultat d'un backtest aurait pu naître du hasard, en recalculant la même statistique de nombreuses fois sur des données dont la structure a été réarrangée au hasard. La part des permutations qui égalent ou dépassent le résultat réel est la p-value.

Senzoukria · Glossaire · Mis à jour en septembre 2026

Bâtir la distribution nulle

La question n'est pas « la stratégie a-t-elle gagné de l'argent » mais « une règle sans information en aurait-elle gagné autant ». Pour y répondre, on détruit l'information que la règle pouvait exploiter en gardant tout le reste : les mêmes barres, le même nombre de trades, les mêmes coûts. Réarranger l'ordre des rendements, le signe de chaque trade, ou l'appariement entre signaux et résultats sont les façons habituelles de le faire.

Recalculez l'objectif sur chaque série réarrangée. Après de nombreuses permutations, vous disposez d'une distribution des résultats qu'une règle sans edge produirait sur ces données exactes. Placez le résultat réel sur cette distribution.

Lire le résultat

  • La p-value est la fraction des permutations dont la statistique est au moins aussi bonne que celle observée.
  • Une p-value faible signifie que peu de réarrangements aléatoires ont atteint le résultat observé : l'edge se distingue du hasard sur cet échantillon.
  • Une p-value élevée signifie que des réarrangements aléatoires l'atteignent couramment. Le résultat peut rester réel, mais ces données ne le montrent pas.
  • Le test est exact pour l'échantillon et ne réclame aucune hypothèse de distribution, ce qui convient aux résultats de trades à queues épaisses.

Dans Senzoukria

Le gauntlet go/no-go du panneau de backtest du desktop liste « Test de permutation : edge distinguable du hasard » parmi ses critères et affiche la p-value obtenue à côté du PSR, du DSR et de la PBO. Le panneau présente le bloc comme un test de permutation contre le pur hasard, exécuté dans une phase intitulée gauntlet · permutations après le walk-forward et la grille pleine période.

La page backtest du site liste les tests de permutation avec le PSR, le DSR et la PBO parmi les outils de recherche disponibles sur les tests historiques pris en charge. Comme les autres critères, le test emploie la même politique d'exécution et les mêmes coûts que le backtest qui a produit les trades.

Erreurs fréquentes

  • Permuter d'une façon qui détruit aussi la structure que la stratégie utilise légitimement, par exemple les frontières de séance, ce qui rend la distribution nulle trop facile à battre.
  • Lancer le test sur le vainqueur in-sample d'un balayage sans tenir compte des essais. La p-value de permutation ne corrige pas de la sélection ; le Sharpe déflaté, si.
  • Lire la p-value comme la probabilité que la stratégie n'ait pas d'edge. C'est la probabilité du résultat observé sous l'hypothèse nulle, pas l'inverse.
  • Utiliser trop peu de permutations, ce qui rend grossière la plus petite p-value publiable.

Cette page dans d’autres langues

Questions fréquentes

Combien de permutations faut-il ?
Assez pour que la résolution de la p-value soit plus fine que la décision que vous voulez prendre. Avec cent permutations, la plus petite p-value non nulle vaut un centième. Le desktop exécute les permutations comme une phase de gauntlet distincte après le walk-forward ; le nombre est fixé par le panneau et affiché avec le résultat.
Un test de permutation peut-il remplacer une validation walk-forward ?
Non. Le test de permutation demande si le résultat sur les données testées se distingue du hasard. Le walk-forward demande si des paramètres figés continuent de marcher sur des données ultérieures. Une stratégie peut passer l'un et échouer à l'autre. Le gauntlet publie les deux parce qu'ils échouent pour des raisons différentes.