Biais de survie

Trois portes d'entrée

• Les données. Un univers d'instruments choisi parmi ce qui est coté aujourd'hui exclut ceux qui ont été retirés de la cote, fusionnés ou effondrés. En crypto, les exchanges retirent régulièrement des paires ; un test sur les paires cotées aujourd'hui ne détient jamais une pièce jusqu'à sa disparition.
• Les stratégies. Quand de nombreuses idées sont testées et que seules celles qui ont fonctionné sont gardées et rapportées, l'ensemble publié est un échantillon de survivants. Cela recoupe le data snooping : ce sont les échecs qui auraient corrigé l'image.
• Les personnes. Les historiques visibles, les captures d'écran de retraits publics et les récits de réussite viennent de ceux qui sont restés. Les traders dont les comptes ont échoué publient rarement : l'échantillon visible décrit donc autant les gagnants d'une loterie qu'une compétence.

Une illustration par le pile ou face

Donnez une pièce équilibrée à 100 personnes et demandez à chacune d'annoncer dix lancers. La probabilité d'en annoncer au moins sept correctement par pur hasard vaut 176 ÷ 1 024 ≈ 17 % : environ dix-sept personnes afficheront donc un taux de 70 % ou mieux. Si seules ces dix-sept sont interrogées, l'échantillon suggère un groupe de prévisionnistes compétents ; les 83 autres sont la part de la population qui rend le résultat dénué de sens.

Rien dans les dix-sept relevés n'est faux. Le biais tient entièrement au choix des relevés parvenus au lecteur.

Dans Senzoukria

Le backtest automatique tourne sur les barres du contrat que vous choisissez : les instruments et les périodes qui entrent dans une étude relèvent donc de la décision du chercheur, et le risque de survie tient à ce choix. Le panneau Performance garde toute séance de replay terminée et tout backtest automatique dans sa liste, avec un bouton de suppression pour chaque run ; supprimer les runs qui ont échoué recrée la survie à l'intérieur de vos propres relevés. Le Gauntlet compte chaque configuration d'un balayage quand il déflate le ratio de Sharpe, mais il ne peut pas compter les idées que vous avez essayées et écartées lors de runs antérieurs. Un registre de recherche qui liste les idées rejetées à côté de celles gardées est la contre-mesure pratique.

Sur les graphiques crypto, l'historique est reconstruit depuis les archives quotidiennes publiques de l'exchange pour la paire que vous ouvrez ; une journée dont l'archive n'est pas publiée est listée comme manquante plutôt que comblée depuis une autre source, si bien que les trous sont visibles au lieu d'être sautés en silence.

Erreurs fréquentes

• Construire un univers crypto depuis les paires actuellement les plus échangées et le tester sur des années.
• Rapporter les trois stratégies qui ont fonctionné sur vingt essayées, sans les vingt.
• Juger une méthode d'après les traders qui ont publiquement réussi avec elle.
• Supprimer les runs de backtest perdants pour garder la liste de résultats propre.