Bias di sopravvivenza

Tre punti da cui entra

• I dati. Un universo di strumenti scelto da quello che è quotato oggi esclude quelli delistati, fusi o crollati. Nelle cripto, gli exchange delistano regolarmente delle coppie; un test sulle coppie quotate oggi non tiene mai una moneta attraverso il suo fallimento.
• Le strategie. Quando si testano molte idee e si conservano e si riportano soltanto quelle che hanno funzionato, l'insieme pubblicato è un campione di sopravvissuti. Questo si sovrappone al data snooping: i fallimenti sono quello che avrebbe corretto l'immagine.
• Le persone. Gli archivi visibili, le schermate di pagamenti pubbliche e le storie di successo vengono da chi è rimasto. Gli operatori i cui conti hanno fallito pubblicano raramente, quindi il campione visibile descrive i vincitori di una lotteria tanto quanto un'abilità.

Un'illustrazione al lancio della moneta

Dai una moneta equa a 100 persone e chiedi a ciascuna di indovinare dieci lanci. La probabilità di indovinarne almeno sette per puro caso è 176 ÷ 1.024 ≈ 17 %, quindi circa diciassette persone mostreranno un archivio del 70 % o migliore. Se si intervistano soltanto quei diciassette, il campione suggerisce un gruppo di previsori abili; gli altri 83 sono la parte della popolazione che rende il risultato priva di significato.

Nulla nei diciassette archivi è falso. Il bias sta interamente in quali archivi hanno raggiunto il lettore.

In Senzoukria

Il backtest automatico gira sulle barre del contratto che scegli, quindi quali strumenti e periodi entrino in uno studio è una decisione del ricercatore, e il rischio di sopravvivenza sta in quella scelta. Il pannello Performance conserva nel proprio elenco ogni sessione di replay e ogni backtest automatico conclusi, con un pulsante di cancellazione per ciascuno; cancellare le esecuzioni fallite ricrea la sopravvivenza dentro i tuoi archivi. Il Gauntlet conta ogni configurazione di una scansione quando deflaziona l'indice di Sharpe, ma non può contare le idee che hai provato e scartato in esecuzioni precedenti. Un registro di ricerca che elenchi le idee rifiutate accanto a quelle conservate è la contromisura pratica.

Sui grafici cripto, la storia è ricostruita dagli archivi pubblici giornalieri dell'exchange per la coppia che apri; una giornata il cui archivio non è pubblicato è elencata come mancante invece di essere riempita da un'altra fonte, così i buchi sono visibili invece di essere saltati in silenzio.

Errori comuni

• Costruire un universo cripto dalle coppie correnti principali per volume e testarlo su anni.
• Riportare le tre strategie che hanno funzionato su venti provate, senza le venti.
• Giudicare un metodo dagli operatori che vi hanno pubblicamente avuto successo.
• Cancellare le esecuzioni di backtest in perdita per tenere pulito l'elenco dei risultati.