Размер выборки (слишком мало сделок)

Почему малая выборка вводит в заблуждение

Исходы сделок сильно различаются от одной к другой. Среднее по десяти сделкам может заметно сдвинуться, если убрать одну, — значит, оно описывает именно эти десять сделок, а не породившую их процедуру. С ростом числа сделок среднее оседает к матожиданию процедуры, и скорость зависит от того, насколько разбросаны исходы. Большой разброс требует больше сделок для той же уверенности.

Та же логика работает для доли прибыльных, среднего выигрыша и просадки. Просадка по короткому прогону — худший увиденный отрезок, а не худшее, что правило способно выдать.

Меры, учитывающие число сделок

• SQN, показатель качества системы Ван Тарпа: квадратный корень из числа сделок, умноженный на средний исход и делённый на его стандартное отклонение. При том же среднем и разбросе он растёт с размером выборки — в этом и смысл.
• Дефлированный коэффициент Шарпа: штрафует значение Шарпа за число перебранных конфигураций — это родственная проблема отбора, а не выборки.
• Скользящее матожидание по последним n сделкам: показывает, где заработано среднее по всему прогону и где оно развернулось, чтобы положительный итог не читали как равномерный.
• Тесты перестановок и перестановки порядка: используют имеющиеся сделки, чтобы увидеть, насколько иной могла бы быть кривая при тех же исходах в другом порядке. Это проверки чувствительности, а не прогнозы и не откалиброванные вероятности.

Независимость важна не меньше числа

Пятьдесят сделок, совершённых за один день в одном режиме, — не пятьдесят независимых наблюдений за правилом. Сделки, делящие сессию, новостное событие или пересекающийся период удержания, коррелированы, и эффективная выборка меньше их числа. Разнесение оценки по сессиям и периодам, как это делает хронологический walk-forward, придаёт числу больше смысла.

В Senzoukria

Представление прошлых сессий в панели бэктеста под заголовком «Повторяется ли это?» сообщает число сделок при каждом вердикте и отказывается вычитывать из малых выборок лишнее: при слишком малом числе сделок оно говорит, что ни один коэффициент ниже ничего не значит и что числа следует читать как точные, а не как значимые; когда результат слишком хорош для своей выборки, оно предупреждает, что итог вытягивает горстка сделок, и отсылает к распределению. Строка SQN отмечает, что он учитывает число сделок, и по той же причине SQN входит в цели автобэктеста. Страница журнала на сайте показывает то же число для записанных сделок; её демонстрационный набор — 20 сделок за три недели — сам по себе пример малой выборки.

Типичные ошибки

• Сравнивать две стратегии по матожиданию, не сравнивая числа их сделок.
• Урезать период теста до той части, которая сработала, и приводить коэффициенты по ней.
• Считать доливки и частичные выходы отдельными независимыми сделками.
• Увеличивать размер после короткой прибыльной серии, умножая экспозицию на результат, который ещё не установлен.