p-значение

p-значение — это вероятность наблюдать результат не менее крайний, чем измеренный, при условии, что нулевая гипотеза верна. В проверке стратегий нулевая гипотеза обычно звучит как «у правила нет преимущества», а p-значение получают перестановочной или бутстрап-процедурой по записанным сделкам.

Senzoukria · Глоссарий · Обновлено: сентябрь 2026

Что означает это число

Зафиксируйте нулевую гипотезу — например, что сделки стратегии неотличимы от случайных выборок из того же распределения. Посчитайте статистику по реальным сделкам: чистый результат, Шарп на сделку, матожидание. Затем определите, как часто эта статистика была бы не меньше, будь нулевая гипотеза верна. Эта частота и есть p-значение.

В перестановочном тесте частоту считают напрямую: многократно переставляют данные, пересчитывают статистику и считают перестановки, которые повторяют или превосходят реальную. Формула распределения не нужна, и это важно для результатов сделок, которые редко бывают нормальными.

Чего оно не означает

  • Это не вероятность того, что нулевая гипотеза верна. Для этого понадобилась бы априорная вероятность, которую тест не использует.
  • Это не вероятность того, что стратегия продолжит работать. Оно описывает выборку, а не будущее.
  • Это не мера величины эффекта. Крошечное преимущество на огромной выборке может дать малое p-значение; большое преимущество на десяти сделках — нет.
  • Оно не скорректировано на отбор. Выберите лучшую из множества конфигураций — и её p-значение будет оптимистичным; этим занимаются дефлированный Шарп и PBO.

В Senzoukria

Панель бэктеста в десктопе показывает p-значение в своём разделе go/no-go, посчитанное фазой перестановочного теста. Соответствующий критерий сформулирован как «Перестановочный тест: преимущество отличимо от случайности». p-значение стоит рядом с PSR, DSR, PBO и числом опробованных конфигураций, так что читатель сразу видит, переживает ли выборка ещё и поправку на отбор.

Панель эффективности в «Реплее» p-значения не показывает; она помечает малые выборки примечанием, что коэффициенты показаны потому, что они точны, а не потому, что они значимы. Проверка значимости — функция панели бэктеста.

Частые ошибки

  • Останавливаться на фиксированном пороге. Общепринятая отсечка — это соглашение, а за ложноположительный результат платят на живом счёте, а не в статье.
  • Многократно тестировать на тех же данных и оставлять наименьшее p-значение. Каждый тест — это попытка.
  • Публиковать p-значение без статистики и без размера выборки, которые его породили.
  • Читать большое p-значение как доказательство отсутствия преимущества. Оно говорит лишь, что эта выборка его не показала.

Эта страница на других языках

Частые вопросы

Достаточно ли малого p-значения, чтобы торговать стратегию?
Нет. Оно говорит, что наблюдаемый результат был редким при гипотезе об отсутствии преимущества на этой выборке при этих допущениях. Оно не учитывает неучтённые издержки, число опробованных конфигураций, просадку против правил счёта и смену режима. Поэтому раздел go/no-go в десктопе перечисляет его как один критерий из нескольких.
Почему p-значение меняется при повторном запуске?
Фаза перестановок берёт случайные перестановки, поэтому два прогона на одних и тех же данных дают слегка разные подсчёты. Разброс сужается с ростом числа перестановок. Если p-значение между прогонами перепрыгивает границу решения, выборка сообщает вам, что результат пограничный.