Вероятность переподгонки бэктеста (PBO)

Вероятность переподгонки бэктеста (PBO) оценивает, как часто конфигурация, лучшая внутри выборки, оказывается вне выборки ниже медианы всех конфигураций. Её считают, разбивая результаты сетки параметров по всему периоду на множество комбинаций обучения и теста.

Senzoukria · Глоссарий · Обновлено: сентябрь 2026

Как оценивается PBO

Начните с матрицы: строка на временной срез, столбец на конфигурацию, в каждой ячейке — результат этой конфигурации на этом срезе. Разбейте срезы на чётное число групп. Для каждого способа выбрать половину групп обучающими ранжируйте конфигурации на обучающей половине, оставьте лучшую и посмотрите её ранг на оставшейся половине.

Если победитель внутри выборки оказывается вне её ниже медианы, эта комбинация засчитывается как переподгонка. PBO — доля комбинаций, где так происходит. Метод, называемый комбинаторно-симметричной кросс-валидацией, опубликован Бейли, Борвейном, Лопесом де Прадо и Чжу.

  • PBO около нуля означает, что победитель внутри выборки обычно остаётся выше медианы вне её.
  • PBO около одной второй означает, что выбор лучшей конфигурации не лучше случайного выбора.
  • Выше одной второй победитель внутри выборки склонен проигрывать вне её, что указывает на процедуру отбора, вознаграждающую шум.

О чём PBO не говорит

PBO — это утверждение о процедуре отбора на данной сетке и данном периоде. Она не измеряет величину преимущества, а низкая PBO на сетке из убыточных конфигураций означает лишь, что наименее плохая остаётся наименее плохой. Она также наследует все допущения лежащего в основе бэктеста: политику исполнения, издержки, пропуски в покрытии и построение баров.

В Senzoukria

Панель бэктеста в десктопе прогоняет сетку по всему периоду после walk-forward: примечание гласит, что N конфигураций переигрываются на всех барах ради матрицы PBO. Затем раздел go/no-go перечисляет «Вероятность переподгонки бэктеста» как критерий и показывает значение PBO рядом с PSR, DSR и p-значением. Панель представляет этот блок как вероятность того, что выбор лучшей конфигурации внутри выборки вредит вне её.

Поскольку PBO нужна вся сетка на всём периоде, она доступна только после перебора. Одна конфигурация не даёт ни матрицы, ни PBO.

Частые ошибки

  • Сравнивать значения PBO по сеткам разного размера, будто они на одной шкале.
  • Использовать PBO как самостоятельный вердикт. Она ничего не говорит о просадке, издержках или правилах счёта.
  • Сокращать сетку до нескольких конфигураций ради низкой PBO. Оценка становится грубой, а смещение отбора прячется в другом месте.
  • Упускать, что срезы идут подряд во времени: режим, запертый в одном срезе, может доминировать в ранжировании.

Эта страница на других языках

Частые вопросы

Какое значение PBO считать приемлемым?
Универсальной отсечки нет. Значение — это вероятность того, что победитель внутри выборки уступает медиане вне её, поэтому всё около одной второй означает, что отбор ничего не добавляет. Читайте её вместе с эффективностью walk-forward и дефлированным Шарпом и держите в уме размер сетки: грубая сетка даёт грубую оценку.
Чем PBO отличается от walk-forward проверки?
Walk-forward движется хронологически и показывает результат замороженных параметров на более поздних окнах. PBO переиспользует всю сетку на каждой комбинации срезов, в обе стороны, чтобы измерить, как часто правило отбора выбирает конфигурацию, проваливающуюся вне выборки. Walk-forward измеряет результат; PBO измеряет надёжность отбора.