Внутри выборки и вне выборки
Данные внутри выборки — это исторический период, на котором подбирают правила и параметры стратегии; данные вне выборки — более поздний период, не участвовавший в этом подборе и используемый только для оценки замороженного результата. Различие важно потому, что результат, измеренный на данных, выбравших параметры, завышает то, что те же параметры дали бы на невиданных данных.
Senzoukria · Глоссарий · Обновлено: сентябрь 2026
Две роли для двух периодов
Разбиение надо назначить до того, как параметры изучены. Если границу сдвинули, увидев результаты, или тестовый период использовали, чтобы выбрать между двумя финалистами, он стал данными внутри выборки — как бы он ни назывался.
| Период | Используется для | Не должен использоваться для |
|---|---|---|
| Внутри выборки (обучение) | Подбор правил, порогов, параметров | Публикация результата как достижимого |
| Вне выборки (тест) | Однократная оценка замороженной конфигурации | Любая донастройка после того, как результат увиден |
| Финальный холдаут | Последняя оценка уже принятых решений | Любой дальнейший отбор |
Почему две кривые расходятся
Любой оптимизатор подгоняется и под воспроизводимую структуру обучающих данных, и под их случайные узоры. Случайная часть не повторяется, поэтому в результате вне выборки остаётся только структурная. Ровный подъём внутри выборки, за которым идёт плоский или падающий отрезок вне выборки, — обычная подпись правила, подогнанного в основном под шум. Некоторое расхождение ожидаемо и для здравого правила; важно, какая доля результата внутри выборки выживает и покрывает ли выжившая часть издержки.
Как получить свидетельства вне выборки
- Одно хронологическое разбиение: обучение на более ранней части, один тест на поздней.
- Walk-forward: повторные разбиения вдоль истории, где каждому тестовому окну предшествует своё обучающее.
- Другой инструмент или другая сессия для того же правила, если его логика не привязана к инструменту.
- Форвард-тест на симулированном счёте после исторической работы: он добавляет поведение живого потока данных, но не уверенность в исполнении.
В Senzoukria
После прогона walk-forward в панели автоматического бэктеста отчёт показывает график «внутри выборки против вне выборки»: кривая, которую видел оптимизатор, нарисована пунктиром против той, что была бы у вас на самом деле, каждая — по своему числу сделок. Подсказка панели формулирует прочтение: прямой подъём внутри выборки над плоской линией вне выборки — это и есть вид переподгонки, ещё до того, как о ней скажет какая-либо цифра.
Каждый срез в отчёте перечислен с периодом обучения и реальным тестовым периодом, так что граница между ними видна, а не подразумевается. Раздел Gauntlet добавляет дефлированный коэффициент Шарпа, посчитанный по сделкам вне выборки, и число опробованных конфигураций. Эти отчёты подводят итог собственному протоколу на поданных данных; благоприятная пометка не является сертификатом будущих результатов.
Частые ошибки
- Смотреть на тестовый период, пока проектируешь правило, а потом объявлять его периодом вне выборки.
- Переоптимизировать на холдауте после слабого результата, тихо превращая его в обучающие данные.
- Брать тестовый период настолько короткий, что вердикт решают несколько сделок.
- Показывать в резюме кривую внутри выборки, а кривую вне выборки упоминать только в приложении.
См. также
Эта страница на других языках
Частые вопросы
- Какую долю данных оставлять вне выборки?
- Универсального соотношения нет. Тестовому периоду нужно достаточно сделок, чтобы его результат что-то значил, а обучающему — достаточно, чтобы подогнать правило, не гоняясь за единичными событиями. Определите разбиение по частоте сделок правила до любого запуска, запишите его и не двигайте, увидев результаты.
- Можно ли повторно использовать период вне выборки?
- Только ценой его статуса. Любое решение, принятое после взгляда на результат периода, делает этот период частью отбора. Придержите последний нетронутый период для финальной оценки и примите, что после использования его для какого-либо решения следующему решению понадобится свежий период.
- Доказывает ли хороший результат вне выборки наличие преимущества?
- Это более сильное свидетельство, чем результат внутри выборки, но не доказательство. Период вне выборки — всё та же одна реализация истории при одной модели исполнения и одном наборе издержек. Чтобы его взвесить, нужны чувствительность к повышенным издержкам, устойчивость на соседних параметрах и запись о том, сколько правил было опробовано.