تحيّز التنقيب في البيانات (الاختبار المتعدد)

لماذا يتضخم أفضل الكثير

اختبر قاعدةً بلا أفضلية عند مستوى دلالة 5 بالمئة فاحتمال إيجابية زائفة 5 بالمئة. واختبر عشرين قاعدة مستقلة بلا أفضلية فاحتمال أن تنجح واحدة على الأقل هو 1 − 0.95²⁰ ≈ 64 بالمئة. وإحصاءات القاعدة الفائزة صادقة لتلك القاعدة على تلك البيانات، لكن العملية التي وجدتها كانت ستجد شيئًا على أي حال. فأقصى نتائج ضجيجية كثيرة متحيّز صاعدًا بالبناء؛ وذلك خاصية المقاصي لا خاصية الأسواق.

و Halbert White صاغ اختبارًا لهذا الوضع سنة 2000، هو Reality Check، الذي يقارن أفضل قاعدة بتوزيع أفضل قواعد كثيرة تحت فرضية لا أفضلية. واختبار القدرة التنبؤية المتفوّقة لـ Peter Hansen (2005) نقّحه. وشارب المخفَّضة واحتمال الإفراط في مواءمة الاختبار التاريخي يعالجان المشكلة نفسها من زوايا أخرى.

التجارب التي لا يعدّها أحد

• تغيير نافذة الجلسة أو نوع الشمعة أو الأداة بعد نظرة أولى في النتائج.
• إضافة مرشّح لأن منحنى الأسهم كان له شهر سيئ، ثم حفظه.
• البدء من فكرة نجحت أصلًا في اختبار تاريخي لشخص آخر على الفترة نفسها.
• إعادة تشغيل تقدّم أمامي بمعيار انتقاء مختلف إلى أن تبدو الكفاءة مقبولة.
• وكل واحد من هذه تجربة. والتصحيح الرسمي لا يعمل إلا إن شملها العدّ.

داخل Senzoukria

مسح المعاملات والتقدّم الأمامي في الاختبار التاريخي الآلي يرفضان شبكات فوق 400 توليفة، ومساعد الاختبار التاريخي مأمور بإبقاء المسوح تحت 100.

والتقدّم الأمامي يُبلّغ شارب مخفَّضة لصفقاته خارج العيّنة يكون فيها عدد التجارب هو عدد الإعدادات التي اختار الانتقاء منها. وGauntlet يعيد تشغيل الشبكة كلها على الفترة الكاملة، ويحسب شارب المخفَّضة بـ N مساويًا للشبكة كلها لا للإعدادات المحفوظة، ويقدّر احتمال الإفراط في مواءمة الاختبار التاريخي حين تتاح ثمانية أيام جلسة على الأقل، ويضيف اختبارًا تبادليًا لنسبة شارب. وما لا يستطيع البرنامج رؤيته هو تاريخ تشغيلاتك السابقة: فشبكة أُطلقت بعد عشر شبكات متروكة تُعدّ مجموعة تجارب واحدة.

تدابير عملية

• اكتب الفرضية والشبكة ومعيار الانتقاء قبل النظر في النتائج.
• احفظ سجل بحث لكل صيغة جُرِّبت، بما فيها المتروكة.
• احتفظ بفترة أخيرة لم يمسّها أي قرار واستعملها مرة واحدة.
• فضّل القواعد التي تعمل خاناتها المجاورة في الشبكة أيضًا على خانة أفضلية معزولة.