กับดักของการแบ็กเทสต์: โอเวอร์ฟิตติ้ง อคติผู้รอดชีวิต และการมองล่วงหน้า

แบ็กเทสต์คือการนำกฎการเทรดไปเล่นซ้ำบนข้อมูลในอดีตเพื่อดูว่าจะให้ผลอย่างไร เป็นตัวกรองที่มีประโยชน์ แต่ก็หลอกตัวเองได้ง่ายอย่างน่าทึ่งเช่นกัน เส้นอิควิตี้ที่น่าประทับใจจำนวนมากมาจากการตั้งค่าการทดสอบ ไม่ใช่จากตัวความคิดเอง การรู้จักกับดักทั่วไปช่วยให้คุณแยกผลลัพธ์ที่น่าจะไปได้ดีออกจากผลลัพธ์ที่เพียงดูดี

แบ็กเทสต์บอกอะไรได้และบอกอะไรไม่ได้

แบ็กเทสต์ตอบคำถามที่แคบมาก คือ ภายใต้กฎเหล่านี้ ข้อมูลนี้ และสมมติฐานเรื่องต้นทุนและการจับคู่คำสั่งเหล่านี้ จะเกิดอะไรขึ้น มันบอกไม่ได้ว่าอะไรจะเกิดขึ้น อย่างดีที่สุดคือช่วยคัดแนวคิดที่อ่อนแอทิ้งได้ในราคาถูก และให้ภาพคร่าว ๆ ว่าวิธีนั้นขาดทุนบ่อยเพียงใด ดรอว์ดาวน์ (drawdown) ลึกเท่าไร และอ่อนไหวต่อการตั้งค่ามากแค่ไหน

เนื่องจากคุณเป็นผู้เลือกข้อมูล กฎ และสมมติฐานเอง ทุกการเลือกจึงเป็นโอกาสให้อคติแทรกเข้ามา กับดักห้าข้อด้านล่างอธิบายช่องว่างส่วนใหญ่ระหว่างผลแบ็กเทสต์กับผลการเทรดจริง

โอเวอร์ฟิตติ้ง: ปรับตามสัญญาณรบกวน

โอเวอร์ฟิตติ้ง หรือที่เรียกว่าการปรับเส้นโค้งให้พอดี (curve fitting) หมายถึงการปั้นกลยุทธ์ให้เข้ากับข้อมูลในอดีตมากเกินไป จนจับได้แต่ความแปลกประหลาดแบบสุ่ม แทนที่จะเป็นพฤติกรรมที่เกิดซ้ำได้ ยิ่งกฎมีค่าที่ปรับได้มากเท่าไร ก็ยิ่งทำได้ง่ายขึ้นเท่านั้น

ลองดูตัวอย่างเชิงขนาด สมมติว่าคุณทดสอบความยาวค่าเฉลี่ยเคลื่อนที่ตั้งแต่ 5 ถึง 100 ทีละ 5 (20 ค่า) ขนาดสต็อป 20 ระดับ และเป้าหมายกำไร 10 แบบ จะได้ 20 × 20 × 10 = 4,000 ชุดค่า ต่อให้ทุกชุดเป็นเพียงการโยนเหรียญที่ไม่มีความได้เปรียบจริง ก็ยังมีจำนวนหนึ่งที่ดูยอดเยี่ยมเพราะโชคเพียงอย่างเดียว การเลือกผู้ชนะจากการสุ่ม 4,000 ครั้งบอกแค่ว่าชุดไหนโชคดีที่สุด ไม่ใช่ว่าชุดไหนดีที่สุด

อคติผู้รอดชีวิต: ผู้แพ้ที่หายไป

อคติผู้รอดชีวิตเกิดขึ้นเมื่อชุดข้อมูลมีเฉพาะสินทรัพย์ที่อยู่รอดมาจนถึงปัจจุบัน บริษัทที่ล้มละลาย ถูกเพิกถอนจากตลาด หรือถูกซื้อกิจการในราคาขาดทุนหายไปอย่างเงียบ ๆ และการขาดทุนของพวกมันก็หายไปด้วย การทดสอบกฎเลือกหุ้นบนรายชื่อสมาชิกดัชนีในปัจจุบันเป็นตัวอย่างคลาสสิก

ตัวเลขประกอบการอธิบายแสดงให้เห็นผลกระทบ สมมติว่ามีหุ้น 100 ตัวในตอนต้นของช่วงสิบปี แปดสิบตัวอยู่รอดและให้ผลตอบแทนเฉลี่ย 10% ต่อปี ยี่สิบตัวถูกเพิกถอนและขาดทุนเฉลี่ย 15% ต่อปี ทั้งกลุ่มเฉลี่ย (80 × 10 + 20 × −15) ÷ 100 = 5% ต่อปี การทดสอบที่ใช้เฉพาะผู้รอดชีวิตรายงานว่า 10% ซึ่งเป็นสองเท่าของความจริง ปัญหาเดียวกันอาจเกิดกับกองทุน ระบบเทรดที่เผยแพร่ผลงาน และแม้แต่คู่สกุลเงินที่ถูกถอดออกจากแพลตฟอร์ม

อคติมองล่วงหน้า: รู้อนาคตโดยบังเอิญ

อคติมองล่วงหน้าหมายความว่าการทดสอบใช้ข้อมูลที่ยังไม่มีในจุดตัดสินใจ มักละเอียดอ่อน ตัวอย่างเช่น ซื้อที่ราคาปิดของแท่งหลังจากที่สัญญาณถูกคำนวณจากราคาปิดเดียวกันนั้น การใช้ราคาสูงสุดหรือต่ำสุดของวันเพื่อวางคำสั่งก่อนหน้าในวันเดียวกัน หรือการใช้ตัวเลขเศรษฐกิจในรูปแบบที่ปรับปรุงภายหลังแทนที่จะเป็นเวอร์ชันที่เผยแพร่ในเวลานั้น

• เทรดที่ราคาเปิดของแท่งถัดไป ไม่ใช่แท่งที่ก่อให้เกิดสัญญาณ เว้นแต่คุณลงมือที่ราคาปิดได้จริง
• ตรวจสอบว่าอินดิเคเตอร์ทุกตัวใช้เฉพาะค่าในอดีต โดยเฉพาะอินดิเคเตอร์ที่เขียนเองหรือแบบรีเพนต์ (repainting) ซึ่งเปลี่ยนเส้นในอดีตภายหลัง
• ใช้ข้อมูล ณ เวลานั้น (point-in-time) สำหรับปัจจัยพื้นฐานและสมาชิกดัชนี
• สงสัยผลลัพธ์ใดก็ตามที่ดูเรียบเกินไป การเทรดจริงแทบไม่เคยให้เส้นที่เรียบสม่ำเสมอสมบูรณ์

ต้นทุน การจับคู่คำสั่ง และขนาดตัวอย่าง

กฎที่ทำกำไรได้เล็กน้อยต่อเทรดอาจหายไปเมื่อบวกต้นทุน วิธีเทรดภายในวันที่มีจำนวนเทรดมากได้รับผลกระทบมากที่สุด เพราะแต่ละเทรดต้องจ่ายสเปรดซ้ำ ควรจำลองต้นทุนแบบระมัดระวัง ใช้สเปรดที่สมจริงตามช่วงเวลาของวัน และเพิ่มสลิปเพจสำหรับคำสั่งสต็อป ซึ่งมักถูกจับคู่ที่ราคาแย่กว่าระดับของมันในช่วงที่ตลาดเคลื่อนไหวเร็ว

ขนาดตัวอย่างสำคัญไม่แพ้กัน แบ็กเทสต์ที่มี 25 เทรดเป็นเพียงเรื่องเล่า ผู้ปฏิบัติจำนวนมากมองหาอย่างน้อยไม่กี่ร้อยเทรดที่กระจายอยู่ในสภาวะตลาดต่าง ๆ ก่อนจะเชื่อถือสถิติได้ สภาวะก็สำคัญเช่นกัน การทดสอบที่รันเฉพาะในช่วงขาขึ้นยาวต่อเนื่องบอกอะไรได้น้อยมากเกี่ยวกับตลาดที่แกว่งตัวในกรอบหรือกำลังลดลง