Những cạm bẫy của backtest: Overfitting, thiên kiến người sống sót và look-ahead

Backtest là việc chạy lại một quy tắc giao dịch trên dữ liệu lịch sử để xem nó đã hoạt động ra sao. Đó là một bộ lọc hữu ích, nhưng cũng rất dễ bị đánh lừa. Nhiều đường cong vốn ấn tượng đến từ cách thiết lập bài kiểm tra chứ không phải từ ý tưởng. Biết các cạm bẫy phổ biến giúp bạn phân biệt kết quả triển vọng với kết quả chỉ để làm đẹp mắt.

Backtest nói được gì và không nói được gì

Backtest trả lời một câu hỏi hẹp: với các quy tắc này, dữ liệu này và những giả định này về chi phí và khớp lệnh, điều gì đã xảy ra? Nó không thể nói điều gì sẽ xảy ra. Tốt nhất, nó có thể loại bỏ các ý tưởng yếu với chi phí thấp và cho một bức tranh sơ bộ về mức độ thường xuyên phương pháp thua lỗ, mức sụt giảm vốn (drawdown) sâu đến đâu và nhạy cảm thế nào với các thiết lập.

Vì bạn chọn dữ liệu, quy tắc và giả định, mỗi lựa chọn đều là cơ hội để thiên kiến len vào. Năm cạm bẫy dưới đây giải thích phần lớn khoảng cách giữa kết quả backtest và kết quả thực.

Overfitting: tinh chỉnh theo nhiễu

Overfitting, còn gọi là curve fitting, nghĩa là uốn nắn chiến lược quá sát dữ liệu quá khứ đến mức nó nắm bắt những đặc điểm ngẫu nhiên thay vì hành vi lặp lại được. Quy tắc càng có nhiều thiết lập điều chỉnh được thì càng dễ mắc lỗi này.

Đây là một ví dụ về quy mô. Giả sử bạn thử độ dài đường trung bình động từ 5 đến 100 với bước 5 (20 giá trị), kích thước cắt lỗ theo 20 bước và 10 mục tiêu chốt lời khác nhau. Đó là 20 × 20 × 10 = 4.000 tổ hợp. Ngay cả khi mỗi tổ hợp chỉ là tung đồng xu không có lợi thế thực sự, vẫn có một số ít trông xuất sắc chỉ nhờ may mắn. Chọn người thắng cuộc trong 4.000 lần thử ngẫu nhiên chỉ cho bạn biết tổ hợp nào may mắn nhất, không phải tổ hợp nào tốt nhất.

Thiên kiến người sống sót: những kẻ thua bị bỏ sót

Thiên kiến người sống sót xuất hiện khi bộ dữ liệu chỉ chứa các tài sản còn tồn tại đến hôm nay. Những công ty phá sản, bị hủy niêm yết hoặc bị thâu tóm trong thua lỗ lặng lẽ vắng mặt, và các khoản lỗ của chúng cũng vậy. Kiểm tra một quy tắc chọn cổ phiếu trên danh sách các thành viên chỉ số hiện nay là một ví dụ kinh điển.

Các con số minh họa cho thấy tác động. Giả sử có 100 cổ phiếu vào đầu giai đoạn mười năm. Tám mươi cổ phiếu sống sót và mang lại trung bình 10% mỗi năm. Hai mươi cổ phiếu bị hủy niêm yết và lỗ trung bình 15% mỗi năm. Cả nhóm trung bình (80 × 10 + 20 × −15) ÷ 100 = 5% mỗi năm. Một bài kiểm tra chỉ dùng các cổ phiếu sống sót báo cáo 10%, gấp đôi sự thật. Vấn đề tương tự có thể ảnh hưởng đến các quỹ, các hệ thống giao dịch có hồ sơ công bố và thậm chí các cặp tiền tệ đã bị gỡ khỏi nền tảng.

Thiên kiến look-ahead: vô tình biết trước tương lai

Thiên kiến look-ahead nghĩa là bài kiểm tra dùng dữ liệu không thể có tại thời điểm ra quyết định. Lỗi này thường rất tinh vi. Ví dụ gồm mua ở giá đóng cửa của một thanh nến sau khi tín hiệu được tính từ chính giá đóng cửa đó, dùng giá cao nhất hoặc thấp nhất trong ngày để đặt lệnh sớm hơn trong ngày, hoặc làm việc với số liệu kinh tế ở dạng đã điều chỉnh sau này thay vì phiên bản được công bố vào thời điểm đó.

• Vào lệnh ở giá mở cửa của thanh nến kế tiếp, không phải trên thanh tạo ra tín hiệu, trừ khi bạn thực sự có thể hành động ở giá đóng cửa.
• Kiểm tra rằng mọi chỉ báo chỉ dùng giá trị quá khứ, đặc biệt là các chỉ báo tự tạo hoặc chỉ báo repainting, vốn thay đổi đồ thị lịch sử của chúng sau sự việc.
• Dùng dữ liệu point-in-time cho các yếu tố cơ bản và cho thành viên chỉ số.
• Hãy hoài nghi với bất kỳ kết quả nào trông quá mượt. Giao dịch thực hiếm khi tạo ra đường cong hoàn toàn đều đặn.

Chi phí, khớp lệnh và cỡ mẫu

Một quy tắc có lợi thế nhỏ mỗi lệnh có thể biến mất khi cộng thêm chi phí. Các phương pháp trong ngày với nhiều lệnh chịu ảnh hưởng nhiều nhất, vì mỗi lệnh lại trả spread một lần nữa. Hãy mô hình hóa chi phí một cách thận trọng, dùng spread thực tế theo thời điểm trong ngày, và cộng thêm trượt giá cho các lệnh dừng, vốn thường khớp ở mức giá tệ hơn mức đặt trong lúc thị trường biến động nhanh.

Cỡ mẫu cũng quan trọng không kém. Một backtest với 25 lệnh chỉ là giai thoại. Nhiều người trong nghề tìm ít nhất vài trăm lệnh, trải đều qua các điều kiện thị trường khác nhau, trước khi tin vào các thống kê. Điều kiện cũng quan trọng: bài kiểm tra chỉ chạy qua một xu hướng tăng đều kéo dài nói rất ít về thị trường đi ngang hoặc giảm.