Puntos clave
- Un backtest solo responde a lo que habrían hecho las reglas bajo los supuestos que elegiste.
- El sobreajuste crece con cada parámetro ajustable; prefiere reglas simples y mesetas estables.
- Los errores de supervivencia y de anticipación inflan los resultados sin ninguna advertencia visible.
- Incluye costes realistas, usa datos fuera de la muestra y haz una prueba en tiempo real antes de arriesgar capital real.
Un backtest reproduce una regla de trading sobre datos históricos para ver cómo habría funcionado. Es un filtro útil, pero también es notablemente fácil engañarse con él. Muchas curvas de capital impresionantes proceden de la configuración de la prueba y no de la idea. Conocer las trampas más comunes te ayuda a distinguir un resultado prometedor de uno que solo halaga.
Qué puede y qué no puede decirte un backtest
Un backtest responde a una pregunta limitada: dadas estas reglas, estos datos y estos supuestos sobre costes y ejecuciones, ¿qué habría ocurrido? No puede decir qué ocurrirá. En el mejor de los casos, permite descartar ideas débiles a bajo coste y da una imagen aproximada de con qué frecuencia pierde un método, qué profundidad alcanzaron sus drawdowns y cuán sensible es a los parámetros.
Como eres tú quien elige los datos, las reglas y los supuestos, cada decisión es una oportunidad para que se cuele un sesgo. Las cinco trampas siguientes explican la mayor parte de la diferencia entre los resultados del backtest y los reales.
| Trampa | Qué sale mal | Una comprobación rápida |
|---|---|---|
| Sobreajuste | Las reglas se afinan hasta que coinciden con el ruido del pasado | ¿Un pequeño cambio en los parámetros destruye el resultado? |
| Sesgo de supervivencia | Los datos solo incluyen activos que siguen existiendo | ¿El conjunto de datos incluye instrumentos excluidos de cotización o fusionados? |
| Sesgo de anticipación (look-ahead) | La prueba usa información que aún no estaba disponible | ¿Se podía conocer este valor en el momento de la operación? |
| Costes ignorados | Se omiten el spread (diferencial), la comisión, el deslizamiento (slippage) y el swap (financiación nocturna) | ¿El resultado sigue siendo positivo si se duplican los costes realistas? |
| Data snooping (espionaje de datos) | Se prueban muchas ideas y solo se conserva la mejor | ¿Cuántas variantes se probaron antes de esta? |
Sobreajuste: afinar para el ruido
El sobreajuste, también llamado curve fitting (ajuste de curva), consiste en moldear una estrategia tan de cerca a los datos pasados que captura rarezas aleatorias en lugar de un comportamiento repetible. Cuantos más parámetros ajustables tiene una regla, más fácil resulta caer en él.
Veamos un ejemplo de escala. Supón que pruebas longitudes de media móvil de 5 a 100 en pasos de 5 (20 valores), tamaños de stop en 20 pasos y 10 objetivos de beneficio distintos. Son 20 × 20 × 10 = 4000 combinaciones. Aunque todas fueran un lanzamiento de moneda sin ventaja real, unas cuantas parecerían excelentes solo por suerte. Elegir la ganadora entre 4000 intentos aleatorios te dice cuál tuvo más suerte, no cuál es la mejor.
Sesgo de supervivencia: los perdedores ausentes
El sesgo de supervivencia aparece cuando el conjunto de datos solo contiene activos que han sobrevivido hasta hoy. Las empresas que quebraron, fueron excluidas de cotización o fueron adquiridas con pérdidas están ausentes sin hacer ruido, y también lo están sus pérdidas. Probar una regla de selección de acciones sobre la lista actual de miembros de un índice es un caso clásico.
Unas cifras ilustrativas muestran el efecto. Supón que había 100 acciones disponibles al inicio de un periodo de diez años. Ochenta sobrevivieron y ganaron un promedio del 10% anual. Veinte fueron excluidas de cotización y perdieron un promedio del 15% anual. El grupo completo promedió (80 × 10 + 20 × −15) ÷ 100 = 5% anual. Una prueba que use solo a las supervivientes informa de un 10%, el doble de la realidad. El mismo problema puede afectar a fondos, a sistemas de trading con historiales publicados e incluso a pares de divisas que se retiraron de una plataforma.
Sesgo de anticipación: conocer el futuro por accidente
El sesgo de anticipación (look-ahead) significa que la prueba usa datos que no habrían estado disponibles en el momento de decidir. A menudo es sutil. Algunos ejemplos son comprar al precio de cierre de una vela cuando la señal se calculó con ese mismo cierre, usar el máximo o el mínimo del día para colocar una orden antes dentro de esa misma jornada, o trabajar con cifras económicas en su versión revisada posteriormente en lugar de la publicada en su momento.
- Opera en la apertura de la vela siguiente, no en la vela que generó la señal, salvo que puedas actuar realmente en el cierre.
- Comprueba que cada indicador use solo valores pasados, en particular los indicadores personalizados o de repintado (repainting), que modifican sus trazos históricos a posteriori.
- Usa datos point-in-time (vigentes en cada fecha) para los fundamentales y para la composición de los índices.
- Desconfía de cualquier resultado que parezca demasiado suave. El trading real rara vez produce curvas perfectamente estables.
Costes, ejecuciones y tamaño de la muestra
Una regla que obtiene una pequeña ventaja por operación puede desaparecer en cuanto se añaden los costes. Los métodos intradía con muchas operaciones son los más expuestos, porque cada operación vuelve a pagar el spread. Modela los costes con prudencia, usa spreads realistas para la hora del día y añade deslizamiento (slippage) a las órdenes stop, que durante los movimientos rápidos suelen ejecutarse a un precio peor que su nivel.
El tamaño de la muestra importa igual de mucho. Un backtest con 25 operaciones es una anécdota. Muchos profesionales buscan al menos unos cientos de operaciones, repartidas en distintas condiciones de mercado, antes de dar confianza a las estadísticas. Las condiciones también cuentan: una prueba realizada solo durante una tendencia alcista larga y estable dice poco sobre un mercado lateral o bajista.
Un flujo de validación más honesto
- Escribe las reglas antes de probar. Pon por escrito la hipótesis y las reglas, incluido cuántos parámetros variarás. Esto limita cuánto puedes ajustar después de ver los resultados.
- Divide los datos. Ajusta tus reglas en un periodo anterior, llamado in-sample (dentro de la muestra), y deja intacto un periodo posterior, llamado out-of-sample (fuera de la muestra). Una división habitual es de alrededor del 70% para construir y el 30% para verificar.Consejo: Mira los datos reservados una sola vez. Si los consultas repetidamente, se convierten en datos in-sample.
- Somete los parámetros a estrés. Mueve cada parámetro un poco hacia arriba y hacia abajo. Si los resultados cambian drásticamente, la regla es frágil.
- Añade costes realistas. Incluye el spread, la comisión, el swap y el deslizamiento; luego duplica los costes y comprueba si queda algo.
- Haz un walk forward. Vuelve a ajustar sobre una ventana móvil y prueba en el siguiente tramo no visto, repitiendo el proceso a lo largo de los datos. Esto imita cómo tendrías que adaptar realmente las reglas.
- Haz una prueba en tiempo real con poco tamaño. Ejecuta las reglas en una cuenta demo o con un tamaño mínimo durante un número significativo de operaciones y compara el comportamiento real con el backtest.
Preguntas frecuentes
¿Cuántas operaciones necesito en un backtest?
No hay un umbral fijo, pero unas decenas son muy pocas. Más operaciones reducen el ruido de las estadísticas, y cubrir distintas condiciones de mercado importa tanto como la cifra bruta.
¿Basta con una prueba fuera de la muestra para demostrar que una estrategia funciona?
No. Reduce el riesgo de sobreajuste pero no lo elimina, sobre todo si pruebas muchas ideas y te quedas con la que supera la prueba. Tampoco puede captar cambios futuros del mercado.
¿Cuál es la diferencia entre un backtest y una prueba en tiempo real (forward test)?
Un backtest usa datos pasados, mientras que una prueba en tiempo real aplica las reglas a datos nuevos a medida que llegan, ya sea en demo o con un tamaño real pequeño. Las pruebas en tiempo real revelan problemas de ejecución y de costes que el histórico oculta.
¿Puedo fiarme del backtest publicado por un proveedor?
Trátalo como marketing hasta que conozcas la fuente de los datos, los costes, el número de variantes probadas y si los resultados son reales o simulados. Un historial real verificado y auditado de forma independiente pesa más que cualquier simulación.