Wichtigste Erkenntnisse
- Ein Backtest beantwortet nur, was die Regeln unter den von Ihnen gewählten Annahmen getan hätten.
- Overfitting wächst mit jeder einstellbaren Größe; bevorzugen Sie einfache Regeln und stabile Plateaus.
- Survivorship- und Look-Ahead-Fehler blähen Ergebnisse ohne sichtbare Warnung auf.
- Berücksichtigen Sie realistische Kosten, nutzen Sie Out-of-Sample-Daten und testen Sie vorwärts, bevor Sie echtes Kapital einsetzen.
Ein Backtest spielt eine Handelsregel auf historischen Daten durch, um zu sehen, wie sie sich entwickelt hätte. Das ist ein nützlicher Filter, aber er lässt sich bemerkenswert leicht täuschen. Viele beeindruckende Eigenkapitalkurven stammen aus dem Testaufbau und nicht aus der Idee. Wer die häufigen Fallen kennt, kann ein vielversprechendes Ergebnis von einem schmeichelhaften unterscheiden.
Was ein Backtest sagen kann und was nicht
Ein Backtest beantwortet eine enge Frage: Was wäre mit diesen Regeln, diesen Daten und diesen Annahmen zu Kosten und Ausführungen passiert? Er kann nicht sagen, was passieren wird. Im besten Fall verwirft er schwache Ideen günstig und gibt ein grobes Bild davon, wie oft eine Methode verliert, wie tief ihre Drawdowns waren und wie empfindlich sie auf Einstellungen reagiert.
Weil Sie Daten, Regeln und Annahmen selbst wählen, ist jede Entscheidung eine Gelegenheit für Verzerrungen. Die fünf folgenden Fallen erklären den größten Teil der Lücke zwischen Backtest- und Live-Ergebnissen.
| Falle | Was schiefgeht | Eine schnelle Kontrolle |
|---|---|---|
| Overfitting | Regeln werden so lange abgestimmt, bis sie zum Rauschen der Vergangenheit passen | Zerstört eine kleine Änderung der Einstellungen das Ergebnis? |
| Survivorship Bias | Die Daten enthalten nur Werte, die noch existieren | Enthält der Datensatz auch eingestellte oder fusionierte Instrumente? |
| Look-Ahead Bias | Der Test nutzt Informationen, die noch nicht verfügbar waren | Hätte dieser Wert im Moment des Trades bekannt sein können? |
| Ignorierte Kosten | Spread, Kommission, Slippage und Swap werden weggelassen | Bleibt das Ergebnis mit verdoppelten realistischen Kosten positiv? |
| Data Snooping | Viele Ideen werden getestet und nur die beste bleibt | Wie viele Varianten wurden vor dieser ausprobiert? |
Overfitting: Anpassung an das Rauschen
Overfitting, auch Curve Fitting genannt, bedeutet, eine Strategie so eng an vergangene Daten anzupassen, dass sie zufällige Eigenheiten statt wiederholbaren Verhaltens erfasst. Je mehr einstellbare Parameter eine Regel hat, desto leichter passiert das.
Ein Beispiel für die Größenordnung: Sie testen Längen des gleitenden Durchschnitts von 5 bis 100 in Schritten von 5 (20 Werte), Stop-Größen in 20 Schritten und 10 verschiedene Gewinnziele. Das ergibt 20 × 20 × 10 = 4.000 Kombinationen. Selbst wenn jede davon ein Münzwurf ohne echten Vorteil wäre, sähen einige allein durch Zufall hervorragend aus. Den Gewinner aus 4.000 Zufallsversuchen auszuwählen, sagt Ihnen, welcher am meisten Glück hatte, nicht welcher der beste ist.
Survivorship Bias: die fehlenden Verlierer
Survivorship Bias tritt auf, wenn der Datensatz nur Werte enthält, die bis heute überlebt haben. Unternehmen, die insolvent wurden, von der Börse genommen oder mit Verlust übernommen wurden, fehlen stillschweigend, und mit ihnen ihre Verluste. Eine Aktienauswahlregel an der heutigen Liste der Indexmitglieder zu testen, ist ein klassischer Fall.
Beispielzahlen zeigen den Effekt. Angenommen, zu Beginn eines Zehnjahreszeitraums standen 100 Aktien zur Verfügung. Achtzig überlebten und erzielten durchschnittlich 10 % pro Jahr. Zwanzig wurden eingestellt und verloren durchschnittlich 15 % pro Jahr. Die Gesamtgruppe erzielte im Schnitt (80 × 10 + 20 × −15) ÷ 100 = 5 % pro Jahr. Ein Test, der nur die Überlebenden verwendet, meldet 10 %, das Doppelte der Wahrheit. Dasselbe Problem kann Fonds, Handelssysteme mit veröffentlichten Ergebnissen und sogar Währungspaare betreffen, die von einer Plattform genommen wurden.
Look-Ahead Bias: die Zukunft zufällig kennen
Look-Ahead Bias bedeutet, dass der Test Daten nutzt, die zum Entscheidungszeitpunkt nicht verfügbar gewesen wären. Oft ist das subtil. Beispiele sind: zum Schlusskurs einer Kerze zu kaufen, nachdem das Signal aus genau diesem Schlusskurs berechnet wurde, das Tageshoch oder -tief zu nutzen, um früher am selben Tag eine Order zu platzieren, oder mit Wirtschaftsdaten in ihrer später revidierten Form statt in der damals veröffentlichten Fassung zu arbeiten.
- Handeln Sie zur Eröffnung der nächsten Kerze, nicht auf der Kerze, die das Signal erzeugt hat, es sei denn, Sie können tatsächlich zum Schlusskurs handeln.
- Prüfen Sie, dass jeder Indikator nur vergangene Werte verwendet, besonders bei eigenen oder repaintenden Indikatoren, die ihre historische Darstellung nachträglich ändern.
- Verwenden Sie Point-in-Time-Daten für Fundamentaldaten und für die Indexzusammensetzung.
- Seien Sie skeptisch bei jedem Ergebnis, das zu glatt aussieht. Echter Handel erzeugt selten vollkommen gleichmäßige Kurven.
Kosten, Ausführungen und Stichprobengröße
Eine Regel mit einem kleinen Vorteil pro Trade kann verschwinden, sobald Kosten hinzukommen. Intraday-Methoden mit vielen Trades sind am stärksten betroffen, weil jeder Trade den Spread erneut zahlt. Modellieren Sie die Kosten konservativ, verwenden Sie realistische Spreads für die jeweilige Tageszeit und berücksichtigen Sie Slippage bei Stop-Orders, die in schnellen Marktphasen meist zu einem schlechteren Kurs als ihrem Niveau ausgeführt werden.
Die Stichprobengröße ist ebenso wichtig. Ein Backtest mit 25 Trades ist eine Anekdote. Viele Praktiker verlangen mindestens einige hundert Trades, verteilt über verschiedene Marktbedingungen, bevor sie den Statistiken Vertrauen schenken. Auch die Bedingungen zählen: Ein Test, der nur durch einen langen, stetigen Aufwärtstrend lief, sagt wenig über einen Seitwärts- oder fallenden Markt.
Ein ehrlicherer Validierungsablauf
- Die Regeln vor dem Test aufschreiben. Halten Sie die Hypothese und die Regeln schriftlich fest, einschließlich der Zahl der Einstellungen, die Sie variieren werden. Das begrenzt, wie stark Sie nach Sicht der Ergebnisse nachjustieren können.
- Die Daten aufteilen. Passen Sie Ihre Regeln an einem früheren Zeitraum an, genannt In-Sample, und lassen Sie einen späteren Zeitraum, genannt Out-of-Sample, unberührt. Üblich ist eine Aufteilung von etwa 70 % zum Aufbau und 30 % zur Kontrolle.Tipp: Schauen Sie die zurückgehaltenen Daten nur einmal an. Wiederholtes Hinschauen macht sie zu In-Sample-Daten.
- Die Einstellungen belasten. Verändern Sie jeden Parameter nach oben und unten. Ändern sich die Ergebnisse drastisch, ist die Regel fragil.
- Realistische Kosten einbeziehen. Berücksichtigen Sie Spread, Kommission, Swap und Slippage, verdoppeln Sie dann die Kosten und prüfen Sie, ob noch etwas übrig bleibt.
- Walk-Forward testen. Passen Sie auf einem rollierenden Fenster neu an und testen Sie auf dem nächsten ungesehenen Abschnitt, und wiederholen Sie das durch die Daten hindurch. Das ahmt nach, wie Sie die Regeln tatsächlich anpassen müssten.
- Klein vorwärts testen. Lassen Sie die Regeln auf einem Demokonto oder mit minimaler Größe über eine aussagekräftige Zahl von Trades laufen und vergleichen Sie das Live-Verhalten mit dem Backtest.
Häufig gestellte Fragen
Wie viele Trades brauche ich in einem Backtest?
Es gibt keine feste Schwelle, aber Dutzende sind viel zu wenig. Mehr Trades verringern das Rauschen in den Statistiken, und die Abdeckung verschiedener Marktbedingungen ist genauso wichtig wie die reine Anzahl.
Reicht ein Out-of-Sample-Test, um zu beweisen, dass eine Strategie funktioniert?
Nein. Er verringert das Risiko des Overfittings, beseitigt es aber nicht, besonders wenn Sie viele Ideen ausprobieren und die behalten, die besteht. Auch künftige Marktveränderungen kann er nicht erfassen.
Was ist der Unterschied zwischen einem Backtest und einem Vorwärtstest?
Ein Backtest nutzt vergangene Daten, ein Vorwärtstest lässt die Regeln auf neuen Daten laufen, sobald sie eintreffen, entweder auf einem Demokonto oder mit kleiner Live-Größe. Vorwärtstests decken Ausführungs- und Kostenprobleme auf, die die Historie verbirgt.
Kann ich dem veröffentlichten Backtest eines Anbieters vertrauen?
Betrachten Sie ihn als Werbung, bis Sie Datenquelle, Kosten, Zahl der ausprobierten Varianten und die Frage kennen, ob die Ergebnisse live oder simuliert sind. Eine verifizierte, unabhängig geprüfte Live-Bilanz hat mehr Gewicht als jede Simulation.