Kalibrierung und das hashverkettete Ledger

Jeder Trading-Dienst im Internet zeigt dir seine Gewinner. Der Mechanismus ist meist kein Betrug, sondern Auswahl. Screenshots werden im Nachhinein ausgesucht. Ein veröffentlichter Track Record ist eine Liste, die jemand kontrolliert, und alles, was ein Anbieter nach Bekanntwerden des Ergebnisses kontrolliert, trägt keine Information über Können.

Es gibt eine zweite, feinere Version desselben Problems. Ein Dienst sagt „Setup mit hoher Wahrscheinlichkeit“, der Trade verliert, und der Dienst weist darauf hin, dass hohe Wahrscheinlichkeit nie eine Garantie war. Diese Aussage ist genau auf die Art unwiderlegbar, die sie wertlos macht. Eine Wahrscheinlichkeitsaussage bedeutet nur dann etwas, wenn du nachzählen kannst.

Indikora begegnet diesen beiden Problemen mit zwei getrennten Mechanismen, und es ist wichtig, dass sie getrennt sind, weil sie Verschiedenes beweisen.

Was Kalibrierung tatsächlich misst

Kalibrierung ist der Vergleich zwischen angegebener Konfidenz und beobachteter Häufigkeit. Nimm jedes mit 60 % veröffentlichte Signal, zähle sie, und zähle, wie viele so aufgingen, wie sie angegeben waren. Waren es grob 60 von 100, war die Zahl ehrlich. Waren es 30, war sie es nicht, unabhängig davon, ob sich eine einzelne Einschätzung vernünftig anfühlte.

Das ist eine Aussage über das Etikett, nicht über Profitabilität. Ein perfekt kalibriertes System kann Geld verlieren und ein schlecht kalibriertes kann welches verdienen, denn die Größe der Ergebnisse ist nicht Teil der Messung. Kalibrierung sagt dir, dass du 60 % wörtlich nehmen kannst, wenn die Engine 60 % sagt. Was du mit wörtlichen 60 % anfängst, ist eine eigene Frage, in der Positionsgröße und die Verteilung von Gewinnen und Verlusten stecken.

Die Messung hat Anforderungen, die leicht zu überspringen und fatal zu überspringen sind.

Der Bucket muss vorab definiert sein. Ergebnisse erst nach ihrer Betrachtung in Konfidenzbänder zu gruppieren ist die Art, wie man gute Kalibrierung fabriziert.

Die Stichprobe je Bucket muss groß genug sein. Zwölf Signale im 70-%-Bucket sagen dir nichts. Eine einzige Pechsträhne verschiebt diese Zahl um 20 Punkte.

Die Auflösungsregel muss feststehen. Wann ein Signal als richtig oder falsch zählt, muss vor der Veröffentlichung festgelegt sein und nicht pro Trade entschieden werden.

Kalibrierung wird üblicherweise als Diagramm dargestellt, mit der angegebenen Wahrscheinlichkeit auf der einen Achse, der beobachteten Häufigkeit auf der anderen und einer Diagonalen für perfekte Übereinstimmung. Die Abweichung von dieser Diagonalen ist der Befund. Anhaltende Abweichung in eine Richtung heißt, dass das System systematisch über- oder unterkonfident ist, und das ist ein messbarer Defekt statt einer Ansichtssache.

Warum das Ledger gehasht und verkettet ist

Kalibrierung funktioniert nur, wenn die Aufzeichnung dessen, was gesagt wurde, sich nicht ändern kann. Dafür ist die Hashkette da.

Jedes veröffentlichte Signal wird mit SHA-256 gehasht, einer Funktion, die jede Eingabe in einen Fingerabdruck fester Länge verwandelt. Ändere ein einziges Zeichen der Eingabe, und der Fingerabdruck ändert sich vollständig, auf eine Weise, die niemand steuern kann. Der Hash jedes neuen Signals enthält den Hash des vorherigen Signals, was sie zu einer Kette verbindet.

Die Folge: Ein Signal von vor drei Monaten zu bearbeiten würde seinen Hash ändern, was die Verbindung zum nächsten bricht, was jede weitere Verbindung danach bricht. Geschichte umzuschreiben heißt, die gesamte Kette ab diesem Punkt neu zu schreiben, und jeder, der einen späteren Hash notiert hat, sieht, dass er nicht mehr passt.

Das ist eine starke Garantie über eine sehr enge Sache. Die Kette beweist, dass die Aufzeichnung nicht bearbeitet oder rückdatiert wurde. Sie beweist nichts darüber, ob die Signale gut waren. Eine perfekt verkettete Aufzeichnung durchgehend falscher Einschätzungen ist ohne Weiteres möglich, und die Kette würde sauber verifizieren. Manipulationssicherheit und Qualität sind verschiedene Eigenschaften, und sie zu vermengen ist der Fehler, zu dem dieser Mechanismus am ehesten einlädt.

Wie du einen Backtest liest, ohne dich täuschen zu lassen

Backtests tauchen überall dort auf, wo es Regeln gibt, und sie sind für einen engeren Zweck nützlich, als die meisten annehmen.

Ein Backtest misst, wie sich ein fester Satz Regeln über ein bestimmtes historisches Fenster verhalten hätte. Gute Backtests sagen dir die Form dieses Verhaltens: wie oft Einstiege auslösten, wie lange Positionen gehalten wurden, wie tief die Drawdowns liefen, wie viel des Ergebnisses aus einer kleinen Zahl von Trades kam.

Die Grenzen sind struktureller Natur und verschwinden auch mit besseren Daten nicht.

Die Regeln wurden von jemandem gewählt, der die Daten bereits gesehen hatte. Selbst mit Disziplin nehmen Parameterentscheidungen Information aus der Stichprobe auf.

Die Zahl unabhängiger Marktzyklen ist klein. Zwanzig Jahre Tagesdaten sind nicht zwanzigtausend unabhängige Beobachtungen, sondern eine Handvoll Regime.

Ausführungen, Spreads, Funding und Slippage sind modelliert, nicht beobachtet. Diese Annahmen bewegen Ergebnisse stärker, als die meisten erwarten, besonders bei volatilen Assets.

Der ehrliche Umgang mit einem Backtest ist der als Verhaltensbeschreibung, nicht als Prognose. Er beantwortet „was tut diese Regel in einem Markt wie dem, in dem sie getestet wurde“ und er beantwortet nicht „was bringt das ein“.

Was du von jedem Track Record verlangen solltest

Drei Fragen, die auf alles funktionieren, auch auf dieses hier.

Wurde die Aussage vor dem Ergebnis festgehalten? Wenn nicht, ist es eine Auswahl und keine Aufzeichnung.

Kann ich die Aussagen zählen und die Rate prüfen? Wenn die Konfidenzsprache nicht numerisch ist, kannst du es nicht.

Was genau beweist die Verifikation? Manipulationssicherheit, Stichprobengröße und Qualität sind drei verschiedene Dinge, und ein Dienst, der dich die ersten beiden prüfen lässt, hat dir etwas Echtes gesagt, ohne das dritte behauptet zu haben.

Überprüfbarkeit ist nicht dasselbe wie richtig zu liegen. Sie ist die Voraussetzung dafür, es herauszufinden.