Kalibrering och den hashkedjade loggboken

Varje handelstjänst på internet visar dig sina vinnare. Mekanismen är oftast inte bedrägeri, den är urval. Skärmdumpar väljs ut i efterhand. Ett publicerat facit är en lista som någon kontrollerar, och allt en utgivare kontrollerar efter att utfallet är känt bär ingen information om skicklighet.

Det finns en andra, subtilare version av samma problem. En tjänst säger ”setup med hög sannolikhet”, affären förlorar, och tjänsten påpekar att hög sannolikhet aldrig var en garanti. Det påståendet är omöjligt att falsifiera på precis det sätt som gör det värdelöst. Ett sannolikhetspåstående betyder något bara om du kan räkna.

Indikora angriper de två problemen med två separata mekanismer, och det är viktigt att de är separata, eftersom de bevisar olika saker.

Vad kalibrering faktiskt mäter

Kalibrering är jämförelsen mellan angiven konfidens och observerad frekvens. Ta varje signal publicerad på 60 %, räkna dem, och räkna hur många som löste sig som de angavs. Om ungefär 60 av 100 gjorde det var siffran ärlig. Om 30 gjorde det var den inte det, oavsett om något enskilt utfall kändes rimligt.

Det här är ett påstående om etiketten, inte om lönsamhet. Ett perfekt kalibrerat system kan förlora pengar och ett dåligt kalibrerat kan tjäna dem, eftersom utfallens storlek inte ingår i mätningen. Kalibrering säger dig att när motorn säger 60 % kan du ta 60 % bokstavligt. Vad du gör med ett bokstavligt 60 % är en separat fråga som handlar om positionsstorlek och fördelningen av vinster och förluster.

Mätningen har krav som är lätta att hoppa över och förödande att hoppa över.

Facket måste definieras i förväg. Att gruppera utfall i konfidensband efter att man sett dem är hur man tillverkar bra kalibrering.

Urvalet måste vara stort nog per fack. Tolv signaler i facket för 70 % säger dig ingenting. En enda otursvit flyttar den siffran med 20 procentenheter.

Regeln för när något är avgjort måste vara låst. När en signal räknas som rätt eller fel måste anges före publicering, inte beslutas affär för affär.

Kalibrering visas vanligtvis som en graf med angiven sannolikhet på ena axeln och observerad frekvens på den andra, och en diagonal som representerar perfekt överensstämmelse. Avvikelsen från diagonalen är fyndet. Ihållande avvikelse åt ett håll betyder att systemet är systematiskt över- eller undersäkert, vilket är ett mätbart fel snarare än en åsiktsfråga.

Varför loggboken hashas och kedjas

Kalibrering fungerar bara om protokollet över vad som sagts inte kan ändras. Det är vad hashkedjan är till för.

Varje publicerad signal hashas med SHA-256, en funktion som förvandlar vilken indata som helst till ett fingeravtryck av fast längd. Ändra ett enda tecken i indatan och fingeravtrycket ändras fullständigt, på ett sätt ingen kan styra. Varje ny signals hash inkluderar den föregående signalens hash, vilket länkar ihop dem till en kedja.

Följden: att redigera en signal från tre månader tillbaka skulle ändra dess hash, vilket skulle bryta länken till nästa, vilket bryter varje länk därefter. Att skriva om historien betyder att skriva om hela kedjan från den punkten framåt, och vem som helst som antecknat en senare hash kan se att den inte längre stämmer.

Det är en stark garanti om en enda smal sak. Kedjan bevisar att protokollet inte redigerats eller efterdaterats. Den bevisar ingenting om huruvida signalerna var bra. Ett perfekt kedjat protokoll över genomgående felaktiga bedömningar är fullt möjligt, och kedjan skulle verifiera rent. Manipuleringsbevis och kvalitet är olika egenskaper, och att blanda ihop dem är det misstag mekanismen är mest benägen att bjuda in till.

Hur man läser ett backtest utan att bli lurad

Backtester dyker upp överallt där regler finns, och de är användbara för ett smalare syfte än de flesta antar.

Ett backtest mäter hur en fast uppsättning regler skulle ha betett sig över ett specifikt historiskt fönster. Bra sådana talar om formen på det beteendet: hur ofta ingångar utlöstes, hur länge positioner hölls, hur djupa nedgångarna blev, hur stor del av resultatet som kom från ett litet antal affärer.

Begränsningarna är strukturella och försvinner inte med bättre data.

Reglerna valdes av någon som redan hade sett datan. Även med disciplin suger parameterval upp information ur urvalet.

Antalet oberoende marknadscykler är litet. Tjugo år av dagsdata är inte tjugotusen oberoende observationer, det är en handfull regimer.

Avslut, spreadar, funding och slippage är modellerade, inte observerade. De antagandena flyttar resultatet mer än de flesta räknar med, särskilt i volatila tillgångar.

Det ärliga sättet att använda ett backtest är som en beskrivning av beteende, inte som en prognos. Det besvarar ”vad gör den här regeln i en marknad som den den testades på” och det besvarar inte ”vad kommer det här att tjäna”.

Vad man ska kräva av vilket facit som helst

Tre frågor som fungerar på vad som helst, inklusive det här.

Registrerades påståendet före utfallet? Om inte är det ett urval, inte ett protokoll.

Kan jag räkna påståendena och kontrollera andelen? Om konfidensspråket inte är numeriskt kan du inte det.

Vad exakt bevisar verifieringen? Manipuleringsbevis, urvalsstorlek och kvalitet är tre olika saker, och en tjänst som låter dig kontrollera de två första har sagt dig något verkligt utan att ha påstått det tredje.

Verifierbarhet är inte detsamma som att ha rätt. Det är förutsättningen för att kunna ta reda på det.