کالیبراسیون و دفتر کل هش‌زنجیرشده

هر سرویس معاملاتی در اینترنت برنده‌هایش را نشانتان می‌دهد. مکانیزمش معمولاً تقلب نیست، انتخاب است. اسکرین‌شات‌ها بعد از واقعه انتخاب می‌شوند. یک کارنامه‌ی منتشرشده فهرستی است که کسی کنترلش می‌کند، و هر چیزی که یک منتشرکننده بعد از معلوم‌شدن نتیجه کنترل کند هیچ اطلاعاتی درباره‌ی مهارت حمل نمی‌کند.

نسخه‌ی دوم و ظریف‌تری از همین مشکل هم هست. سرویسی می‌گوید «ستاپ با احتمال بالا»، معامله ضرر می‌دهد، و سرویس یادآوری می‌کند که احتمال بالا هرگز تضمین نبوده. آن گزاره دقیقاً به همان شکلی ابطال‌ناپذیر است که بی‌ارزشش می‌کند. یک ادعای احتمالی فقط وقتی معنایی دارد که بتوانید بشمارید.

ایندیکورا این دو مشکل را با دو مکانیزم جدا حل می‌کند، و جدا بودنشان مهم است، چون چیزهای متفاوتی را ثابت می‌کنند.

کالیبراسیون واقعاً چه چیزی را می‌سنجد

کالیبراسیون مقایسه‌ی بین اطمینان اعلام‌شده و فراوانی مشاهده‌شده است. هر سیگنالی را که با ۶۰٪ منتشر شده بردارید، بشماریدشان، و بشمارید چند تا همان‌طور که اعلام شده بود حل شدند. اگر تقریباً ۶۰ تا از ۱۰۰ تا این‌طور بودند، آن عدد صادقانه بوده. اگر ۳۰ تا بودند، نبوده، صرف‌نظر از اینکه هر پیش‌بینی منفرد چقدر معقول به‌نظر می‌رسیده.

این ادعایی درباره‌ی برچسب است، نه درباره‌ی سودآوری. یک سیستم کاملاً کالیبره‌شده می‌تواند ضرر بدهد و یک سیستم بدکالیبره می‌تواند پول دربیاورد، چون اندازه‌ی نتیجه بخشی از این اندازه‌گیری نیست. کالیبراسیون به شما می‌گوید وقتی موتور می‌گوید ۶۰٪، می‌توانید آن ۶۰٪ را تحت‌اللفظی بگیرید. اینکه با یک ۶۰٪ تحت‌اللفظی چه می‌کنید سؤال جداگانه‌ای است که به اندازه‌ی پوزیشن و توزیع بردها و باخت‌ها مربوط می‌شود.

این اندازه‌گیری الزاماتی دارد که رد شدن از آن‌ها آسان و کشنده است.

سطل‌ها باید از پیش تعریف شوند. گروه‌بندی نتایج در باندهای اطمینان بعد از دیدنشان همان راهی است که کالیبراسیون خوب ساختگی تولید می‌شود.

نمونه باید در هر سطل به‌قدر کافی بزرگ باشد. دوازده سیگنال در سطل ۷۰٪ هیچ چیزی نمی‌گوید. یک رشته‌ی بدشانس تنها، آن عدد را ۲۰ واحد جابه‌جا می‌کند.

قاعده‌ی حل‌شدن باید ثابت باشد. اینکه یک سیگنال کِی درست یا غلط حساب می‌شود باید پیش از انتشار اعلام شده باشد، نه معامله‌به‌معامله تصمیم گرفته شود.

کالیبراسیون معمولاً به شکل نموداری نشان داده می‌شود با احتمال اعلام‌شده روی یک محور و فراوانی مشاهده‌شده روی محور دیگر، و یک قطر که توافق کامل را نشان می‌دهد. انحراف از آن قطر همان یافته است. انحراف پایدار در یک جهت یعنی سیستم به‌طور سیستماتیک بیش‌اطمینان یا کم‌اطمینان است، که یک نقص قابل اندازه‌گیری است نه یک مسئله‌ی سلیقه‌ای.

چرا دفتر کل هش و زنجیر می‌شود

کالیبراسیون فقط وقتی کار می‌کند که سند آنچه گفته شده قابل تغییر نباشد. زنجیره‌ی هش برای همین است.

هر سیگنال منتشرشده با SHA-256 هش می‌شود، تابعی که هر ورودی را به یک اثر انگشت با طول ثابت تبدیل می‌کند. یک کاراکتر از ورودی را عوض کنید و اثر انگشت کاملاً عوض می‌شود، به شکلی که هیچ‌کس نمی‌تواند هدایتش کند. هش هر سیگنال جدید شامل هش سیگنال قبلی است، که آن‌ها را در یک زنجیره به هم می‌بندد.

نتیجه‌اش این است: ویرایش سیگنالی از سه ماه پیش هشش را عوض می‌کند، که پیوندش به سیگنال بعدی را می‌شکند، که هر پیوند بعد از آن را می‌شکند. بازنویسی تاریخ یعنی بازنویسی کل زنجیره از آن نقطه به بعد، و هرکسی که هش بعدی‌ای را ثبت کرده باشد می‌بیند که دیگر جور درنمی‌آید.

این تضمین قدرتمندی درباره‌ی یک چیز باریک است. زنجیره ثابت می‌کند سند ویرایش یا تاریخ‌عقب‌زده نشده. هیچ چیزی درباره‌ی خوب بودن سیگنال‌ها ثابت نمی‌کند. سندی کاملاً زنجیرشده از پیش‌بینی‌های پیوسته غلط کاملاً ممکن است، و زنجیره تمیز راستی‌آزمایی می‌شود. دستکاری‌آشکارسازی و کیفیت دو ویژگی متفاوت‌اند، و قاتی‌کردنشان همان اشتباهی است که این مکانیزم بیش از همه دعوتش می‌کند.

چطور یک بک‌تست را بخوانیم بدون اینکه گول بخوریم

بک‌تست هر جا که قاعده‌ای وجود داشته باشد پیدا می‌شود، و برای هدفی باریک‌تر از آنچه بیشتر آدم‌ها فرض می‌کنند مفید است.

بک‌تست اندازه می‌گیرد مجموعه‌ی ثابتی از قواعد روی یک پنجره‌ی تاریخی مشخص چطور رفتار می‌کرد. بک‌تست‌های خوب شکل آن رفتار را می‌گویند: چند وقت یک‌بار ورودها شلیک شده‌اند، پوزیشن‌ها چقدر نگه داشته شده‌اند، افت‌ها چقدر عمیق شده‌اند، چه سهمی از نتیجه از تعداد کمی معامله آمده است.

محدودیت‌ها ساختاری‌اند و با داده‌ی بهتر از بین نمی‌روند.

قواعد را کسی انتخاب کرده که از قبل داده را دیده بوده. حتی با انضباط، انتخاب پارامترها اطلاعاتی از نمونه جذب می‌کند.

تعداد چرخه‌های مستقل بازار کم است. بیست سال داده‌ی روزانه بیست هزار مشاهده‌ی مستقل نیست، مشتی رژیم است.

پرشدن سفارش، اسپرد، فاندینگ و اسلیپیج مدل می‌شوند، نه مشاهده. آن فرض‌ها نتایج را بیشتر از آنچه بیشتر آدم‌ها انتظار دارند جابه‌جا می‌کنند، مخصوصاً روی دارایی‌های پرنوسان.

راه صادقانه‌ی استفاده از بک‌تست این است که آن را توصیفی رفتاری بدانید، نه پیش‌بینی. به «این قاعده در بازاری شبیه بازاری که رویش تست شده چه می‌کند» جواب می‌دهد و به «این چقدر درمی‌آورد» جواب نمی‌دهد.

از هر کارنامه‌ای چه باید پرسید

سه سؤال که روی هر چیزی کار می‌کنند، از جمله همین یکی.

آیا ادعا پیش از نتیجه ثبت شده بود؟ اگر نه، یک انتخاب است، نه یک سند.

آیا می‌توانم ادعاها را بشمارم و نرخ را بررسی کنم؟ اگر زبان اطمینان عددی نباشد، نمی‌توانید.

راستی‌آزمایی دقیقاً چه چیزی را ثابت می‌کند؟ دستکاری‌آشکارسازی، اندازه‌ی نمونه و کیفیت سه چیز متفاوت‌اند، و سرویسی که اجازه می‌دهد دو تای اول را بررسی کنید چیز واقعی‌ای به شما گفته بدون اینکه سومی را ادعا کرده باشد.

قابل راستی‌آزمایی بودن با درست بودن یکی نیست. پیش‌شرط فهمیدن آن است.