Калибровка и реестр на хеш-цепочке

Каждый торговый сервис в интернете показывает вам свои удачи. Механизм здесь обычно не мошенничество, а отбор. Скриншоты выбираются задним числом. Опубликованная история сделок - это список, которым кто-то управляет, а всё, чем издатель управляет после того, как исход известен, не несёт информации о мастерстве.

Есть вторая, более тонкая версия той же проблемы. Сервис говорит «сетап с высокой вероятностью», сделка теряет, и сервис указывает, что высокая вероятность никогда не была гарантией. Это утверждение неопровержимо ровно в том смысле, который делает его бесполезным. Заявление о вероятности что-то значит только тогда, когда его можно посчитать.

Indikora решает эти две проблемы двумя отдельными механизмами, и важно, что они отдельные, потому что доказывают они разное.

Что на самом деле измеряет калибровка

Калибровка - это сравнение заявленной уверенности с наблюдаемой частотой. Возьмите все сигналы, опубликованные с оценкой 60 %, посчитайте их и посчитайте, сколько разрешилось так, как было заявлено. Если примерно 60 из 100 разрешились, число было честным. Если 30, то не было, независимо от того, насколько разумной казалась каждая отдельная оценка.

Это утверждение о метке, а не о доходности. Идеально откалиброванная система может терять деньги, а плохо откалиброванная может их приносить, потому что размер исхода в измерение не входит. Калибровка говорит вам, что когда движок говорит 60 %, эти 60 % можно понимать буквально. Что делать с буквальными 60 % - отдельный вопрос, включающий размер позиции и распределение прибылей и убытков.

У измерения есть требования, которые легко пропустить и фатально пропускать.

Корзина должна быть определена заранее. Группировка исходов по полосам уверенности после того, как вы их увидели, - это способ изготовить хорошую калибровку.

Выборка в каждой корзине должна быть достаточной. Двенадцать сигналов в корзине 70 % не говорят ни о чём. Одна невезучая серия сдвигает это число на 20 пунктов.

Правило разрешения должно быть зафиксировано. Когда сигнал считается верным или неверным, должно быть заявлено до публикации, а не решаться по каждой сделке отдельно.

Калибровку обычно показывают графиком: заявленная вероятность на одной оси, наблюдаемая частота на другой, и диагональ, изображающая идеальное совпадение. Отклонение от диагонали и есть находка. Устойчивое отклонение в одну сторону означает, что система систематически переоценивает или недооценивает себя, а это измеримый дефект, а не предмет мнения.

Зачем реестр хешируется и связывается в цепочку

Калибровка работает только тогда, когда запись о сказанном не может измениться. Для этого и нужна хеш-цепочка.

Каждый опубликованный сигнал хешируется по SHA-256 - функции, превращающей любой вход в отпечаток фиксированной длины. Измените один символ входа, и отпечаток изменится полностью, причём так, что никто не может задать направление этого изменения. Хеш каждого нового сигнала включает в себя хеш предыдущего, что связывает их в цепочку.

Следствие: правка сигнала трёхмесячной давности изменила бы его хеш, что сломало бы связь со следующим, что ломает каждую связь после него. Переписать историю означает переписать всю цепочку с этой точки вперёд, и любой, кто записал себе более поздний хеш, увидит, что он больше не сходится.

Это сильная гарантия про одну узкую вещь. Цепочка доказывает, что запись не правили и не датировали задним числом. Она не доказывает ничего о том, были ли сигналы хоть сколько-нибудь хороши. Идеально связанная запись стабильно неверных оценок вполне возможна, и цепочка проверялась бы чисто. Устойчивость к подделке и качество - разные свойства, и смешивать их - та самая ошибка, к которой механизм вернее всего подталкивает.

Как читать бэктест и не быть обманутым

Бэктесты появляются везде, где есть правила, и полезны они для более узкой цели, чем предполагает большинство.

Бэктест измеряет, как фиксированный набор правил повёл бы себя на конкретном историческом окне. Хорошие сообщают вам форму этого поведения: как часто срабатывали входы, как долго держались позиции, насколько глубокими были просадки, какая доля результата пришлась на небольшое число сделок.

Ограничения структурные и не исчезают от лучших данных.

Правила выбирал тот, кто уже видел данные. Даже при дисциплине выбор параметров впитывает информацию из выборки.

Число независимых рыночных циклов мало. Двадцать лет дневных данных - это не двадцать тысяч независимых наблюдений, а горстка режимов.

Исполнения, спреды, фандинг и проскальзывание смоделированы, а не наблюдены. Эти допущения двигают результат сильнее, чем ожидает большинство, особенно на волатильных активах.

Честный способ использовать бэктест - как описание поведения, а не как прогноз. Он отвечает на вопрос «что это правило делает на рынке, похожем на тот, где его тестировали», и не отвечает на вопрос «сколько это заработает».

Что спрашивать у любой истории сделок

Три вопроса, работающие на чём угодно, включая эту платформу.

Было ли заявление записано до результата? Если нет, это отбор, а не запись.

Могу ли я посчитать заявления и проверить долю? Если формулировки уверенности не числовые, не можете.

Что именно доказывает проверка? Устойчивость к подделке, размер выборки и качество - три разные вещи, и сервис, дающий вам проверить первые две, сообщил вам нечто настоящее, не заявив при этом третьего.

Проверяемость - это не то же самое, что правота. Это предварительное условие для того, чтобы выяснить.