概率校准与哈希链账本

互联网上每一家交易服务都给你看它的盈利单。这个机制通常不是欺诈，是筛选。截图是事后挑的。一份公布出来的战绩是一张由某个人掌控的清单，而任何在结果已知之后仍由发布方掌控的东西，都不携带关于技能的信息。

同一个问题还有第二个、更隐蔽的版本。一家服务说“高概率形态”，交易亏了，然后这家服务指出高概率从来就不是保证。那句话恰好在使它变得毫无价值的那个意义上不可证伪。一个概率主张只有在你能清点的时候才有意义。

Indikora 用两套分开的机制来处理这两个问题，而它们分开这一点很重要，因为它们证明的是不同的事。

校准到底在衡量什么

校准是声明出去的置信度与观测到的频率之间的比较。把每一个以 60% 发布的信号拿出来，数一数有多少个，再数一数其中有多少个按它声明的方式兑现了。如果 100 个里大约有 60 个兑现了，这个数字就是诚实的。如果只有 30 个，那它就不诚实，不管其中任何一次单独的判断当时看上去多合理。

这是一个关于标签的主张，不是关于盈利能力的主张。一套完美校准的系统可以亏钱，一套糟糕校准的系统可以赚钱，因为结果的大小不进入这个衡量。校准告诉你的是，当引擎说 60% 的时候你可以照字面理解这个 60%。拿一个字面意义上的 60% 去做什么，是另一个问题，牵涉到仓位大小和盈亏的分布。

这个衡量有一些要求，很容易被跳过，而跳过是致命的。

分组必须事先定义好。看到结果之后再把它们归进置信度区间，正是制造漂亮校准的办法。

每个分组的样本必须足够大。70% 分组里有十二个信号，什么都说明不了。一段单独的坏运气就能让那个数字移动 20 个百分点。

判定规则必须固定。一个信号在什么情况下算对、什么情况下算错，必须在发布之前说明，而不是每笔交易临时决定。

校准通常画成一张图，一个轴是声明的概率，另一个轴是观测到的频率，还有一条代表完全一致的对角线。偏离那条对角线就是发现。持续朝一个方向偏离，意味着这套系统系统性地过度自信或过度保守，那是一个可测量的缺陷，而不是一个见仁见智的问题。

账本为什么要哈希并链起来

只有当关于说过什么的记录不能改变时，校准才成立。哈希链就是干这个的。

每一个发布出去的信号都用 SHA-256 做哈希，这个函数把任意输入变成一个定长的指纹。把输入改动一个字符，指纹就会完全改变，而且没有人能操控它往哪儿变。每个新信号的哈希里包含前一个信号的哈希，这就把它们连成了一条链。

后果是：修改一个三个月前的信号会改变它的哈希，从而破坏它与下一个的链接，进而破坏其后每一个链接。改写历史意味着要从那个点起改写整条链，而任何记录过一个更靠后的哈希的人都能看出它对不上了。

那是一个关于一件很窄的事的强保证。这条链证明记录没有被编辑过或倒填日期。它完全没有证明这些信号好不好。一份完美链接的、始终判断错误的记录是完全可能存在的，而这条链会干净地通过验证。防篡改和质量是不同的属性，把两者混为一谈，是这个机制最容易诱发的错误。

怎么读一份回测而不被骗

只要有规则的地方就会出现回测，而它们有用的用途比多数人以为的要窄。

一次回测衡量的是一组固定的规则在一个特定历史窗口上本来会有什么行为。好的回测告诉你这份行为的形状：入场触发得多频繁、持仓被持有多久、回撤有多深、结果里有多少来自少数几笔交易。

局限是结构性的，不会因为数据更好就消失。

规则是由一个已经看过这些数据的人选定的。即便有纪律，参数选择也会吸收样本里的信息。

独立的市场周期数量很少。二十年的日线数据不是两万个独立观测，而是屈指可数的几种行情格局。

成交、点差、资金费率和滑点是被建模出来的，不是被观测到的。这些假设对结果的影响比多数人预期的要大，在波动大的品种上尤其如此。

诚实地使用一次回测，是把它当作行为描述，不是预测。它回答的是“这条规则在一个像它被测试过的那样的市场里会做什么”，它不回答“这个能赚多少”。

该向任何一份战绩问什么

三个对任何东西都管用的问题，包括对这一个。

这个主张是在结果之前被记录下来的吗？如果不是，那它是一次筛选，不是一份记录。

我能清点这些主张并核对比率吗？如果置信度的表述不是数字，你就不能。

这份验证到底证明了什么？防篡改、样本量和质量是三件不同的事，而一家让你能核对前两件的服务，在没有主张第三件的前提下，已经告诉了你一些真实的东西。

可验证不等于正确。它是把这件事查清楚的前提条件。