第 9 课 · 统计直觉二：过拟合与多重检验

【这课你会明白什么】

策略怎样”背题”，以及怎么从参数的形状识破它
为什么”试得足够多，总有好看的”，以及台账为什么是解药
“27 格里挑出来的冠军”和”1000 人里抛出来的大师”是同一种东西

正文

背题的学生：过拟合

给一个学生 500 道题和标准答案，他不理解、全背下。原题考试满分，换一套新题立刻不及格。

策略也一样。先定义参数：策略身上可调的旋钮——”突破多少点才跟进”“止损放多远”“看开盘后多少分钟”。调参数就是让策略更贴合历史行情；贴过头，它记住的不再是规律，而是那段历史独有的噪音。这就是过拟合：在调参时用过的数据上漂亮，一到没见过的数据就崩。历史只有一份，只要旋钮够多、调得够细，总能调出漂亮的历史成绩——所以”历史成绩漂亮”本身几乎不含信息。

识破的第一个工具是看参数面板：把各种参数组合排成格子，全部跑一遍。然后看形状——

平原：一大片相邻的格子都还不错。说明结果对参数不敏感，还值得往下查。
尖峰：只有”止损＝13”这一格特别好，邻居都平庸。13 就是背出来的题，换套题必挂。

（先埋个预告：第 12 课你会看到，平原也会骗人——它只是继续调查的门票，不是结论。）

1000 人抛硬币：多重检验

让 1000 个人各抛 10 次硬币，几乎必然有人抛出 9 正、10 正。他们是”抛硬币大师”吗？不是，他们是分母。

研究里的对应行为：试了几十个参数组合、几个想法变体，然后把最好看的那个拿出来展示。这个”冠军”的成绩天然被高估——你看到的不是它的实力，是”运气排行榜第一名”。这类问题统称多重检验：尝试的次数越多，纯靠运气登顶的成绩越好看。

两个解药，项目全部制度化了：

研究台账：一个只增不删的账本，登记每一次尝试——无论生死。因为”试了多少个”直接决定”最好那个有多可信”。本项目的台账甚至登记”想到了但决定不测”的想法，防止将来偷偷补测再挑好的。
打折原则：对任何”挑出来的最优”，心里自动打折；真正的裁决只能交给没参与过挑选的数据——怎么安排这样的数据，正是下一课的主题。

数字直感

项目第一战里，编号 H1 的假设面板有 27 格，挑出的最优格每笔 +$5.18；编号 H4 的面板有 18 格。台账为那一战记下的参数尝试总数以百计。27 格里挑出的 +$5.18，和 1000 人里挑出的”十连正大师”，在统计上是同一种东西——在证明自己之前，先假定它是分母里最幸运的那个。

【与我们项目的连接】

reports/research_journal.md 就是台账本体：每行一个假设，检验方式、结果、处置全部在案，末尾还有一栏”已消耗的检验次数”，精确到每个假设跑过多少格面板、做过多少次后续检验。它是全项目最诚实的一份文件——失败记录比成功记录多得多，而这正是它可信的原因。

【三个自测问题】

参数越多、调得越细，为什么越危险？
“平原好过尖峰”的道理是什么？平原能直接当结论吗？
台账为什么连”决定不测的想法”都要登记？

（答案：1. 旋钮越多越能贴合历史噪音，”漂亮的历史成绩”越容易纯靠背题得到，信息量趋近于零。2. 平原说明结果不依赖某个精调的魔法数字，抗背题能力强；但不能当结论——它可能由行情红利加挑选效应伪造（第 12 课有实例），只是继续调查的门票。3. 为了让”总尝试次数”无法被事后缩小——分母被隐藏，冠军的成绩就会被系统性高估。）