第 10 课 · 考试制度：把”没见过的题”制度化

【这课你会明白什么】

样本内/样本外、walk-forward、holdout、预注册这五个词各管什么
“看过一眼就永远是样本内”为什么是物理定律级的铁律
我们项目的四级考试各对应哪段数据

正文

上一课的结论：真正的裁决只能来自没参与过挑选的数据。这一课讲怎么把这句话变成制度。整套制度像一个升学考试体系，考生是策略，考卷是数据。

第一级：练习册（样本内 / 开发窗）。一段可以随便用的数据：调参、改错、翻来覆去折腾都行。术语：开发时用过的数据叫样本内，反之叫样本外。项目第一战的开发窗是 2025-03 → 2025-12。

第二级：月考（walk-forward，滚动检验）。在开发窗内部模拟真实使用：用”过去 24 个月”选出参数，拿到”接下来 6 个月”上执行；窗口往前推 6 个月，再来一遍。每一轮”训练＋考试”叫一折——十六年数据能排出 19 折。注意它考的不是某组参数，而是“用过去选参数、到未来执行”这个流程——这恰好就是实盘每天真正做的事。缩写 WF，后面报告里到处是它。

第三级：一模（holdout，留出考）。一段从头到尾没参与任何开发的数据，每个想法家族终身只许看一次。为什么只一次？因为看过一眼的数据就永远变成了样本内——哪怕你只瞄了一眼结果，你的下一个决定已经被它污染，它再也不能充当”没见过的题”。这条没有补救办法，像热力学定律一样硬。项目第一战的一模是 2026-01 → 03；十六年战役的一模是 2022-01 → 2025-02，至今一眼未看。

第四级：高考（最终样本外，绰号”绊线”）。封存到连下载都不下载的数据（2026-04 之后），等某个策略真要走向实盘时，做最后一道灾难性检查。

制度还有两根梁：

预注册：开考之前，把评分标准写死并存档留痕——及格线是多少、有哪几道门槛（例如”期望 > 0.4 点/笔”“19 折中至少 65% 的折不亏”）、不及格如何处置。为什么必须考前定？因为人在看到结果之后，永远能为想放行的结果找到理由。预注册让坏消息落地时没有讨价还价的余地。

补考限额：每个想法家族终身只有 2 次完整检验机会，用尽即永久关闭。防的是”考到及格为止”——考一百次总能及格一次，那种及格一文不值。

把四级考试连起来读：练习册上允许自由，月考检验流程，一模只此一次，高考封存待命——数据的新鲜度是这套制度唯一真正守护的资产。

【与我们项目的连接】

这些不是纸上谈兵：D1 决策把 2026-04→07 封存为高考卷；D7 决策划定第一战的三段数据；十六年战役的协议文件（reports/longhist_protocol.md）第一行就写着”本协议在任何长历史回测运行之前写定”。而 H4——第一战里唯一一路过关的考生——正是死在一模上的（第 12 课讲它的完整故事）。

【三个自测问题】

walk-forward 考的到底是什么？为什么说它”就是实盘每天做的事”？
holdout 为什么每族终身只能看一次？
预注册防的是人性里的哪个弱点？

（答案：1. 考”用过去的数据选参数、拿到紧接着的未来去执行”这一完整流程的成绩；实盘就是不断用已知的过去决策未知的明天。2. 数据一经查看即被你的后续决策污染，永久降级为样本内；”没见过的题”用一次少一次。3. 事后合理化——看到结果后总能找到放行的理由；把标准冻结在看到结果之前，理由就失效了。）