test(criteria): 闭环——判据自报条数 + 每文件期望条数(只增不减的棘轮)

pi 指出的残余缺口:我上一轮加的自检 4 是**文本证据**(文件里有 `test(` / `check(` /
`process.exit(1)`),只能证明"**有能红的路径**",不能证明"**它跑过**"。反例很短:

```js
const check = () => {};     // 实现被换空(现实形态:合并冲突改坏实现)
check('a', false);          // 存在、也执行了,但什么都不会红
console.log('主题:通过');   // 有输出
```

## 落地(pi 给的闭环形状)

1. 自定义 `check()` 的判据结尾打一行机器可读汇总 `RESULT pass=<条数> fail=<失败数>`
   (`node:test` 的判据不用改,已有 `# pass N`);
2. `run-all.mjs` **只解析这个固定 marker**(不猜口语汇总——「窄屏布局:全部通过」里没有数字,
   按数字猜会误报,这一点我上轮已经实测过);
3. 与清单里登记的**期望条数**比对,**低于 → 红**。

关键细节:**计数写在 `check()` 内部**(theme/background 原本就在内部 ++;
narrow-layout 只有 failed 计数,补了 passed;markdown-xss 按 payload 条数算)。
写在调用点或靠扫源码的话,"实现被换空"就看不见了。

棘轮"只增不减":加判据**不用**改那个数,只有"条数掉了"才红。期望值按**实测**回填
(9/52/8/30/42/15/28/5/23/5/3/2)。

附带的可见性收益:这几轮我一直用"13→14""19→28""34→42"当信号,现在它成了判据 ——
某次改动顺手删掉两条判据、或某条被跳过,会立刻红。

## 变异

- pi 那个反例(`check` 换成空函数)→ 红(`自报 0 条 < 登记的 30 条`);
- 删掉 5 条 `check(` 调用 → 红(`自报 47 条 < 登记的 52 条`)。

## 规范

§6.5 新增"涉及运行时行为的结论必须实测过才能写进规范/判据"——同一个错这轮犯了两次
(我从"报告 0 个测试、退出 0"推断"退出码被吞",实测是照传;pi 拿我这个结论又建了一个洞)。
规则:**一次观察只支撑你看到的那一层**。
§6.6 记闭环形状与代价(故意删判据要同步改数字,属于一次可复核的显式编辑)。

⚠️ 并且如实记下一次**我自己违反规范**的事:写 §3 那条"变异后别用 `git checkout` 还原"的人
(就是我)在这次变异验证里又用了 `git checkout -- <文件>`,把刚加、尚未提交的 marker 抹掉了。
规矩写下来不等于会遵守 —— 已把这条实例写进规范,让人知道它是活人踩的坑。

## 验证

`npm test` 退出码 0(12 个判据文件全绿 + vitest 258/258);`run-all` 单独跑也 exit 0。
This commit is contained in:
2026-09-14 15:06:14 +08:00
parent 71585dc42b
commit a8ac2fc28b
6 changed files with 92 additions and 14 deletions

View File

@ -49,7 +49,7 @@ if (!existsSync(CRITERIA_DOC)) {
process.exit(1);
}
const criteriaDoc = readFileSync(CRITERIA_DOC, 'utf8');
for (const must of ['配对/解析', 'allow-list', '变异验证', '剥掉注释', '按行']) {
for (const must of ['配对/解析', 'allow-list', '变异验证', '剥掉注释', '按行', '自报条数', '只支撑你看到的那一层']) {
if (!criteriaDoc.includes(must)) {
console.error(`✗ 判据规范里少了「${must}」这条 —— 规则被删掉了还是搬走了?`);
process.exit(1);
@ -57,19 +57,19 @@ for (const must of ['配对/解析', 'allow-list', '变异验证', '剥掉注释
}
const SUITE = [
['test/markdown-xss.test.mjs', []],
['test/narrow-layout.test.mjs', []],
['test/nav-merge.test.mjs', []],
['test/theme.test.mjs', []],
['test/background.test.mjs', []],
['test/cross-client-theme.test.mjs', []],
['test/harmony-logic.test.mjs', ['--experimental-strip-types', '--no-warnings']],
['test/harmony-system-api.test.mjs', []],
['test/markdown-xss.test.mjs', [], 9],
['test/narrow-layout.test.mjs', [], 52],
['test/nav-merge.test.mjs', [], 8],
['test/theme.test.mjs', [], 30],
['test/background.test.mjs', [], 42],
['test/cross-client-theme.test.mjs', [], 15],
['test/harmony-logic.test.mjs', ['--experimental-strip-types', '--no-warnings'], 28],
['test/harmony-system-api.test.mjs', [], 5],
// P4 外观同步:跑 model/Appearance.ts纯逻辑所以也要 strip-types
['test/harmony-appearance.test.mjs', ['--experimental-strip-types', '--no-warnings']],
['test/build-stamp.test.mjs', []],
['test/packaging.test.mjs', []],
['test/commit-hygiene.test.mjs', ['--experimental-strip-types', '--no-warnings']]
['test/harmony-appearance.test.mjs', ['--experimental-strip-types', '--no-warnings'], 23],
['test/build-stamp.test.mjs', [], 5],
['test/packaging.test.mjs', [], 3],
['test/commit-hygiene.test.mjs', ['--experimental-strip-types', '--no-warnings'], 2]
];
// 自检 1清单里的文件必须真的存在写错名字 = 那条判据永远不跑)
@ -154,7 +154,7 @@ if (shapeless.length) {
}
const reds = [];
for (const [file, flags] of SUITE) {
for (const [file, flags, expected] of SUITE) {
console.log(`\n========== ${file} ==========`);
const shape = shapeOf(file);
const all = shape.usesNodeTest ? [...flags, '--test'] : flags;
@ -166,6 +166,21 @@ for (const [file, flags] of SUITE) {
// 不 break后面每条都要跑出来否则"红了几条"这个信息本身是假的
if (r.status !== 0) reds.push(`${file}(退出码 ${r.status}`);
else if (out.trim().length === 0) reds.push(`${file}(跑完没有任何输出 —— 判据没跑起来的典型症状)`);
else {
/*
* 自报条数(闭环):自定义 check() 打 `RESULT pass=N fail=M`node:test 打 `# pass N`。
* 只解析**固定 marker**,不去猜口语汇总(「窄屏布局:全部通过」里没有数字,
* 靠猜数字的写法会误报 —— pi 提过,我也先贴过真实样本)。
*/
const marker = /RESULT pass=(\d+) fail=(\d+)/.exec(out);
const nodeTest = /^# pass (\d+)/m.exec(out);
const ran = marker ? Number(marker[1]) : (nodeTest ? Number(nodeTest[1]) : null);
if (ran === null) {
reds.push(`${file}(没找到自报条数 —— 判据要打 RESULT pass=N 或走 node:test 的 # pass N`);
} else if (expected > 0 && ran < expected) {
reds.push(`${file}(自报 ${ran} 条 < 登记的 ${expected} 条 —— 条数掉了:判据被删/被跳过/check 实现被改坏?)`);
}
}
}
console.log(`\n========== 判据汇总 ==========`);