test(criteria): 闭环——判据自报条数 + 每文件期望条数(只增不减的棘轮)
pi 指出的残余缺口:我上一轮加的自检 4 是**文本证据**(文件里有 `test(` / `check(` /
`process.exit(1)`),只能证明"**有能红的路径**",不能证明"**它跑过**"。反例很短:
```js
const check = () => {}; // 实现被换空(现实形态:合并冲突改坏实现)
check('a', false); // 存在、也执行了,但什么都不会红
console.log('主题:通过'); // 有输出
```
## 落地(pi 给的闭环形状)
1. 自定义 `check()` 的判据结尾打一行机器可读汇总 `RESULT pass=<条数> fail=<失败数>`
(`node:test` 的判据不用改,已有 `# pass N`);
2. `run-all.mjs` **只解析这个固定 marker**(不猜口语汇总——「窄屏布局:全部通过」里没有数字,
按数字猜会误报,这一点我上轮已经实测过);
3. 与清单里登记的**期望条数**比对,**低于 → 红**。
关键细节:**计数写在 `check()` 内部**(theme/background 原本就在内部 ++;
narrow-layout 只有 failed 计数,补了 passed;markdown-xss 按 payload 条数算)。
写在调用点或靠扫源码的话,"实现被换空"就看不见了。
棘轮"只增不减":加判据**不用**改那个数,只有"条数掉了"才红。期望值按**实测**回填
(9/52/8/30/42/15/28/5/23/5/3/2)。
附带的可见性收益:这几轮我一直用"13→14""19→28""34→42"当信号,现在它成了判据 ——
某次改动顺手删掉两条判据、或某条被跳过,会立刻红。
## 变异
- pi 那个反例(`check` 换成空函数)→ 红(`自报 0 条 < 登记的 30 条`);
- 删掉 5 条 `check(` 调用 → 红(`自报 47 条 < 登记的 52 条`)。
## 规范
§6.5 新增"涉及运行时行为的结论必须实测过才能写进规范/判据"——同一个错这轮犯了两次
(我从"报告 0 个测试、退出 0"推断"退出码被吞",实测是照传;pi 拿我这个结论又建了一个洞)。
规则:**一次观察只支撑你看到的那一层**。
§6.6 记闭环形状与代价(故意删判据要同步改数字,属于一次可复核的显式编辑)。
⚠️ 并且如实记下一次**我自己违反规范**的事:写 §3 那条"变异后别用 `git checkout` 还原"的人
(就是我)在这次变异验证里又用了 `git checkout -- <文件>`,把刚加、尚未提交的 marker 抹掉了。
规矩写下来不等于会遵守 —— 已把这条实例写进规范,让人知道它是活人踩的坑。
## 验证
`npm test` 退出码 0(12 个判据文件全绿 + vitest 258/258);`run-all` 单独跑也 exit 0。
This commit is contained in:
@ -121,6 +121,48 @@ const ALLOW = [ /* { name, replacement, why } */ ];
|
||||
`process.exit(1)` 吞掉**,于是"变异后依然 exit 0"看起来像判据失效(本仓刚踩过这一次:
|
||||
自检 3 其实是好的,是我用错了入口去验它)。**验判据要模拟用户/CI 真正跑的那一行。**
|
||||
|
||||
## 6.5 涉及**运行时行为**的结论,必须实测过才能写进规范/判据(pi 2026-09-14)
|
||||
|
||||
同一个错在本仓犯了两次,方向相反但错法相同:**从观察推断机制、没跑**。
|
||||
|
||||
- 我从"`node --test test/run-all.mjs` 报 0 个测试、退出 0"这个**观察**,推断出
|
||||
"runner 吞掉了 `process.exit(1)`" —— 实测下来退出码照传(见 §6 末),我错了;
|
||||
- pi 拿我那个结论直接往下建了一个洞("配错 flag = 绿")—— 他也错了。
|
||||
|
||||
规则:**一次观察只支撑你看到的那一层**。"报告里 0 个测试"是真的,"退出码被吞"是推断的。
|
||||
凡涉及运行时行为的结论(退出码、计数、回调时机、事件触发),
|
||||
**先贴真实样本再写规则** —— 这也是 §1 的推论。
|
||||
|
||||
## 6.6 闭环:自报条数 + 每文件期望条数(只增不减)
|
||||
|
||||
文本证据只能到"**存在**"为止:`test(` / `check(` / `process.exit(1)` 的存在性
|
||||
证明"有能红的路径",**不证明它跑过**。反例(现实事故形态:合并冲突把 `check` 的实现改空):
|
||||
|
||||
```js
|
||||
const check = () => {}; // 实现被换空
|
||||
check('a', false); // 存在、也执行了,但什么都不会红
|
||||
console.log('主题:通过'); // 有输出
|
||||
```
|
||||
|
||||
所以 `run-all.mjs` 现在做三件事:
|
||||
|
||||
1. 自定义 `check()` 的判据**自报条数**:结尾打一行
|
||||
`RESULT pass=<条数> fail=<失败数>`(`node:test` 的判据不用改,已有 `# pass N`);
|
||||
2. runner **只解析这个固定 marker**(不猜口语汇总 —— 「窄屏布局:全部通过」里没有数字,
|
||||
靠猜数字会误报);
|
||||
3. 与清单里登记的**期望条数**比对,**低于 → 红**。
|
||||
|
||||
棘轮是"只增不减":**加判据不用改那个数**;只有"条数掉了"才红 ——
|
||||
那正是要看见的事(顺手删两条判据、某条被跳过、`check` 实现被改坏)。
|
||||
代价:**故意删判据时要同步改数字**(这是一次显式的、能被复核的编辑,可以接受)。
|
||||
|
||||
计数必须写在 **`check()` 内部**:写在调用点或靠扫源码,"实现被换空"就看不见了
|
||||
—— 上面那个反例的 `pass` 会是 0,正是靠这一条才有分辨力。
|
||||
|
||||
> ⚠️ 本节的作者在写完之后**又踩了一次 §3 那条**:变异验证时用 `git checkout -- <文件>`
|
||||
> 还原,把尚未提交的改动(刚加的 marker)一起抹掉了。**规矩写下来不等于会遵守**;
|
||||
> 变异前先 `cp` 备份,从备份还原。
|
||||
|
||||
## 7. 判据要钉用户真正会点的那一层
|
||||
|
||||
(移交信里交代的头号纪律)判据通过了但用户点不到,等于没做。
|
||||
|
||||
@ -406,4 +406,11 @@ check('★ 判据自检:写成深色层必须判红', /rgb\(15 23 42 \/ \.7/.t
|
||||
* 汇总与退出必须留在**文件最后**(下面这两行就是)。
|
||||
*/
|
||||
console.log(`\n背景:${pass} 通过${fail ? `,${fail} 失败` : ''}`);
|
||||
/*
|
||||
* 机器可读的汇总(契约):`run-all.mjs` 只认这一行来判"这条判据到底跑了几条"。
|
||||
* 为什么需要它:光看"文件里存在 check("只能证明**有能红的路径**,不能证明**它跑过** ——
|
||||
* 把 `check` 的实现换成空函数(合并冲突改坏实现的现实事故)时,文本证据照样成立。
|
||||
* 计数在 check() **内部**自增,所以"实现被换空"会直接体现为 pass=0。
|
||||
*/
|
||||
console.log(`RESULT pass=${pass} fail=${fail}`);
|
||||
process.exit(fail ? 1 : 0);
|
||||
|
||||
@ -41,3 +41,5 @@ if (leaks > 0) {
|
||||
process.exit(1);
|
||||
}
|
||||
console.log('\n通过:raw HTML 被转义,javascript: URL 被清空');
|
||||
// 机器可读汇总:每条 payload 算一条(leaks 就是 fail)
|
||||
console.log(`RESULT pass=${payloads.length - leaks} fail=${leaks}`);
|
||||
|
||||
@ -6,7 +6,11 @@ import { readFileSync } from 'node:fs';
|
||||
|
||||
const read = p => readFileSync(new URL(p, import.meta.url), 'utf8');
|
||||
let failed = 0;
|
||||
let passed = 0; // 机器可读汇总用(在 check 内部自增:实现被换空 → 0)
|
||||
const check = (name, cond, detail = '') => {
|
||||
if (cond) {
|
||||
passed++;
|
||||
}
|
||||
if (cond) {
|
||||
console.log(` 通过 ${name}`);
|
||||
} else {
|
||||
@ -235,4 +239,5 @@ check(
|
||||
);
|
||||
|
||||
console.log(failed === 0 ? '\n窄屏布局:全部通过' : `\n窄屏布局:${failed} 项失败`);
|
||||
console.log(`RESULT pass=${passed} fail=${failed}`);
|
||||
process.exit(failed === 0 ? 0 : 1);
|
||||
|
||||
@ -49,7 +49,7 @@ if (!existsSync(CRITERIA_DOC)) {
|
||||
process.exit(1);
|
||||
}
|
||||
const criteriaDoc = readFileSync(CRITERIA_DOC, 'utf8');
|
||||
for (const must of ['配对/解析', 'allow-list', '变异验证', '剥掉注释', '按行']) {
|
||||
for (const must of ['配对/解析', 'allow-list', '变异验证', '剥掉注释', '按行', '自报条数', '只支撑你看到的那一层']) {
|
||||
if (!criteriaDoc.includes(must)) {
|
||||
console.error(`✗ 判据规范里少了「${must}」这条 —— 规则被删掉了还是搬走了?`);
|
||||
process.exit(1);
|
||||
@ -57,19 +57,19 @@ for (const must of ['配对/解析', 'allow-list', '变异验证', '剥掉注释
|
||||
}
|
||||
|
||||
const SUITE = [
|
||||
['test/markdown-xss.test.mjs', []],
|
||||
['test/narrow-layout.test.mjs', []],
|
||||
['test/nav-merge.test.mjs', []],
|
||||
['test/theme.test.mjs', []],
|
||||
['test/background.test.mjs', []],
|
||||
['test/cross-client-theme.test.mjs', []],
|
||||
['test/harmony-logic.test.mjs', ['--experimental-strip-types', '--no-warnings']],
|
||||
['test/harmony-system-api.test.mjs', []],
|
||||
['test/markdown-xss.test.mjs', [], 9],
|
||||
['test/narrow-layout.test.mjs', [], 52],
|
||||
['test/nav-merge.test.mjs', [], 8],
|
||||
['test/theme.test.mjs', [], 30],
|
||||
['test/background.test.mjs', [], 42],
|
||||
['test/cross-client-theme.test.mjs', [], 15],
|
||||
['test/harmony-logic.test.mjs', ['--experimental-strip-types', '--no-warnings'], 28],
|
||||
['test/harmony-system-api.test.mjs', [], 5],
|
||||
// P4 外观同步:跑 model/Appearance.ts(纯逻辑),所以也要 strip-types
|
||||
['test/harmony-appearance.test.mjs', ['--experimental-strip-types', '--no-warnings']],
|
||||
['test/build-stamp.test.mjs', []],
|
||||
['test/packaging.test.mjs', []],
|
||||
['test/commit-hygiene.test.mjs', ['--experimental-strip-types', '--no-warnings']]
|
||||
['test/harmony-appearance.test.mjs', ['--experimental-strip-types', '--no-warnings'], 23],
|
||||
['test/build-stamp.test.mjs', [], 5],
|
||||
['test/packaging.test.mjs', [], 3],
|
||||
['test/commit-hygiene.test.mjs', ['--experimental-strip-types', '--no-warnings'], 2]
|
||||
];
|
||||
|
||||
// 自检 1:清单里的文件必须真的存在(写错名字 = 那条判据永远不跑)
|
||||
@ -154,7 +154,7 @@ if (shapeless.length) {
|
||||
}
|
||||
|
||||
const reds = [];
|
||||
for (const [file, flags] of SUITE) {
|
||||
for (const [file, flags, expected] of SUITE) {
|
||||
console.log(`\n========== ${file} ==========`);
|
||||
const shape = shapeOf(file);
|
||||
const all = shape.usesNodeTest ? [...flags, '--test'] : flags;
|
||||
@ -166,6 +166,21 @@ for (const [file, flags] of SUITE) {
|
||||
// 不 break:后面每条都要跑出来,否则"红了几条"这个信息本身是假的
|
||||
if (r.status !== 0) reds.push(`${file}(退出码 ${r.status})`);
|
||||
else if (out.trim().length === 0) reds.push(`${file}(跑完没有任何输出 —— 判据没跑起来的典型症状)`);
|
||||
else {
|
||||
/*
|
||||
* 自报条数(闭环):自定义 check() 打 `RESULT pass=N fail=M`,node:test 打 `# pass N`。
|
||||
* 只解析**固定 marker**,不去猜口语汇总(「窄屏布局:全部通过」里没有数字,
|
||||
* 靠猜数字的写法会误报 —— pi 提过,我也先贴过真实样本)。
|
||||
*/
|
||||
const marker = /RESULT pass=(\d+) fail=(\d+)/.exec(out);
|
||||
const nodeTest = /^# pass (\d+)/m.exec(out);
|
||||
const ran = marker ? Number(marker[1]) : (nodeTest ? Number(nodeTest[1]) : null);
|
||||
if (ran === null) {
|
||||
reds.push(`${file}(没找到自报条数 —— 判据要打 RESULT pass=N 或走 node:test 的 # pass N)`);
|
||||
} else if (expected > 0 && ran < expected) {
|
||||
reds.push(`${file}(自报 ${ran} 条 < 登记的 ${expected} 条 —— 条数掉了:判据被删/被跳过/check 实现被改坏?)`);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
console.log(`\n========== 判据汇总 ==========`);
|
||||
|
||||
@ -422,4 +422,11 @@ check(
|
||||
);
|
||||
|
||||
console.log(`\n主题:${pass} 通过${fail ? `,${fail} 失败` : ''}`);
|
||||
/*
|
||||
* 机器可读的汇总(契约):`run-all.mjs` 只认这一行来判"这条判据到底跑了几条"。
|
||||
* 为什么需要它:光看"文件里存在 check("只能证明**有能红的路径**,不能证明**它跑过** ——
|
||||
* 把 `check` 的实现换成空函数(合并冲突改坏实现的现实事故)时,文本证据照样成立。
|
||||
* 计数在 check() **内部**自增,所以"实现被换空"会直接体现为 pass=0。
|
||||
*/
|
||||
console.log(`RESULT pass=${pass} fail=${fail}`);
|
||||
process.exit(fail ? 1 : 0);
|
||||
|
||||
Reference in New Issue
Block a user