diff --git a/client/electron/test/CRITERIA.md b/client/electron/test/CRITERIA.md index 055916c..f341a97 100644 --- a/client/electron/test/CRITERIA.md +++ b/client/electron/test/CRITERIA.md @@ -121,6 +121,48 @@ const ALLOW = [ /* { name, replacement, why } */ ]; `process.exit(1)` 吞掉**,于是"变异后依然 exit 0"看起来像判据失效(本仓刚踩过这一次: 自检 3 其实是好的,是我用错了入口去验它)。**验判据要模拟用户/CI 真正跑的那一行。** +## 6.5 涉及**运行时行为**的结论,必须实测过才能写进规范/判据(pi 2026-09-14) + +同一个错在本仓犯了两次,方向相反但错法相同:**从观察推断机制、没跑**。 + +- 我从"`node --test test/run-all.mjs` 报 0 个测试、退出 0"这个**观察**,推断出 + "runner 吞掉了 `process.exit(1)`" —— 实测下来退出码照传(见 §6 末),我错了; +- pi 拿我那个结论直接往下建了一个洞("配错 flag = 绿")—— 他也错了。 + +规则:**一次观察只支撑你看到的那一层**。"报告里 0 个测试"是真的,"退出码被吞"是推断的。 +凡涉及运行时行为的结论(退出码、计数、回调时机、事件触发), +**先贴真实样本再写规则** —— 这也是 §1 的推论。 + +## 6.6 闭环:自报条数 + 每文件期望条数(只增不减) + +文本证据只能到"**存在**"为止:`test(` / `check(` / `process.exit(1)` 的存在性 +证明"有能红的路径",**不证明它跑过**。反例(现实事故形态:合并冲突把 `check` 的实现改空): + +```js +const check = () => {}; // 实现被换空 +check('a', false); // 存在、也执行了,但什么都不会红 +console.log('主题:通过'); // 有输出 +``` + +所以 `run-all.mjs` 现在做三件事: + +1. 自定义 `check()` 的判据**自报条数**:结尾打一行 + `RESULT pass=<条数> fail=<失败数>`(`node:test` 的判据不用改,已有 `# pass N`); +2. runner **只解析这个固定 marker**(不猜口语汇总 —— 「窄屏布局:全部通过」里没有数字, + 靠猜数字会误报); +3. 与清单里登记的**期望条数**比对,**低于 → 红**。 + +棘轮是"只增不减":**加判据不用改那个数**;只有"条数掉了"才红 —— +那正是要看见的事(顺手删两条判据、某条被跳过、`check` 实现被改坏)。 +代价:**故意删判据时要同步改数字**(这是一次显式的、能被复核的编辑,可以接受)。 + +计数必须写在 **`check()` 内部**:写在调用点或靠扫源码,"实现被换空"就看不见了 +—— 上面那个反例的 `pass` 会是 0,正是靠这一条才有分辨力。 + +> ⚠️ 本节的作者在写完之后**又踩了一次 §3 那条**:变异验证时用 `git checkout -- <文件>` +> 还原,把尚未提交的改动(刚加的 marker)一起抹掉了。**规矩写下来不等于会遵守**; +> 变异前先 `cp` 备份,从备份还原。 + ## 7. 判据要钉用户真正会点的那一层 (移交信里交代的头号纪律)判据通过了但用户点不到,等于没做。 diff --git a/client/electron/test/background.test.mjs b/client/electron/test/background.test.mjs index 5d83889..ac3312d 100644 --- a/client/electron/test/background.test.mjs +++ b/client/electron/test/background.test.mjs @@ -406,4 +406,11 @@ check('★ 判据自检:写成深色层必须判红', /rgb\(15 23 42 \/ \.7/.t * 汇总与退出必须留在**文件最后**(下面这两行就是)。 */ console.log(`\n背景:${pass} 通过${fail ? `,${fail} 失败` : ''}`); +/* + * 机器可读的汇总(契约):`run-all.mjs` 只认这一行来判"这条判据到底跑了几条"。 + * 为什么需要它:光看"文件里存在 check("只能证明**有能红的路径**,不能证明**它跑过** —— + * 把 `check` 的实现换成空函数(合并冲突改坏实现的现实事故)时,文本证据照样成立。 + * 计数在 check() **内部**自增,所以"实现被换空"会直接体现为 pass=0。 + */ +console.log(`RESULT pass=${pass} fail=${fail}`); process.exit(fail ? 1 : 0); diff --git a/client/electron/test/markdown-xss.test.mjs b/client/electron/test/markdown-xss.test.mjs index 8872b84..d6bcff1 100644 --- a/client/electron/test/markdown-xss.test.mjs +++ b/client/electron/test/markdown-xss.test.mjs @@ -41,3 +41,5 @@ if (leaks > 0) { process.exit(1); } console.log('\n通过:raw HTML 被转义,javascript: URL 被清空'); +// 机器可读汇总:每条 payload 算一条(leaks 就是 fail) +console.log(`RESULT pass=${payloads.length - leaks} fail=${leaks}`); diff --git a/client/electron/test/narrow-layout.test.mjs b/client/electron/test/narrow-layout.test.mjs index 857ae10..c9c6411 100644 --- a/client/electron/test/narrow-layout.test.mjs +++ b/client/electron/test/narrow-layout.test.mjs @@ -6,7 +6,11 @@ import { readFileSync } from 'node:fs'; const read = p => readFileSync(new URL(p, import.meta.url), 'utf8'); let failed = 0; +let passed = 0; // 机器可读汇总用(在 check 内部自增:实现被换空 → 0) const check = (name, cond, detail = '') => { + if (cond) { + passed++; + } if (cond) { console.log(` 通过 ${name}`); } else { @@ -235,4 +239,5 @@ check( ); console.log(failed === 0 ? '\n窄屏布局:全部通过' : `\n窄屏布局:${failed} 项失败`); +console.log(`RESULT pass=${passed} fail=${failed}`); process.exit(failed === 0 ? 0 : 1); diff --git a/client/electron/test/run-all.mjs b/client/electron/test/run-all.mjs index 3e274b7..c12689c 100644 --- a/client/electron/test/run-all.mjs +++ b/client/electron/test/run-all.mjs @@ -49,7 +49,7 @@ if (!existsSync(CRITERIA_DOC)) { process.exit(1); } const criteriaDoc = readFileSync(CRITERIA_DOC, 'utf8'); -for (const must of ['配对/解析', 'allow-list', '变异验证', '剥掉注释', '按行']) { +for (const must of ['配对/解析', 'allow-list', '变异验证', '剥掉注释', '按行', '自报条数', '只支撑你看到的那一层']) { if (!criteriaDoc.includes(must)) { console.error(`✗ 判据规范里少了「${must}」这条 —— 规则被删掉了还是搬走了?`); process.exit(1); @@ -57,19 +57,19 @@ for (const must of ['配对/解析', 'allow-list', '变异验证', '剥掉注释 } const SUITE = [ - ['test/markdown-xss.test.mjs', []], - ['test/narrow-layout.test.mjs', []], - ['test/nav-merge.test.mjs', []], - ['test/theme.test.mjs', []], - ['test/background.test.mjs', []], - ['test/cross-client-theme.test.mjs', []], - ['test/harmony-logic.test.mjs', ['--experimental-strip-types', '--no-warnings']], - ['test/harmony-system-api.test.mjs', []], + ['test/markdown-xss.test.mjs', [], 9], + ['test/narrow-layout.test.mjs', [], 52], + ['test/nav-merge.test.mjs', [], 8], + ['test/theme.test.mjs', [], 30], + ['test/background.test.mjs', [], 42], + ['test/cross-client-theme.test.mjs', [], 15], + ['test/harmony-logic.test.mjs', ['--experimental-strip-types', '--no-warnings'], 28], + ['test/harmony-system-api.test.mjs', [], 5], // P4 外观同步:跑 model/Appearance.ts(纯逻辑),所以也要 strip-types - ['test/harmony-appearance.test.mjs', ['--experimental-strip-types', '--no-warnings']], - ['test/build-stamp.test.mjs', []], - ['test/packaging.test.mjs', []], - ['test/commit-hygiene.test.mjs', ['--experimental-strip-types', '--no-warnings']] + ['test/harmony-appearance.test.mjs', ['--experimental-strip-types', '--no-warnings'], 23], + ['test/build-stamp.test.mjs', [], 5], + ['test/packaging.test.mjs', [], 3], + ['test/commit-hygiene.test.mjs', ['--experimental-strip-types', '--no-warnings'], 2] ]; // 自检 1:清单里的文件必须真的存在(写错名字 = 那条判据永远不跑) @@ -154,7 +154,7 @@ if (shapeless.length) { } const reds = []; -for (const [file, flags] of SUITE) { +for (const [file, flags, expected] of SUITE) { console.log(`\n========== ${file} ==========`); const shape = shapeOf(file); const all = shape.usesNodeTest ? [...flags, '--test'] : flags; @@ -166,6 +166,21 @@ for (const [file, flags] of SUITE) { // 不 break:后面每条都要跑出来,否则"红了几条"这个信息本身是假的 if (r.status !== 0) reds.push(`${file}(退出码 ${r.status})`); else if (out.trim().length === 0) reds.push(`${file}(跑完没有任何输出 —— 判据没跑起来的典型症状)`); + else { + /* + * 自报条数(闭环):自定义 check() 打 `RESULT pass=N fail=M`,node:test 打 `# pass N`。 + * 只解析**固定 marker**,不去猜口语汇总(「窄屏布局:全部通过」里没有数字, + * 靠猜数字的写法会误报 —— pi 提过,我也先贴过真实样本)。 + */ + const marker = /RESULT pass=(\d+) fail=(\d+)/.exec(out); + const nodeTest = /^# pass (\d+)/m.exec(out); + const ran = marker ? Number(marker[1]) : (nodeTest ? Number(nodeTest[1]) : null); + if (ran === null) { + reds.push(`${file}(没找到自报条数 —— 判据要打 RESULT pass=N 或走 node:test 的 # pass N)`); + } else if (expected > 0 && ran < expected) { + reds.push(`${file}(自报 ${ran} 条 < 登记的 ${expected} 条 —— 条数掉了:判据被删/被跳过/check 实现被改坏?)`); + } + } } console.log(`\n========== 判据汇总 ==========`); diff --git a/client/electron/test/theme.test.mjs b/client/electron/test/theme.test.mjs index 9290e4e..be1fe73 100644 --- a/client/electron/test/theme.test.mjs +++ b/client/electron/test/theme.test.mjs @@ -422,4 +422,11 @@ check( ); console.log(`\n主题:${pass} 通过${fail ? `,${fail} 失败` : ''}`); +/* + * 机器可读的汇总(契约):`run-all.mjs` 只认这一行来判"这条判据到底跑了几条"。 + * 为什么需要它:光看"文件里存在 check("只能证明**有能红的路径**,不能证明**它跑过** —— + * 把 `check` 的实现换成空函数(合并冲突改坏实现的现实事故)时,文本证据照样成立。 + * 计数在 check() **内部**自增,所以"实现被换空"会直接体现为 pass=0。 + */ +console.log(`RESULT pass=${pass} fail=${fail}`); process.exit(fail ? 1 : 0);