From a8ac2fc28b0b358c7dbd3b0dcf525d35c9c34738 Mon Sep 17 00:00:00 2001 From: JianFeeeee Date: Mon, 14 Sep 2026 15:06:14 +0800 Subject: [PATCH] =?UTF-8?q?test(criteria):=20=E9=97=AD=E7=8E=AF=E2=80=94?= =?UTF-8?q?=E2=80=94=E5=88=A4=E6=8D=AE=E8=87=AA=E6=8A=A5=E6=9D=A1=E6=95=B0?= =?UTF-8?q?=20+=20=E6=AF=8F=E6=96=87=E4=BB=B6=E6=9C=9F=E6=9C=9B=E6=9D=A1?= =?UTF-8?q?=E6=95=B0=EF=BC=88=E5=8F=AA=E5=A2=9E=E4=B8=8D=E5=87=8F=E7=9A=84?= =?UTF-8?q?=E6=A3=98=E8=BD=AE=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit pi 指出的残余缺口：我上一轮加的自检 4 是**文本证据**（文件里有 `test(` / `check(` / `process.exit(1)`），只能证明"**有能红的路径**"，不能证明"**它跑过**"。反例很短： ```js const check = () => {}; // 实现被换空（现实形态：合并冲突改坏实现） check('a', false); // 存在、也执行了，但什么都不会红 console.log('主题：通过'); // 有输出 ``` ## 落地（pi 给的闭环形状） 1. 自定义 `check()` 的判据结尾打一行机器可读汇总 `RESULT pass=<条数> fail=<失败数>` （`node:test` 的判据不用改，已有 `# pass N`）； 2. `run-all.mjs` **只解析这个固定 marker**（不猜口语汇总——「窄屏布局：全部通过」里没有数字， 按数字猜会误报，这一点我上轮已经实测过）； 3. 与清单里登记的**期望条数**比对，**低于 → 红**。 关键细节：**计数写在 `check()` 内部**（theme/background 原本就在内部 ++； narrow-layout 只有 failed 计数，补了 passed；markdown-xss 按 payload 条数算）。 写在调用点或靠扫源码的话，"实现被换空"就看不见了。 棘轮"只增不减"：加判据**不用**改那个数，只有"条数掉了"才红。期望值按**实测**回填 （9/52/8/30/42/15/28/5/23/5/3/2）。 附带的可见性收益：这几轮我一直用"13→14""19→28""34→42"当信号，现在它成了判据 —— 某次改动顺手删掉两条判据、或某条被跳过，会立刻红。 ## 变异 - pi 那个反例（`check` 换成空函数）→ 红（`自报 0 条 < 登记的 30 条`）； - 删掉 5 条 `check(` 调用 → 红（`自报 47 条 < 登记的 52 条`）。 ## 规范 §6.5 新增"涉及运行时行为的结论必须实测过才能写进规范/判据"——同一个错这轮犯了两次 （我从"报告 0 个测试、退出 0"推断"退出码被吞"，实测是照传；pi 拿我这个结论又建了一个洞）。 规则：**一次观察只支撑你看到的那一层**。 §6.6 记闭环形状与代价（故意删判据要同步改数字，属于一次可复核的显式编辑）。 ⚠️ 并且如实记下一次**我自己违反规范**的事：写 §3 那条"变异后别用 `git checkout` 还原"的人 （就是我）在这次变异验证里又用了 `git checkout -- <文件>`，把刚加、尚未提交的 marker 抹掉了。 规矩写下来不等于会遵守 —— 已把这条实例写进规范，让人知道它是活人踩的坑。 ## 验证 `npm test` 退出码 0（12 个判据文件全绿 + vitest 258/258）；`run-all` 单独跑也 exit 0。 --- client/electron/test/CRITERIA.md | 42 ++++++++++++++++++++ client/electron/test/background.test.mjs | 7 ++++ client/electron/test/markdown-xss.test.mjs | 2 + client/electron/test/narrow-layout.test.mjs | 5 +++ client/electron/test/run-all.mjs | 43 ++++++++++++++------- client/electron/test/theme.test.mjs | 7 ++++ 6 files changed, 92 insertions(+), 14 deletions(-) diff --git a/client/electron/test/CRITERIA.md b/client/electron/test/CRITERIA.md index 055916c..f341a97 100644 --- a/client/electron/test/CRITERIA.md +++ b/client/electron/test/CRITERIA.md @@ -121,6 +121,48 @@ const ALLOW = [ /* { name, replacement, why } */ ]; `process.exit(1)` 吞掉**，于是"变异后依然 exit 0"看起来像判据失效（本仓刚踩过这一次： 自检 3 其实是好的，是我用错了入口去验它）。**验判据要模拟用户/CI 真正跑的那一行。** +## 6.5 涉及**运行时行为**的结论，必须实测过才能写进规范/判据（pi 2026-09-14） + +同一个错在本仓犯了两次，方向相反但错法相同：**从观察推断机制、没跑**。 + +- 我从"`node --test test/run-all.mjs` 报 0 个测试、退出 0"这个**观察**，推断出 + "runner 吞掉了 `process.exit(1)`" —— 实测下来退出码照传（见 §6 末），我错了； +- pi 拿我那个结论直接往下建了一个洞（"配错 flag = 绿"）—— 他也错了。 + +规则：**一次观察只支撑你看到的那一层**。"报告里 0 个测试"是真的，"退出码被吞"是推断的。 +凡涉及运行时行为的结论（退出码、计数、回调时机、事件触发）， +**先贴真实样本再写规则** —— 这也是 §1 的推论。 + +## 6.6 闭环：自报条数 + 每文件期望条数（只增不减） + +文本证据只能到"**存在**"为止：`test(` / `check(` / `process.exit(1)` 的存在性 +证明"有能红的路径"，**不证明它跑过**。反例（现实事故形态：合并冲突把 `check` 的实现改空）： + +```js +const check = () => {}; // 实现被换空 +check('a', false); // 存在、也执行了，但什么都不会红 +console.log('主题：通过'); // 有输出 +``` + +所以 `run-all.mjs` 现在做三件事： + +1. 自定义 `check()` 的判据**自报条数**：结尾打一行 + `RESULT pass=<条数> fail=<失败数>`（`node:test` 的判据不用改，已有 `# pass N`）； +2. runner **只解析这个固定 marker**（不猜口语汇总 —— 「窄屏布局：全部通过」里没有数字， + 靠猜数字会误报）； +3. 与清单里登记的**期望条数**比对，**低于 → 红**。 + +棘轮是"只增不减"：**加判据不用改那个数**；只有"条数掉了"才红 —— +那正是要看见的事（顺手删两条判据、某条被跳过、`check` 实现被改坏）。 +代价：**故意删判据时要同步改数字**（这是一次显式的、能被复核的编辑，可以接受）。 + +计数必须写在 **`check()` 内部**：写在调用点或靠扫源码，"实现被换空"就看不见了 +—— 上面那个反例的 `pass` 会是 0，正是靠这一条才有分辨力。 + +> ⚠️ 本节的作者在写完之后**又踩了一次 §3 那条**：变异验证时用 `git checkout -- <文件>` +> 还原，把尚未提交的改动（刚加的 marker）一起抹掉了。**规矩写下来不等于会遵守**； +> 变异前先 `cp` 备份，从备份还原。 + ## 7. 判据要钉用户真正会点的那一层 （移交信里交代的头号纪律）判据通过了但用户点不到，等于没做。 diff --git a/client/electron/test/background.test.mjs b/client/electron/test/background.test.mjs index 5d83889..ac3312d 100644 --- a/client/electron/test/background.test.mjs +++ b/client/electron/test/background.test.mjs @@ -406,4 +406,11 @@ check('★ 判据自检：写成深色层必须判红', /rgb\(15 23 42 \/ \.7/.t * 汇总与退出必须留在**文件最后**（下面这两行就是）。 */ console.log(`\n背景：${pass} 通过${fail ? `，${fail} 失败` : ''}`); +/* + * 机器可读的汇总（契约）：`run-all.mjs` 只认这一行来判"这条判据到底跑了几条"。 + * 为什么需要它：光看"文件里存在 check("只能证明**有能红的路径**，不能证明**它跑过** —— + * 把 `check` 的实现换成空函数（合并冲突改坏实现的现实事故）时，文本证据照样成立。 + * 计数在 check() **内部**自增，所以"实现被换空"会直接体现为 pass=0。 + */ +console.log(`RESULT pass=${pass} fail=${fail}`); process.exit(fail ? 1 : 0); diff --git a/client/electron/test/markdown-xss.test.mjs b/client/electron/test/markdown-xss.test.mjs index 8872b84..d6bcff1 100644 --- a/client/electron/test/markdown-xss.test.mjs +++ b/client/electron/test/markdown-xss.test.mjs @@ -41,3 +41,5 @@ if (leaks > 0) { process.exit(1); } console.log('\n通过：raw HTML 被转义，javascript: URL 被清空'); +// 机器可读汇总：每条 payload 算一条（leaks 就是 fail） +console.log(`RESULT pass=${payloads.length - leaks} fail=${leaks}`); diff --git a/client/electron/test/narrow-layout.test.mjs b/client/electron/test/narrow-layout.test.mjs index 857ae10..c9c6411 100644 --- a/client/electron/test/narrow-layout.test.mjs +++ b/client/electron/test/narrow-layout.test.mjs @@ -6,7 +6,11 @@ import { readFileSync } from 'node:fs'; const read = p => readFileSync(new URL(p, import.meta.url), 'utf8'); let failed = 0; +let passed = 0; // 机器可读汇总用（在 check 内部自增：实现被换空 → 0） const check = (name, cond, detail = '') => { + if (cond) { + passed++; + } if (cond) { console.log(` 通过 ${name}`); } else { @@ -235,4 +239,5 @@ check( ); console.log(failed === 0 ? '\n窄屏布局：全部通过' : `\n窄屏布局：${failed} 项失败`); +console.log(`RESULT pass=${passed} fail=${failed}`); process.exit(failed === 0 ? 0 : 1); diff --git a/client/electron/test/run-all.mjs b/client/electron/test/run-all.mjs index 3e274b7..c12689c 100644 --- a/client/electron/test/run-all.mjs +++ b/client/electron/test/run-all.mjs @@ -49,7 +49,7 @@ if (!existsSync(CRITERIA_DOC)) { process.exit(1); } const criteriaDoc = readFileSync(CRITERIA_DOC, 'utf8'); -for (const must of ['配对/解析', 'allow-list', '变异验证', '剥掉注释', '按行']) { +for (const must of ['配对/解析', 'allow-list', '变异验证', '剥掉注释', '按行', '自报条数', '只支撑你看到的那一层']) { if (!criteriaDoc.includes(must)) { console.error(`✗ 判据规范里少了「${must}」这条 —— 规则被删掉了还是搬走了？`); process.exit(1); @@ -57,19 +57,19 @@ for (const must of ['配对/解析', 'allow-list', '变异验证', '剥掉注释 } const SUITE = [ - ['test/markdown-xss.test.mjs', []], - ['test/narrow-layout.test.mjs', []], - ['test/nav-merge.test.mjs', []], - ['test/theme.test.mjs', []], - ['test/background.test.mjs', []], - ['test/cross-client-theme.test.mjs', []], - ['test/harmony-logic.test.mjs', ['--experimental-strip-types', '--no-warnings']], - ['test/harmony-system-api.test.mjs', []], + ['test/markdown-xss.test.mjs', [], 9], + ['test/narrow-layout.test.mjs', [], 52], + ['test/nav-merge.test.mjs', [], 8], + ['test/theme.test.mjs', [], 30], + ['test/background.test.mjs', [], 42], + ['test/cross-client-theme.test.mjs', [], 15], + ['test/harmony-logic.test.mjs', ['--experimental-strip-types', '--no-warnings'], 28], + ['test/harmony-system-api.test.mjs', [], 5], // P4 外观同步：跑 model/Appearance.ts（纯逻辑），所以也要 strip-types - ['test/harmony-appearance.test.mjs', ['--experimental-strip-types', '--no-warnings']], - ['test/build-stamp.test.mjs', []], - ['test/packaging.test.mjs', []], - ['test/commit-hygiene.test.mjs', ['--experimental-strip-types', '--no-warnings']] + ['test/harmony-appearance.test.mjs', ['--experimental-strip-types', '--no-warnings'], 23], + ['test/build-stamp.test.mjs', [], 5], + ['test/packaging.test.mjs', [], 3], + ['test/commit-hygiene.test.mjs', ['--experimental-strip-types', '--no-warnings'], 2] ]; // 自检 1：清单里的文件必须真的存在（写错名字 = 那条判据永远不跑） @@ -154,7 +154,7 @@ if (shapeless.length) { } const reds = []; -for (const [file, flags] of SUITE) { +for (const [file, flags, expected] of SUITE) { console.log(`\n========== ${file} ==========`); const shape = shapeOf(file); const all = shape.usesNodeTest ? [...flags, '--test'] : flags; @@ -166,6 +166,21 @@ for (const [file, flags] of SUITE) { // 不 break：后面每条都要跑出来，否则"红了几条"这个信息本身是假的 if (r.status !== 0) reds.push(`${file}（退出码 ${r.status}）`); else if (out.trim().length === 0) reds.push(`${file}（跑完没有任何输出 —— 判据没跑起来的典型症状）`); + else { + /* + * 自报条数（闭环）：自定义 check() 打 `RESULT pass=N fail=M`，node:test 打 `# pass N`。 + * 只解析**固定 marker**，不去猜口语汇总（「窄屏布局：全部通过」里没有数字， + * 靠猜数字的写法会误报 —— pi 提过，我也先贴过真实样本）。 + */ + const marker = /RESULT pass=(\d+) fail=(\d+)/.exec(out); + const nodeTest = /^# pass (\d+)/m.exec(out); + const ran = marker ? Number(marker[1]) : (nodeTest ? Number(nodeTest[1]) : null); + if (ran === null) { + reds.push(`${file}（没找到自报条数 —— 判据要打 RESULT pass=N 或走 node:test 的 # pass N）`); + } else if (expected > 0 && ran < expected) { + reds.push(`${file}（自报 ${ran} 条 < 登记的 ${expected} 条 —— 条数掉了：判据被删/被跳过/check 实现被改坏？）`); + } + } } console.log(`\n========== 判据汇总 ==========`); diff --git a/client/electron/test/theme.test.mjs b/client/electron/test/theme.test.mjs index 9290e4e..be1fe73 100644 --- a/client/electron/test/theme.test.mjs +++ b/client/electron/test/theme.test.mjs @@ -422,4 +422,11 @@ check( ); console.log(`\n主题：${pass} 通过${fail ? `，${fail} 失败` : ''}`); +/* + * 机器可读的汇总（契约）：`run-all.mjs` 只认这一行来判"这条判据到底跑了几条"。 + * 为什么需要它：光看"文件里存在 check("只能证明**有能红的路径**，不能证明**它跑过** —— + * 把 `check` 的实现换成空函数（合并冲突改坏实现的现实事故）时，文本证据照样成立。 + * 计数在 check() **内部**自增，所以"实现被换空"会直接体现为 pass=0。 + */ +console.log(`RESULT pass=${pass} fail=${fail}`); process.exit(fail ? 1 : 0);