#!/usr/bin/env python3 """ 变异体统计 —— **口径的唯一权威**（此前数字只活在信里，换过 40/48/58/41 四种说法）。 为什么需要它：同一个变异体可能出现在多个 `jobs*.json` 里、挂着不同的 `test` 键 （跨批重锚留下的），于是"按判据文件分组求和"会把它算多次 —— 而"job 集合是什么" 以前没有定义，谁算都能得一个数。 口径（写死在这里，别在信里另说一套）： · 不同变异体 = 按 (file, pat, repl) 三元组去重（`retired: true` 的条目不计）； · 跑起来 = 该三元组的锚点在该文件里**恰好命中 1 次**（与 mut.py 同一条件）； · 跳过 = 锚点命中 ≠ 1； · on_new_criteria = 该变异体的**每一个** test 键都指向本次新增的两个判据文件 （口径 A：回答"新判据抓住了多少"，不因交叉归类虚高）； · 另报口径 B（任一 test 键挂新增文件）作参考 —— 它**只增不减**，别拿来报数。 用法：python3 client/electron/test/mutants/summary.py """ import glob import hashlib import json import os import re import subprocess import sys from collections import defaultdict HERE = os.path.dirname(os.path.abspath(__file__)) JOBS_DIR = os.path.join(HERE, 'jobs') # mutants/ → test/ → electron/ → client/ → 仓库根 REPO = os.path.abspath(os.path.join(HERE, '..', '..', '..', '..')) # test 键 → 判据文件：**唯一来源**是同目录的 test-keys.json（与 mut.py 共用一份） _KEYS = json.load(open(os.path.join(HERE, 'test-keys.json'), encoding='utf-8')) TESTFILE = {k: v for k, v in _KEYS.items() if k != '_'} NEW_CRITERIA = { 'test/harmony-admin.test.mjs', 'test/harmony-imageprep.test.mjs', } def main(): entries = [] # ★★ job 集合是**清单**，不是 glob（pi 2026-09-18）。 # # 原来这里是 `glob(JOBS_DIR + '/jobs*.json')` —— 于是**未跟踪的 job 文件会静默进入统计**： # 同一段代码、同一台机，提交态算 48、工作树算 52，**而两者都没说读的是哪个集合**。 # pi 的话："『提交里有多少个变异体』和『磁盘上现在有多少个』可以不一致， # 且没有任何东西会告诉你。" 这与"写了判据忘了接线"是**同一族** —— # 区别是 `run-all.mjs` 有自检 2 挡着（清单外的 `*.test.mjs` 直接红），而这边没有对等物。 # 本仓已经用"清单 + 清单外即红"解决过同一个问题**两次**（SUITE / 判据接线），这是第三次。 manifest = os.path.join(HERE, 'jobs.manifest.json') # `_` 开头的条目是**说明**（JSON 没有注释；与 test-keys.json 同一约定）—— # 必须在读的时候就滤掉，否则它们会被当成文件名，`ghosts` 会假报一堆。 listed = [x for x in json.load(open(manifest, encoding='utf-8')) if not x.startswith('_')] on_disk = sorted(os.path.basename(p) for p in glob.glob(os.path.join(JOBS_DIR, 'jobs*.json'))) unlisted = [f for f in on_disk if f not in listed] ghosts = [f for f in listed if f not in on_disk] for f in listed: # 只读**清单里**的，顺序也按清单 p = os.path.join(JOBS_DIR, f) if not os.path.exists(p): continue for j in json.load(open(p, encoding='utf-8')): j['_from'] = f entries.append(j) active = [e for e in entries if not e.get('retired')] retired = len(entries) - len(active) def anchor_hits(e): path = e['file'] if os.path.isabs(e['file']) else os.path.join(REPO, e['file']) try: src = open(path, encoding='utf-8').read() except OSError: return -1 return len(list(re.finditer(e['pat'], src))) by = defaultdict(list) for e in active: by[(e['file'], e['pat'], e['repl'])].append(e) ran = skipped = only_new = any_new = 0 skipped_detail = [] for key, group in by.items(): h = anchor_hits(group[0]) if h != 1: skipped += 1 skipped_detail.append((key, group, h)) continue ran += 1 files = {TESTFILE.get(e['test'], e['test']) for e in group} if files <= NEW_CRITERIA: only_new += 1 if files & NEW_CRITERIA: any_new += 1 # 基线自证：变异跑完必须**逐字节还原**。这一条以前只在信里说（"sha256sum -c 7/7 OK"）—— # 与"数字只在信里"同一个毛病。挪进 RESULT 行：万一某次变异把文件写坏了， # 套件这一行会直接显形，而不是等下一个人去信里找。 baseline_ok = None bl = os.path.join(HERE, 'baseline.sha') if os.path.exists(bl): try: r = subprocess.run(['sha256sum', '-c', bl], cwd=REPO, capture_output=True, text=True, timeout=60) # 底本里允许 `#` 注释（记"为什么重算基线"用）—— 计数与校验都要跳过它们， # 否则注释会被当成"一项没还原"（我第一次加注释就踩了这个） total = sum(1 for ln in open(bl, encoding='utf-8') if ln.strip() and not ln.lstrip().startswith('#')) ok = sum(1 for ln in (r.stdout or '').splitlines() if ln.endswith(': OK')) baseline_ok = (ok == total, ok, total) except Exception: baseline_ok = (False, -1, -1) bl_note = '' if baseline_ok is None: bl_note = ' baseline=（没有 baseline.sha）' else: good, ok, total = baseline_ok # ★ 措辞必须区分**两种完全不同的成因**（2026-09-18 实测）： # 底本不匹配既可能是"某次变异没还原"（危险，要立刻查）， # 也可能是"底本过期"（文件被**正常提交**改过，只是没重算底本）。 # 原来一律打"✗**有文件没还原**"，把后者也报成前者 —— # 而实测这三处**全部与 HEAD 逐字节相同**（`git diff HEAD` 空）⇒ 是过期，不是残留。 # ★ 方向要紧：这是**假警报指向最危险的结论**，会让人去翻变异、 # 而真因只是底本没跟上。所以现在两种都报，并给出**各自的判别方法**。 detail = [ln.split(':', 1)[0].strip() for ln in (r.stdout or '').splitlines() if ln.endswith(': FAILED') or 'FAILED open or read' in ln] dirty = [f for f in detail if subprocess.run(['git', 'diff', '--quiet', 'HEAD', '--', f], cwd=REPO, capture_output=True).returncode != 0] if good: bl_note = f' baseline={ok}/{total}✓' elif detail and not dirty: bl_note = (f' baseline={ok}/{total}⚠**底本过期**（{len(detail)} 个文件与 HEAD 逐字节相同 ⇒' f' 是正常提交改过、不是变异残留；重算 baseline.sha 并记一行"为什么"）') else: bl_note = (f' baseline={ok}/{total}✗**{len(dirty) or len(detail)} 个文件既不在底本、' f'也与 HEAD 不同 ⇒ 优先按"变异残留"查**') print(f'RESULT mutants={len(by)} ran={ran} skipped={skipped} ' f'on_new_criteria={only_new}' f'（口径A=只挂新判据 {only_new} / 口径B=任一挂新判据 {any_new} / ' f'原始条目 {len(entries)}，其中 retired {retired}）' + bl_note) # ★ 集合自证：数字必须能回答"读的是哪个集合"（pi 2026-09-18 的第二个建议）。 # 指纹让"48 还是 52"变成可判的：集合没变而数变了 ⇒ 真算错； # 集合变了 ⇒ 只是换了快照，**一眼看得出**，不用再互相复算一遍。 fp = hashlib.sha256('\n'.join(f'{f}:{os.path.getsize(os.path.join(JOBS_DIR, f))}' for f in listed if os.path.exists(os.path.join(JOBS_DIR, f))) .encode()).hexdigest()[:8] print(f' 集合：清单 {len(listed)} 个 job 文件（未跟踪的**不会**静默进入统计）' f' sha={fp} 集合指纹') # ★ 清单与磁盘不一致 ⇒ 明说（与 `run-all.mjs` 自检 2 同形状：清单外即红）。 if unlisted or ghosts: print(' ★ 清单与磁盘不一致 —— 上面的数字**不代表"磁盘上现在有多少个变异体"**：') for f in unlisted: print(f' 未列入清单：{f}（新加的 job 文件必须显式加进 jobs.manifest.json）') for f in ghosts: print(f' 清单里有、磁盘上没有：{f}') print(' 修法：把该加的文件加进 jobs.manifest.json，或把该删的条目删掉。') print(' （为什么不能靠 glob：未跟踪的文件会**静默**进入统计，' '同一段代码两个数、而没人知道读的是哪个集合。）') if skipped_detail: print('跳过（锚点命中≠1 ⇒ 跑不起来）：') for key, group, h in skipped_detail: srcs = ', '.join(sorted({e['_from'] for e in group})) print(f' hits={h} {key[0]} 「{group[0].get("why", "")}」 （{len(group)} 条条目：{srcs}）') print(' ⚠️ hits=0 通常是**过期条目**（锚点是旧写法）—— 请标 retired 或删除，') print(' 否则它会把 skipped 一直抬高（方向与"让欠账显形"相反）。') return 0 if __name__ == '__main__': sys.exit(main())