Files
HomeAgent/scripts/capability-bench/tasks.zerobasis.json
JianFeeeee f256098c9f refactor: 全面改名为 HologramAgent + 提示词技术内容下沉到 skill/工具描述 + 修 21 处乱码
## ① 全面改名 HomeAgent → HologramAgent

仓库已改名,但代码与文档里仍有大量旧名。本次按"用户能看到的优先"全量替换:

- 用户可见:登录页标题/页脚、默认人格第一句、CLI 状态输出、启动日志、
  plugin_install 的工具描述、AI 图片插件的 User-Agent
- 文档与脚本:README、assets/docs、docs/zh、deploy/*.sh、.github/workflows
- 鸿蒙工程:cmd/ohos/HomeAgent → cmd/ohos/HologramAgent(git mv)
  目录内的 module/app 描述同步;**证书路径原样保留**
  (default_HomeAgent_xxx.cer/p7b/p12 是签名材料的实际文件名,改了会找不到证书)
- 插件元数据:plugin.json 的 author

★ 必须保持原样的两处(改了会坏):
  · legacySeededPromptSignature = "你是 HomeAgent 的看板娘「小宅」…"
    —— 那是识别历史播种人格卡的**原文锚点**,改了就识别不出旧数据
  · 公开 SDK 的 ProxyAuthHomeAgent = "homeagent"
    —— 那是 SDK 契约里的值,属独立仓库,本仓不改

## ② 修 21 处乱码(U+FFFD)

这些是历史编辑留下的编码破坏,全在注释里,例如:
  「赌注重下���遍」→「赌注重下一遍」
  「「不��滤」」  →「「不过滤」」
  「**待��退场**」→「**待退场**」

★ 保留 providers/chineseclip/tokenizer.go 里的 2 处:那是**故意**用
  U+FFFD 演示"非法 UTF-8 字节被归一成 U+FFFD",不是乱码。

## ③ 提示词技术内容下沉(用户:技术性内容应该收敛到 skill 与 -help 中)

实测系统提示词 2309 字,其中两段几乎全是**模型无法据以行动的实现细节**:

  【工具执行顺序】1272 字(ParallelSafe 声明、批内降级、batchRunnable 判据…)
  【三层记忆】   1069 字(L1/L2/L3 编号、消费式删除、向量空间、指纹…)

收敛后 **2309 → 1723 字(-25%)**,保留的全是"模型据此做什么不同的事":

  工具顺序:默认并行 / 不要依赖先后 / 同通道保序 / 写类工具可能串行
  三层记忆:时序里能看最近 / doc_query 把历史事件按原始时间戳插回时序 /
           关系用 memory_recall / 成文知识用 knowledge_search

判断口径写进判据:新加一段提示词前先问"模型会据此做什么不同的事",
答不上来就该进 skill 或工具描述。

## 判据

prompt_memory_test.go 新增 2 条:
- TestSystemPromptHasNoImplementationJargon
  黑名单:ParallelSafe / batchRunnable / 消费式 / DenseCosine / fingerprint /
  向量空间 / 批内降级 / 自激
- TestSystemPromptStaysCompact:上限 2000 字(当前 1723)

变异:把 "ParallelSafe 声明、批内降级" 加回工具顺序段 ⇒ 第一条立刻红。

## 验证

- go build ./... / go vet ./... 干净
- go test ./... -count=1:58 包 0 失败
- make check-client-versions:客户端与内核版本一致
2026-10-22 20:49:44 +08:00

68 lines
3.6 KiB
JSON
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

{
"_comment": [
"零基础认知任务集 —— 两侧读**同一份材料**,不碰任何一方的内部状态。",
"",
"为何要重做(上一版的问题):",
" 原来的 knowledge-stats 让 pi 去读 HologramAgent 自己的 graph.db / kbtree 服务,",
" 等于把「能不能翻别人的数据库」当成认知能力 —— pi 花了 97s / 317k token",
" (占它总 token 的 56%),而 HologramAgent 7s / 45k。那不是能力差异,",
" 是「谁有权限看自己的库」。对比毫无意义。",
"",
"本集的材料:/var/tmp/zerobasis/{incident-2026-08.md, config-notes.md}",
" 两侧读同一份文件,任务与判据完全相同。",
"",
"设计要点(每条都对应一种认知动作):",
" 1. 检索 —— 事实埋在时间线里,要跨段找",
" 2. 算术 —— 退避总时长要自己算(200+400),材料里没直接给",
" 3. 推断 —— 为什么 QPS 210 耗尽而 40 不会(要理解 N+1 与连接池的关系)",
" 4. 抗干扰 —— cache 的 ttl=0 是「永不过期」,不是「永不过期」的反面",
" 5. 综合 —— 用指定数字复述事故(考察有没有真的读进去)",
"",
"⚠️ 提示词各不相同:HologramAgent 会把完全相同的输入判为 duplicate 直接跳过。"
],
"tasks": [
{
"id": "zb-extract-limit",
"dimension": "retrieval",
"prompt": "请阅读 /var/tmp/zerobasis/incident-2026-08.md,只回答一个问题:连接池的上限是多少?只回答数字。",
"check": { "kind": "output_contains", "value": "512" },
"timeout_s": 240
},
{
"id": "zb-arithmetic-backoff",
"dimension": "arithmetic",
"prompt": "请阅读 /var/tmp/zerobasis/config-notes.md,计算:在默认配置下,retry 的三次尝试总共要等待多少毫秒?请给出计算过程和最终数字。",
"check": { "kind": "output_regex", "value": "600" },
"timeout_s": 240
},
{
"id": "zb-reasoning-why",
"dimension": "reasoning",
"prompt": "请阅读 /var/tmp/zerobasis/incident-2026-08.md,解释:为什么同样的接口在 QPS 40 时只占用连接池约 8%,而 QPS 210 时却把连接池耗尽?如果你同时读到 /var/tmp/zerobasis/config-notes.md,也可以引用其中的数字。",
"check": { "kind": "output_regex", "value": "(N\\+1|n\\+1|循环.{0,10}查询|连接池|batch|批处理)" },
"timeout_s": 300
},
{
"id": "zb-distractor-ttl",
"dimension": "distractor",
"prompt": "在 /var/tmp/zerobasis/config-notes.md 中,cache.ttl_seconds 设为 0 表示什么?请精确回答,不要臆测。",
"check": { "kind": "output_regex", "value": "(永不过期|不过期|从不失效|永久)" },
"timeout_s": 240
},
{
"id": "zb-synthesis-numbers",
"dimension": "synthesis",
"prompt": "请阅读 /var/tmp/zerobasis/incident-2026-08.md,用三句话复述这次事故。要求必须包含三个数字:故障峰值 p99 延迟、回滚到的版本号、补偿处理的订单数。",
"check": { "kind": "output_regex", "value": "(4200|4,200)" },
"timeout_s": 300
},
{
"id": "zb-multihop",
"dimension": "multihop",
"prompt": "阅读 /var/tmp/zerobasis 目录下的两份文件,回答:如果按 config-notes.md 的默认 pool.size,同时运行 incident 里提到的那个对账批处理任务,会发生什么?请结合两份文件里的具体数字说明。",
"check": { "kind": "completed" },
"timeout_s": 360
}
]
}