jianf/webui4frpc
1
0
Fork 0
mirror of https://gitcode.com/JianFeeeee/webui4frpc.git synced 2026-10-02 23:24:00 +00:00
Code Issues Packages Projects Releases Wiki Activity
55 Commits 1 Branch 2 Tags
c8ab2584a84caa0ca14d114e7bf96218a144989d
Commit Graph

18 Commits

Author SHA1 Message Date
JianFeeeee
c8ab2584a8 chore(cluster): 去掉 restart 的重复日志行 
实测 .30 在处理一个 restart 任务时打出两条完全相同的
`restarted t4: portal→aliyun-frps:4434`（同毫秒、同内容），一度像是执行了两次。
核实 worker 进程只有一个（restart 对已运行进程是幂等的），所以不是重复执行 ——
是引擎层（ring_engine.go）与应用层（RestartFn）各打了一条同样的日志。

保留应用层那条：它紧跟实际 worker 操作（谁真正把进程拉起来的），信息位置更准；
引擎层只保留 discard/no-owner 这类异常路径的日志，一次重启对应一行。

go build / go vet / go test ./... 全绿。
 2026-09-26 11:06:14 +08:00
JianFeeeee
8ab52b238a fix(cluster): restart 任务必须定向投递给 owner，不能被非 owner 吞掉 
上一提交（5cdc052）只加了执行侧 owner 判定，实测仍然失败：从 .60（非 owner）
启动 owner 在 .30 的 portal，.30 的 worker 一直没起来，且三台日志里既没有
`restarted` 也没有任何错误。

## 真因：任务被非 owner「消费」掉了

pending 命令由 runCommands 的 `for {}` 循环每轮重取 PendingList()，取出后
ClaimPending 即从 map 移除。我当时在「owner != e.ID」时把任务塞回
PendingTasks —— 于是它**立刻又变回待处理**，下一轮循环再次取到，无限
`defer restart`（单测直接跑成死循环，300s 超时）。

而上一版的 `continue` 同样是错的：ClaimPending 已经把任务移除，continue
等于消费，owner 永远收不到。

## 修法：放进「选择」循环，和 Revoke 完全同构

runCommands 里 Revoke 早就有正确的定向投递范式：
    owner == e.ID        → 我持有，执行
    owner == "" 且最低负载 → 转发已消失，兜底消费
    否则                  → continue（任务**留在 token 里**随环前进）
restart 照抄这套。非 owner 只是不选中它，任务随 token 传给下一个节点，直到
owner 那一跳被取走。owner 已消失也不会永远飘着（`owner == ""` 由最低负载
节点兜底消费），与 Revoke 的处理一致。

执行侧的 owner 判定保留为第二道防线（双保险，两层各有测试覆盖）。

## 测试（又抓到一次假绿 + 一次死循环）

- TestRestartTaskReachesNonLocalOwner：非 owner 处理一 token 后任务必须仍在
  token 里，随后 owner 处理时恰好应用 1 次。
  ★ 第一次写它时反复把**同一个 State 值**喂回 OnToken，导致死循环；改成按
  真实环的走法（每跳喂一个新 token）后正常。
- TestRestartOnlyAppliedByOwner：把 peer 设成**最低负载节点**（否则泛用认领
  分支根本不会触发，测了等于没测），断言它也不得应用。
  ★ 第一版 peer 不是最低负载节点 ⇒ 删掉 selection 分支后测试仍然绿，是假绿；
  改为最低负载后，删分支 → TestRestartTaskReachesNonLocalOwner 变红。
- 其余：TestRestartTaskBypassesDuplicateClaimGuard、TestRestartFlagSurvives
  TokenSerialization 保持绿。

★ 第三次「双向验证」的价值：一个测试抓不到，**另一个**抓到了。单靠一个测试
的绿就下结论是不安全的。

go build / go vet / go test ./... 全绿，gofmt 干净。
 2026-09-26 11:03:00 +08:00
JianFeeeee
5cdc052d01 fix(cluster): restart 任务必须只由 owner 执行 
上线实测抓到的：从 .60（非 owner）启动 owner 在 .30 的 portal，日志出现
**两条** `.60 restarted t4` —— 关键帧是 `[192.168.2.60:7500] restarted t4`。
pending 任务对所有成员可见，而 restart 分支没有 owner 判定，于是谁先轮到
谁就执行：非 owner 给自己的机器起了一个属于别人的转发 worker，而真正的
owner（.30）什么也没做，worker 一直没起来。

这正是上面 duplicate-claim 防御本来要防的「孤儿 worker + 重复认领」，只是
restart 分支为了绕开那层防御，把 owner 校验也一并跳过了 —— 绕开的是
「重复建条目」的必要性，不是「只有 owner 能动手」的必要性。

修法与 RemoveNode 分支一致：`owner != e.ID` 时只清标志、不执行 handler。
owner 已消失的情况不是错误：条目已被重新标为启用，OfflineReassign() 会在
下一次离线清理时把它转入 pending，再由正常认领流程重新安置。

测试 TestRestartOnlyAppliedByOwner：同一份 restart 任务分别交给 owner 与非
owner，断言非 owner 调用 0 次、owner 恰好 1 次。双向验证 —— 去掉守卫后
如期变红（"a NON-owner applied the restart 1 time(s)"），还原后变绿。

go build / go vet / go test ./... 全绿，gofmt 干净。
 2026-09-26 10:48:28 +08:00
JianFeeeee
1c835425de feat(cluster): 停用改为「标记」语义，让 disabled 真正随令牌环跨节点传播 
承接用户提问「设计上停用不是本来就会跨节点传输吗」——核实结论：结构上确实
如此（TopoEntry.Link 是完整 store.Link，整个 State 随 token 每轮广播），但
实际路径断了。断点正是「撤销会删掉 topology 条目」：条目是 flag 的载体，
删了就无处传播，于是停用只能靠一次性 revoke 任务投递给 owner，**owner 当时
不在线就收不到**（实测 .60 记 disabled=1 / .106 记 0，就是这么来的）。

## 改为标记而非移除

撤销不再 RemoveTopology，而是 UpdateTopologyDisabled(true)，条目保留、
Link.Disabled=true、Active=false。Active 正是为此存在：OfflineReassign()
只处理 Active 条目，所以停用的转发在 owner 掉线时不会被重新排队。

- 新增 UpdateTopologyDisabled / TopologyDisabled（照 UpdateTopologyGroup 的桥）
- 新增 store.ReconcileLinkDisabled 作接收端：adoption 时把环上的 flag 落进
  本地 store；本节点没有该转发时补一条 disabled 占位行（否则日后在本节点被
  claim 会复活），enable 则不建行
- SetTopologySync 由单向（store→环）扩为双向：群组仍上行，disabled 下行
- AddTopology 的 Active 跟随 Link.Disabled（原本硬编码 true，认领一个停用
  转发就会复活它）
- 审计日志细分 forward.stop / forward.start，与 forward.remove 区分

## 语义变更带出的两个新问题（都已修）

1. **「启动」这条路断了**。条目保留 ⇒ SubmitTask 被去重挡下，而认领路径的
   duplicate-claim 防御又会丢弃「已有 owner」的任务 ⇒ 重启任务发不出去，owner
   永远收不到，转发**能停不能起**。
   修：新增 Task.Restart 这一独立任务类型 + SubmitRestart + Handler.RestartFn，
   显式绕过 duplicate-claim 防御并原地复活（不重复建条目、不重跑 claim 簿记）。
   SubmitTask 的守卫同时从 HasTask 收窄为新的 HasActiveTask（跳过 disabled 条目
   与撤销任务）；saveCanvas 的判断相应改用 HasActiveTask，避免每次保存都对
   已标记的转发重复发撤销。

2. 原本两处 RemoveTopologyEntry 调用（ClaimFn/RevokeFn 的 disabled 分支）在
   新语义下会把本该保留的条目删掉，改为 UpdateTopologyDisabled。

## 测试（每个都做了「回退修复行→必须变红→还原变绿」双向验证）

- TestStoppedTopologyEntrySurvivesAdoption —— 离线成员也能学到停用，
  一次性 revoke 任务永远做不到这一点
- TestStoppedForwardNotRequeuedOnNodeDeparture / TestAddTopologyRespectsDisabledFlag
  —— 标记而非删除为何安全
- TestSubmitTaskNotBlockedByStoppedEntry / TestSubmitTaskStillDedupesActiveForward
- TestRestartTaskBypassesDuplicateClaimGuard / TestRestartFlagSurvivesTokenSerialization
- TestStopThenStartPublishesRestartTask（HTTP 端到端，断言**任务真的发出**）
- TestReconcileLinkDisabled*（store 侧三条）

★ 两次踩到**假绿**：第一版只断言 store 层（newTestHandler 的 Ring 为 nil，
坏掉的路根本没执行）；第二版在 re-enable **之后**才调 SubmitTask，此时新旧
谓词结果相同，测不出差异。都是靠「回退修复行看是否变红」抓出来的 —— 这个
双向验证已经是本项目的固定动作。

go build / go vet / go test ./... 全绿，gofmt 干净。
 2026-09-26 10:44:04 +08:00
JianFeeeee
041cc04dd6 fix(cluster): revoke 在无 topology 条目时静默失效 + 停用状态跨节点不同步 
上一提交（46e8bc3）上线后实测：`.106` 重启后，被用户停用的
`minecraft` worker **仍然被拉起**。继续挖出两处，均为静默失效型。

## 1. Handler.Revoke 被 RemoveTopology 的返回值挡住了

    if claimed.Revoke {
        if e.state.RemoveTopology(...) {      // ← false 时整个块跳过
            if e.Handler != nil { e.Handler.Revoke(...) }
        }
    }

停 worker 的唯一动作被关在「topology 里确实有条目」的条件里。而
RemoveTopology 对**不在 topology 的转发返回 false** —— 也就是说，越是
需要清理的僵尸转发（条目已丢、worker 还在），revoke 越是完全不做。

这正是 minecraft 的处境：停用请求到达时它已不在 topology ⇒ 返回 false
⇒ Revoke 不执行 ⇒ worker 永远不停 ⇒ 每 33 秒刷一次 connection refused。

修法：停 worker 与摘条目是**两件独立的事**，条目不在也照样停。
（审计日志 forward.remove 仍只在真的摘掉条目时写，这是对的。）

## 2. 停用状态是节点本地的，从不跨节点同步

`links` 表每节点各一份。实测同一时刻 `.60` 记 disabled=1、`.106` 记
disabled=0 —— 因为只有收到停用请求的那个节点写了 store，而**持有 worker
的 owner 往往是另一台机器**，它的副本仍是"启用"。Claim 只读本地 store
⇒ owner 认为该转发是启用的 ⇒ 又被拉起。

修法：task 已携带 Disabled，以它为准，RevokeFn 在本节点把它落库
（已有行改写；没有行则补一条 disabled 记录，防止日后在本节点被 claim
时复活）。

## 测试

- TestRevokeIdempotent 原先只断言"不 panic"，正好漏掉这个 bug —— 它
  允许「Handler.Revoke 从不调用」通过。现补上断言：拓扑里没有条目时
  **仍必须调用** Handler.Revoke。
- 验证该测试有效：把 `&& removed` gate 加回去 → 如期变红；还原后变绿。

go build / go vet / go test ./... 全绿，gofmt 干净。
 2026-09-26 10:05:55 +08:00
JianFeeeee
46e8bc3703 fix(cluster): 停用的转发会在重启后自己复活 + 令牌轮转日志刷屏 
从线上三节点（192.168.2.{30,106,60}）的日志里挖出四个问题，本轮修三个。

## 1. 停用的转发会复活（功能性缺陷，实测仍在发生）

线上现象：`minecraft` 在 store 里 disabled=1，worker 却仍在跑，今天
09:46 还在刷 `connect to local service [192.168.2.60:25565]: connection
refused` —— 对着一个用户刻意没启的本地服务死刷。同时三台 logs 里躺着
13956 / 3769 条 `proxy [x] already exists`，每 33 秒一轮。

四处叠加导致：
- stopForward 先读 link，再 SetLinkDisabled(true)，然后把**改之前**的
  副本交给 RevokeTask ⇒ published task 带 disabled=false（实测 id/flag
  都对不上：topology 里 link.id=223，store 里同一行是 199）
- ClaimFn **无条件** SetLinkDisabled(...,false)。原意是"重新认领时清掉
  停用标记"，但启动 reconcile 只要 worker 不在就重新 Claim ⇒ 每次重启
  都是"先清标记再起 worker"
- RevokeFn 停了 worker 却**没删 topology 条目**，条目活过 worker
- 于是下次重启 reconcile 看到"owned 但 worker 不在"→ 再次 Claim → 死循环

修法（把 disabled 的所有权交回两个用户动作）：
- Claim **只读** disabled 决定要不要起 worker；为 true 时连 topology
  条目一起摘掉，绝不复活
- 启动 reconcile 先按 store 跳过 disabled 的条目（省掉无谓的
  claim→skip 往返）
- RevokeFn 除停 worker 外，同时 RemoveTopologyEntry —— 撤销必须是
  完整退役，不能只是"停一下"
- stopForward 把 Disabled=true 随 task 发布出去，让持有该转发的节点
  即使本地 store 行陈旧也能判断这次停用是用户主动的

## 2. 令牌轮转日志零信息量却占满磁盘

每轮固定 3 行（OnToken cycle=N / forward cycle=N / token-send -> 200），
2 轮/秒，实测本机 **355 行/分钟、7 天 357 万行**，把真事件全淹了。
同一份信息（cycle / lastSync / roundDelayMs / 成员存活）本来就能从
GET /api/manager/cluster/ring 结构化拿到。

加 W4F_DEBUG 开关（沿用项目既有 W4F_ 前缀约定）：稳态三行降级为 debug、
默认关闭；**失败路径一律保留** —— 发送失败、陈旧令牌、非 2xx 正是别人
grep 的对象，静音它们是坏交易。实测同样 12 秒：36 行 → 4 行。

## 3. Link.ID 在 ReplaceLinks 之后必然失效

ReplaceLinks 是 DELETE + 重新 INSERT，sqlite 给每行**新的自增 id**。
任何在改写前捕获的 Link（典型：随 token 环跑的 Link）手里的 id 要么查无
此行，要么命中另一条转发 —— 实测捕获 alpha id=1，改写后新表是 3/4/5，
GetLink(1) 直接落空。

新增 LinkByTriple(local, remote, port) 按自然键查（业务代码本来就一律用
这个三元组标识转发），并把 claim/reconcile 切过去。查无行返回
(Link{}, false, nil) 而非 error：新建的转发没有行，应当照常启动。

## 4. homeagent_device 孤儿（已澄清，非独立缺陷）

它 disabled=1 且从不在 topology 里，是缺陷 1 的另一面（停用标记没进
token），随本次修复覆盖，无需单独处理。

## 测试

新增 4 个测试文件，重点是**验证测试本身抓得住 bug**：
- 临时回退 `ln.Disabled = true` 这行 → TestStopForwardPublishesDisabled-
  FlagInRevokeTask 如期变红，还原后变绿
- ⚠️ 第一版回归测试只断言 store 层，是**假绿**：newTestHandler 的 Ring
  为 nil，RevokeTask 那条（真正坏掉的）路根本没执行。补了带 ring 的
  newRingTestHandler，直接断言**发布出去的 task 上的 flag**
- LinkByTriple 在 ReplaceLinks 前后保持稳定；GetLink(id) 的失效被固化成
  一个可见的说明性测试
- 停用/start 往返、per-forward 停用不误伤兄弟转发
- 错误路径不静音、W4F_DEBUG 各种取值

go build / go vet / go test ./... 全绿，gofmt 干净。
 2026-09-26 10:02:55 +08:00
JianFeeeee
1abf1bb447 fix: 集群操作日志同步修复 — 全量回填 + 重启节点 seq 水位抬升 
两个根因:
1. 离线错过条目永久缺失: token delta 被下游 trim (keep=seq>wm)，
   离线节点错过的 seq 再也收不到 → 'log delta gap: want N got N+1' 死循环。
   修复: OnToken 改为附带自己的全量日志 (Snapshot)，接收方 ApplyDelta 按 seq 幂等去重，
   缺口节点下一轮自动补齐。日志量小(几十条)，开销可忽略。

2. 重启节点重新从 seq=1 编号: NewClusterLog 从 Seq=0 起，重启后产生的新事件
   与环上历史 seq 冲突 → ApplyDelta 视为 already-have 静默丢弃 + 全量附带出现歧义 id。
   修复: OnToken 收到日志时把本地 Seq 抬到环高水位之上，新编号接在历史之后。

测试: TestFullLogBackfillAfterGap / TestApplyDeltaIdempotentOnFullResend

实测: 三台集群撤销 minecraft 转发 → 三台均记录 seq=10 forward.remove;
恢复后三台均记录 seq=11 forward.add
 2026-08-25 11:55:34 +08:00
JianFeeeee
4a41608d94 refactor: 审查修复 — netload 消除重复 /sys 读 + 全项目 gofmt 
- netload_linux.go: SampleNetLoad 聚合循环不再对每接口重复
  readIfaceSpeed (snapshot 已汇总 cur.capMbps), 每次采样省 N 次 /sys 读
- gofmt -w: ring.go/ring_engine.go/auth.go/handlers.go/handlers_logs.go/
  handlers_users.go/store.go 结构体字段对齐与注释缩进
- README.md: markdownlint 自动修复 (MD028/MD040)

审查结论: 令牌环本身即互斥协议 — OnToken(收令牌)与 StartRing(发令牌)
在同一节点上由令牌串行化, 不存在需要加锁的竞争; WatchLeader 的读为
良性读, 无需 mutex
 2026-08-24 22:24:35 +08:00
JianFeeeee
88b862b515 fix: 首页本地服务只显示 localOnly 转发, 集群转发不再误报为本地服务 
- handleStatus 的 localStatuses 遍历所有 locals 时跳过非 localOnly,
  集群转发只出现在活跃转发卡区 (per-remote 时代的残留逻辑)
- gofmt 格式化 topoKey 定义
- 同步 dist (含 ⚙/⊕ emoji 变体选择器修复)
 2026-08-24 16:13:59 +08:00
jianf
2552c14faf fix: start/stop for ring-only forwards + group sync via ring topology 
Three issues fixed:

1. Start/stop returned 404 for forwards owned by other nodes:
   findLinkByTriple only checked local SQLite store. Added
   findLinkFromTopology fallback — startForward/stopForward now look up
   ring topology entries when the local store doesn't have the link.

2. Group labels didn't sync through the ring:
   handleForwardsAssign only updated local SQLite, never the ring
   topology. Added State.UpdateTopologyGroup + Engine.UpdateTopologyGroup
   — handleForwardsAssign now updates both. Added topologySync callback
   called after every e.state = tk.State (OnToken) and e.state = s
   (AdoptState) to re-apply local store group overrides onto the freshly
   adopted topology, so they survive state adoption and propagate via
   the next token forward. handleForwardsGroupDelete also clears ring
   topology entries.

3. Status-merge branch omitted Group field:
   ring-only forwards always showed '未分组'. Added Group: t.Link.Group
   to the topology-merge forwardStatus.

Verified: 4-node cluster, 5 forwards, group assigned on node-a
propagates to all nodes within one token cycle; stop from non-owning
node succeeds (HTTP 200) and worker stops on the owning node.
 2026-08-19 21:52:28 +08:00
jianf
eda9bb9597 feat: cluster reliability (leader failover, crash rejoin, key exchange) + auth/users + canvas/forwards enhancements + comprehensive README + API docs 
- Cluster: forwardToNext offline detection (leader+non-leader), WatchLeader 1s heartbeat fallback, 409 for standalone nodes, Node.NodeKey key exchange via token ring, ClusterPeers persistence + auto-rejoin, Forward delegates to forwardToNext (bugfix)
- Auth: Basic Auth (flag-creds fast path) + bcrypt users (admin/viewer) + Bearer API keys (read/write/admin scope)
- Frontend: UsersView (accounts+API keys), ClusterView (ring/nodeKey/tasks/topology/log), StatusView (group management, per-proxy status), CanvasView (edge toggle/group), PortEdge (disabled/group labels)
- API: handlers split (canvas/forwards/users/logs), canvas export/import, forwards group start/stop/assign/delete, cluster endpoints
- Docs: comprehensive README rewrite (all flags/APIs/auth/cluster), docs/cluster-api.md (cluster management API reference)
- Deploy: run-cluster.sh now 4-node ring + 1 isolated standalone, test-forward.sh updated for 4 nodes
- Removed plan.md (design notes consolidated into README + API docs)
 2026-08-19 21:09:24 +08:00
jianf
b518a13446 feat: Phase C 完成 — ModelRouter 风格 UI 重设计 + 模拟 frps 测试 + lastSync 修复 + 集群作坊搭建 
- 主题: sakura×frost 玻璃拟态 (theme.css) + SCSS 变量重映射
- 侧栏: 玻璃侧栏 246px + 渐变品牌区 + 面包屑导航
- 状态页: 玻璃 KPI 卡 + 远程节点/本地服务卡片网格
- 集群页: 英雄玻璃卡 + 横向环拓扑链 + 待办命令/活跃拓扑/日志区
- 令牌环: 新增 lastSync 上次同步时间替代周期计数
- 模拟 frps: frps2/frps3 容器 + test-forward.sh 全链路验证脚本
- 修复: BinaryPath 空导致 worker 不启动, 撤销仅撤第一个 link, 任务复活风暴 (published 追踪)
 2026-08-18 23:38:20 +08:00
jianf
86b265637d feat(web): cluster page optimized — self/leader/phase badges, ring arrow, create vs revoke command styling, topology owner highlight, colored log kinds, self highlights 2026-08-18 09:54:29 +08:00
jianf
40980944e5 feat(M6): localOnly forward option (loopback→LAN rewrite for cluster, local direct), canvas diff-based create/revoke commands, revoke task semantics, topology derived canvas on sync nodes, LAN addr helper 2026-08-18 09:44:38 +08:00
jianf
bf602016b4 feat(web): cluster page shows token ring — ring topology/leader/load, pending tasks, active forward topology with owner, incremental log sync view (e2e verified) 2026-08-18 09:13:20 +08:00
jianf
1a8c362080 feat(M6): token-ring protocol complete — task ride+lowest-load claim, topology publish back to token, real worker spawn via claim, incremental log sync e2e 2026-08-18 09:08:22 +08:00
jianf
e59feb82c1 feat(M6): token-ring incremental log sync — append-only op log, delta rides token round-2, nodes converge on identical history (e2e verified join events) 2026-08-18 08:59:59 +08:00
jianf
f6c4b91a96 feat(M6): token ring data plane + engine — pending adds disappear on claim, topology written back for full cluster view (per authoritative design) 2026-08-18 08:24:37 +08:00