package blob // List() 的测试 —— 反向 GC 的前提。 // // 事故背景:附件 GC 原先只从**库记录**出发(`WHERE mail_id IS NULL`),于是一旦 // 记录本身消失(清库、手工 DELETE、迁移),对应文件就永远脱离了视野。本机实测 // 磁盘 8 个 blob 里 7 个没有任何库记录,全部来自一次清库,之后一直占着盘。 import ( "bytes" "os" "path/filepath" "strings" "testing" "time" ) func TestListReturnsStoredContents(t *testing.T) { s, err := New(t.TempDir()) if err != nil { t.Fatalf("new store: %v", err) } sumA, _, err := s.Put(bytes.NewReader([]byte("alpha")), 0) if err != nil { t.Fatalf("put a: %v", err) } sumB, _, err := s.Put(bytes.NewReader([]byte("beta")), 0) if err != nil { t.Fatalf("put b: %v", err) } got, err := s.List() if err != nil { t.Fatalf("list: %v", err) } if len(got) != 2 { t.Fatalf("应列出 2 个内容,实际 %d:%v", len(got), got) } for _, sum := range []string{sumA, sumB} { mod, ok := got[sum] if !ok { t.Errorf("缺少 %s", sum[:8]) continue } if mod.IsZero() { t.Errorf("%s 的修改时间为零值 —— GC 靠它判断「是否可能正在上传」", sum[:8]) } } } func TestListEmptyStore(t *testing.T) { s, err := New(t.TempDir()) if err != nil { t.Fatalf("new store: %v", err) } got, err := s.List() if err != nil { t.Fatalf("空库不该报错: %v", err) } if len(got) != 0 { t.Fatalf("空库应返回空,实际 %v", got) } } // **关键用例**:`.upload-*` 临时文件绝不能进列表。 // // 报给调用方会让 GC 去删一个正在写入的文件 —— 上传是「先落盘再入库」, // 那一瞬间的临时文件既没有库记录也不是合法 sha256 命名。 func TestListSkipsTempUploads(t *testing.T) { root := t.TempDir() s, err := New(root) if err != nil { t.Fatalf("new store: %v", err) } sum, _, err := s.Put(bytes.NewReader([]byte("real")), 0) if err != nil { t.Fatalf("put: %v", err) } // 模拟一个正在进行的上传 tmp, err := os.CreateTemp(root, ".upload-*") if err != nil { t.Fatalf("create temp: %v", err) } tmp.WriteString("half written") tmp.Close() got, err := s.List() if err != nil { t.Fatalf("list: %v", err) } if len(got) != 1 { t.Fatalf("只该列出 1 个真实内容,实际 %d:%v", len(got), got) } if _, ok := got[sum]; !ok { t.Errorf("真实内容 %s 应在列表里", sum[:8]) } for k := range got { if strings.HasPrefix(k, ".upload-") { t.Errorf("临时文件 %q 不该出现在列表里 —— GC 会删掉一个正在写入的文件", k) } } } // 非 sha256 命名的异物一律忽略(人手工丢进去的、别的程序留下的)。 func TestListSkipsForeignFiles(t *testing.T) { root := t.TempDir() s, err := New(root) if err != nil { t.Fatalf("new store: %v", err) } if _, _, err := s.Put(bytes.NewReader([]byte("real")), 0); err != nil { t.Fatalf("put: %v", err) } // 放几个不合法命名的文件在两级目录里 for _, name := range []string{"README", "ABCDEF", "notasha256"} { dir := filepath.Join(root, "ab", "cd") if err := os.MkdirAll(dir, 0o700); err != nil { t.Fatalf("mkdir: %v", err) } if err := os.WriteFile(filepath.Join(dir, name), []byte("x"), 0o600); err != nil { t.Fatalf("write %s: %v", name, err) } } got, err := s.List() if err != nil { t.Fatalf("list: %v", err) } if len(got) != 1 { t.Fatalf("异物不该被列出,实际 %d:%v", len(got), got) } } // 修改时间必须是真实的文件时间 —— GC 用它跳过「可能正在上传」的文件。 func TestListReportsRealModTime(t *testing.T) { s, err := New(t.TempDir()) if err != nil { t.Fatalf("new store: %v", err) } before := time.Now().Add(-time.Second) sum, _, err := s.Put(bytes.NewReader([]byte("timed")), 0) if err != nil { t.Fatalf("put: %v", err) } after := time.Now().Add(time.Second) got, err := s.List() if err != nil { t.Fatalf("list: %v", err) } mod := got[sum] if mod.Before(before) || mod.After(after) { t.Fatalf("修改时间 %v 不在 [%v, %v] 内", mod, before, after) } } // 根目录不存在时必须报错,不能返回空列表。 // // 返回空会让调用方以为「库里什么都没有」—— 那个判断会传导到 GC 的计数上, // 让运维以为磁盘是干净的。 func TestListFailsOnMissingRoot(t *testing.T) { root := t.TempDir() s, err := New(root) if err != nil { t.Fatalf("new store: %v", err) } if err := os.RemoveAll(root); err != nil { t.Fatalf("rm root: %v", err) } if _, err := s.List(); err == nil { t.Fatal("根目录不存在时必须报错,返回空列表会让调用方以为库是空的") } }