Repo-Map — 让 LLM 在大仓库里找到正确文件

> 一句话：tree-sitter 抽取符号 → 在跨文件引用图上跑 PageRank → 按 token 预算把最重要的 class/function 签名作为只读地图塞进上下文。它不是 RAG、不维护向量索引、可被人审。Aider 用同样的机制在 SWE-Bench Lite 上把"正确文件命中率"打到 70.3% aider.chat/2024/05/22/swe-bench-lite.html]。

这是一个工具技能（tool skill），不绑定 Aider；任何 coder-agent harness 只要能给 LLM 喂上下文，都可以接入或自建 repo-map。

1. 何时激活本技能

下列任一条件成立时，将"构建/刷新/使用 repo-map"作为该会话的标准动作：

• 任务涉及 多文件编辑 或 跨文件影响分析（rename、抽函数、改 API 签名、加 hook 点）。
• 仓库 ≥ ~20 个源文件，或 LLM 无法靠记忆/猜测找到正确目标。
• 你不想（或不能）维护 embedding 索引：环境无 GPU、不允许出仓数据、PR 评审需可追溯证据。
• 你想给 LLM 可审计的导航地图（vs. 黑盒向量检索）。/map 一样的 dump 必须能给人看。
• 多文件编辑后 LLM 反复改错文件、编造路径、SEARCH/REPLACE 找不到目标——典型的"没地图就乱走"信号。
• 你在写自定义 coder agent，需要一个"廉价、确定性、即时刷新"的代码 context 原语。

不应激活的反面信号：单文件改动且文件已知；任务是从零起项目；二进制资产仓库；非源代码（CSV/data lake）—— 详见 §6。

2. 核心心智模型

2.1 三个原语 + 两个不变量

+----------------------+   +-----------------------+   +-----------------------+
| 1. tree-sitter       |   | 2. cross-file graph   |   | 3. token budget       |
|    symbol extraction |-->|    + PageRank-style   |-->|    (dynamic, shrink   |
|                      |   |    importance rank    |   |    when files added)  |
| - parse, no execute  |   | - nodes = files       |   | - default ~1k tokens  |
| - class / fn / sig   |   | - edges = symbol refs |   | - cap configurable    |
| - works offline,     |   | - PageRank picks      |   | - 0 = disabled        |
|   no LLM call        |   |   "most referenced"   |   |                       |
+----------------------+   +-----------------------+   +-----------------------+
                                       |
                                       v
                       +-----------------------------------+
                       | Output: skeleton text in prompt   |
                       | (NOT a tool-call, NOT a vector)   |
                       |                                   |
                       |   path/to/file.py:                |
                       |     class Auth:                   |
                       |       def login(user, pwd) -> T   |
                       |       def logout() -> None        |
                       |     def hash_password(pwd) -> str |
                       +-----------------------------------+

不变量 A — Skeleton over snippets：地图只放 签名/类名/函数名，不放函数体。LLM 真要看实现，就让它点名要文件——这是 read-only navigation aid，不是 retriever。

> "If it needs to see more code, the LLM can use the map to figure out which files it needs to look at." aider.chat/docs/repomap.html]

不变量 B — Dynamic budget：当对话还没加载任何文件时，地图展开到上限（给 LLM 最多导航信息）；一旦真的把文件加进可读写上下文，地图自动收缩（省下的 token 让给真代码）。

> "Aider adjusts the size of the repo map dynamically based on the state of the chat." aider.chat/docs/repomap.html]

2.2 为什么不用 embeddings/RAG（设计决策）

| 维度 | Repo-map (tree-sitter + PageRank) | Embedding RAG | |---|---|---| | LLM 可读性 | 真签名，LLM 能直接推理 | 向量，LLM 看不懂；只能信检索器选出的片段 | | 索引维护 | 无；每次会话按需重建 | 需要 chunker + embedder + 向量库 + 失效策略 | | 确定性 | 同代码同输入 → 同地图 | embedding 模型/参数变化 → 检索结果漂移 | | 可审计 | 一段纯文本，能 cat、能 diff、能给 reviewer 看 | 黑盒：哪些 chunk 被选不直观 | | 出仓风险 | 全本地静态分析 | 通常调用外部 embedding API | | 失败模式 | tree-sitter 不支持该语言 → 优雅降级 | 语义距离 ≠ 调用关系，错召回 |

核心判据：编辑代码的瓶颈是"找到要改的文件"，不是"找到语义相近的段落"。LLM 在签名级别上做"我该改哪里"的推理远比让向量替它推理强。

> Aider's repo-map "successfully identified the correct file to edit in 70.3% of the benchmark tasks." 这一数字不依赖 embeddings、不依赖代码执行、不依赖网络 aider.chat/2024/05/22/swe-bench-lite.html]。

2.3 LLM 看到的上下文分三层（优先级递减）

| 层 | 内容 | 写权限 | |---|---|---| | 系统/编辑格式 | harness 固化 | harness | | Repo-map（本技能） + read-only files + CONVENTIONS | 只读上下文 | 人/agent 配置 | | Read-write files | LLM 唯一允许编辑的 | 人/agent 显式加入 |

铁律：repo-map 是地图，不是写集合。LLM 看见某个文件在地图里 ≠ 它能编辑它。写集合永远只由人/agent 显式声明（在 Aider 里是 /add；在自建 harness 里是"可编辑文件白名单"）。这条边界是 repo-map 安全使用的前提。

2.4 25k token 的稀释阈

> "Above about 25k tokens of context, most models start to become distracted." aider.chat/docs/troubleshooting/edit-errors.html]

repo-map 本身就在 token 预算里。如果地图占太大，反而稀释了真正的源码上下文。所以预算需要"够找路 + 不挤压代码"。经验起点：1k–4k tokens；monorepo 上限 8k；超过就要靠子目录/ignore 文件先缩小搜索范围（§3 Phase 4）。

2.5 Skeleton-over-snippets 的工程含义

| 选 skeleton | 选 snippets | |---|---| | 全仓导航、定位修改点 | 已锁定 ≤5 个文件、想看实现细节 | | Token 预算紧 | 真的需要函数体语义 | | 多语言混合 | 单语言、深度分析 |

skeleton 给"哪儿"，snippets 给"怎么"。永远先 skeleton，再 snippets——倒过来会把预算烧光、还没找到对的文件。

3. SOP 工作流

Phase 1 — Bootstrap：建图（每会话一次）

1. 确认仓库类型：源码 + git 历史。否则不要用 repo-map（见 §6）。
2. 应用 ignore 列表：
     - .gitignore（必）
     - 自定义 ignore（如 Aider 的 .aiderignore；自建 agent 可直接复用）
     - 默认排除：vendor/, node_modules/, dist/, build/, *.min.js, generated/
3. 选定 tree-sitter 语言集：
     - 主流（Python/JS/TS/Go/Rust/Java/C/C++/Ruby/PHP/...) 默认开
     - 小众语言：要么接 grammars，要么留作 fallback（只列文件路径）
4. 设定 token 预算：
     - 小仓库（<200 文件）: 1k–2k
     - 中等（200–2000 文件）: 2k–4k
     - Monorepo（>2000 文件）: 4k–8k + 限定子目录
5. 首次运行：构建符号表 + 引用图 + PageRank。后续增量更新。

输出物：一段纯文本骨架（path + 类/函数签名），符合 token 预算。

Phase 2 — Use：让 LLM 用地图回答"改哪里"

反模式：人类拍脑袋决定加哪些文件 → 漏文件、加多文件。

正确模式：把"定位"问题外包给 LLM + repo-map。

[harness 提供给 LLM 的上下文]
- system prompt
- repo-map skeleton (read-only)
- task: "Add JWT-based auth replacing session cookies"

[LLM 输出]
- 候选目标文件: src/auth.py, src/middleware.py, tests/test_auth.py
- 候选只读引用: src/config.py, docs/auth.md

然后 harness 才把 LLM 命名的文件真正加入写集合。这一步是 repo-map 的唯一调用价值：把"navigation"从人脑卸载给 LLM。

Phase 3 — Refresh：何时重建地图

| 触发 | 动作 | |---|---| | 会话开始 | 全量构建 | | 文件被编辑（包括 LLM 自己改的）| 增量更新该文件的符号表 | | 用户切到不同子目录 | 局部重建（限定 root） | | LLM 报告"找不到 X 函数"但 X 应该存在 | 强制刷新（如 Aider 的 --map-refresh always）| | 大规模重构（rename across files）| 重构完成后全量重建一次，避免地图与现实漂移 |

关键认知：地图过期的代价不是错，是幻觉——LLM 会以为某符号还存在/还在某处。每次 LLM 报告"找不到 X"时，第一反应是"地图过期了吗？"，第二反应才是"真的不存在吗？"

Phase 4 — Scope：地图也撑不住时

地图 > 8k token 仍然稀释信号？这是仓库太大、问题太宽的信号，不是地图的问题。逐步收缩：

1. Subtree-only: 把工作目录定到 packages/feature-foo/，只对这棵子树建图。
2. Ignore 扩展: 把 generated/、proto/、vendored/、test fixtures 全 ignore。
3. Domain split: 一次会话只覆盖一个领域（auth / payment / search 三选一）。
4. Map-tokens 0: 已经知道改哪些文件 → 直接关闭地图，节省所有 token 给代码。
5. 拆任务: 大需求拆成多会话，每会话一个收敛子目标。

判断阈：如果你不能在一句话内描述"这次任务影响哪一类模块"，那 repo-map 帮不了你——先用 /ask 类讨论 narrow 任务范围，再激活地图。

Phase 5 — Audit：把地图当可审计文物

repo-map 的最大优势是可以打印给人看：

• /map (Aider) 或等价的 dump_map() 钩子：用于 reviewer 复现"LLM 看到了什么"。
• 把当次 repo-map 存到 intermediate/repo-map-<sha>.txt，作为 PR 附件——比 "trust the agent" 强。
• 当 LLM 决策可疑时，diff 两次地图：是地图变了，还是 LLM 推理变了？

4. 操作模型（通用操作，去 Aider 化）

每条操作给 Trigger / Action / Output / Evidence。命令名是参考，实际接口取决于你的 harness。

Op 1 — map.build(root, budget, ignore) 构建/重建

• Trigger：会话开始；或大规模重构后；或切换工作根。
• Action：遍历 root 下所有匹配 tree-sitter 的源文件 → 抽符号 → 建跨文件引用图 → 跑 PageRank → 按 budget 截取顶部 → 渲染 skeleton。
• Output：纯文本，形如 path:\n class X:\n def foo(a: T) -> U。
• Evidence：aider.chat/docs/repomap.html] "concise map … includes the most important classes and functions along with their types and call signatures"。

Op 2 — map.refresh(files) 增量刷新

• Trigger：某文件被 LLM 或人编辑；或 LLM 提示"找不到符号"但应存在。
• Action：只对 files 重抽符号，更新引用图边集，重跑 PageRank（局部）。
• Output：新的 skeleton。
• Evidence：Aider --map-refresh 文档；动态预算"adjusts ... based on the state of the chat" aider.chat/docs/repomap.html]。

Op 3 — map.scope(subtree | glob) 缩范围

• Trigger：monorepo；或仓库 > 2000 文件；或地图 > 8k token。
• Action：把 PageRank 跑在 subtree 内或 glob 命中的文件上，根之外的文件最多保留路径不渲染签名。
• Output：更瘦的 skeleton。
• Evidence：Aider --subtree-only；.aiderignore。

Op 4 — map.print() / dump 可审计

• Trigger：reviewer 要求；或决策不解；或写 PR description。
• Action：直接打印当前 skeleton。
• Output：plain text，存 intermediate/repo-map-<sha>.txt。
• Evidence：Aider /map。"deterministic & inspectable"（地图是确定性产物，不是模型采样）。

Op 5 — map.locate(task_description) 让 LLM 找文件

• Trigger：任务进来但写集合未定。
• Action：把 task_description + repo-map 喂给 LLM，要求输出"目标文件 + 引用文件"两组路径。不让 LLM 直接编辑，只让它命名。
• Output：候选文件列表（建议 ≤5 个写集合 + ≤3 个只读）。
• Evidence：SWE-Bench Lite 上 repo-map 让 Aider 70.3% 命中正确文件 aider.chat/2024/05/22/swe-bench-lite.html]。

Op 6 — map.budget_set(N) / map.disable() 调预算

• Trigger：上下文超 25k；或目标文件已锁定（地图无用）。
• Action：缩小或归零 --map-tokens 等价物。N=0 等于完全关闭。
• Output：更瘦上下文。
• Evidence：Aider --map-tokens；25k 阈值 aider.chat/docs/troubleshooting/edit-errors.html]。

Op 7 — map.ignore_add(patterns) 加排除

• Trigger：地图被 node_modules / generated/*.pb.go 类垃圾撑大。
• Action：写入 ignore 文件（.aiderignore / 等价物）；下次构建生效。
• Output：更聚焦的地图。
• Evidence：Aider 文档；通用做法。

Op 8 — map.diff(prev, curr) 地图差分

• Trigger：怀疑地图过期；或大规模 rename 后审计；或调试 LLM 反复改错文件。
• Action：对比两次 skeleton 文本 diff。
• Output：新增/消失/重命名的符号列表。
• Evidence：repo-map 是文本 → 任何 diff 工具都能跑。这是 embedding 系统做不到的可观测性。

5. 困境决策案例 (Examples / Scenarios)

案例 1 — Repo too big：地图撑大了反而稀释信号

触发：monorepo 10k+ 文件；首次 map.build 出来的 skeleton 接近 8k token，主对话快要破 25k。LLM 开始忽视细节、编辑跑偏。

症状：

• /tokens（或等价物）显示 map 占比 > 40%。
• LLM 答非所问，给出的修改散在十几个文件里。
• 25k 阈值越线，模型注意力分散 aider.chat/docs/troubleshooting/edit-errors.html]。

决策树（按代价递增）：

| 步 | 动作 | 何时停止 | |---|---|---| | 1 | map.ignore_add(generated/, vendor/, *.pb.*) | 大宗噪声砍掉后预算降到 4k 以下 | | 2 | map.scope(packages/foo) 限子树 | 你确知改动只在该子树 | | 3 | map.budget_set(2k) 直接砍预算 | 你愿意接受"少看签名换出空间" | | 4 | map.locate(task) 让 LLM 先用大图找一次目标文件，然后 map.disable() + 只保留这些文件 | 一旦锁定写集合 | | 5 | 拆任务、新开会话 | 单会话扛不动 |

反模式：把地图开到 16k 期望"看全"——LLM 会被噪声呛死。地图不是越大越好；它的价值是"navigation precision per token"。

为什么这有效：repo-map 的 PageRank 已经在按重要性排序，预算砍掉的是长尾低相关符号，不是核心 API。再加 ignore 排除生成代码，信噪比改善是非线性的。

案例 2 — Wrong file edited：LLM 改了不该改的文件

触发：LLM 给出 diff，但目标文件根本不是用户想改的；或更糟，编造了不存在的路径。

症状：

• 提交回滚 → 反复发生。
• 文件路径在地图里压根没出现 → 模型在幻觉。
• 文件路径在地图里出现 → 但语义其实不对应该改的位置。

根因诊断：

| 现象 | 根因 | 修复 | |---|---|---| | 路径不在地图 | 地图覆盖不够 / 该路径被 ignore / 文件刚加未刷新 | map.refresh / 缩窄 ignore / 检查 tree-sitter 是否支持该语言 | | 路径在地图但 LLM 选错 | 地图够，写集合策略错：让 LLM 自己挑写哪个 | 改流程：让 LLM 命名候选，人/agent 决定写集合（Op 5） | | 地图过期（昨天那次会话留下） | 上次大重构后未刷新 | map.build 全量重建 | | 多个同名 class/function | PageRank 无法区分谁更"正确" | 增加 read-only context（CONVENTIONS / 模块 README）澄清；或 map.scope 限定 |

决策规则：

1. 永远把"找文件"和"改文件"分两步。LLM 找，harness 决定是否把找到的文件加进写集合。Aider 的设计哲学：写集合只由人/agent 显式声明，地图只是参考。
2. 如果你在自建 harness 跳过了第 1 步（直接让 LLM 在地图基础上 edit anywhere）——这是 Aider 实测最常翻车的姿势。

评估指标（值得加进 harness）：

• 命中率：(LLM 命名的目标文件 ∩ 实际应改文件) / 实际应改文件。Aider 在 SWE-Bench Lite 上是 70.3%——你的 harness 应该作为下限基准。
• 编造率：LLM 命名但仓库不存在的路径 / LLM 命名总数。> 5% 说明地图过小或过期。

案例 3 — 多语言混合仓库：tree-sitter 部分语言不支持

触发：repo 是 Python + Rust + 一份 Terraform + 一份 Bash。tree-sitter 主流语言抽得出符号，HCL 和 Bash 抽不出。

决策：

• 对支持的语言走完整 symbol skeleton。
• 对不支持的语言保留文件路径，可选地用启发式正则抽顶级标识符（function/class/resource 关键字）。
• 在 SKILL 提示里告诉 LLM："以下语言的文件只列了路径，需要看实现请明确点名"。
• 不要为了"完整"硬上一个粗糙的 fallback——粗糙 fallback 比没 fallback 更容易误导。

案例 4 — 频繁变动的代码库：地图刷新成瓶颈

触发：LLM 每分钟编辑一次，每次全量重建 PageRank 太慢。

决策：

• 增量刷新策略：只更新被编辑文件的符号，PageRank 只在跨文件引用边变化时重跑。函数体改但签名没变 → 不重跑 PageRank。
• 文件级缓存：(file path, mtime) → parsed symbols。
• 后台异步刷新：编辑后立即返回旧地图给 LLM，刷新在下一回合到来前完成。
• 接受小段窗口的"地图微滞后"——一两秒的滞后不会让 LLM 找错文件；分钟级滞后才会。

6. 反模式与边界

不应使用 repo-map 的场景

| 场景 | 替代 | |---|---| | 单文件已知任务 | 直接 /add 该文件，map.disable() | | 从零起项目 | 没有现有符号可建图 | | 二进制 / 数据仓库 | tree-sitter 不解析；用 schema/metadata 替代 | | 不允许静态分析的合规环境 | 罕见但存在（敏感代码）；退回手动文件清单 | | 任务跨多仓库 | repo-map 是单仓原语；多仓需要更高层"项目地图"编排 | | 自然语言/文档仓库（pure markdown） | tree-sitter 没有意义；用文件树 + headings 索引 |

常见错误

1. 把地图当写集合——LLM 看见某文件 ≠ 该文件可编辑。永远显式声明写集合。
2. 首次失败 → 加大预算——预算 8k → 16k 通常恶化结果（稀释）。先 ignore + scope，再考虑加预算。
3. 不刷新地图——大重构后地图过期 → LLM 全程在用旧符号推理。每次大改后强制全量重建。
4. 混淆 repo-map 与 RAG——别用向量库替换它，也别在它之上叠一层 embedding 重排（除非你测出收益）。它们解决不同问题：repo-map 给签名，RAG 给实现片段。
5. 把不支持的语言硬塞进 skeleton——粗糙正则提取出来的"符号"经常误导 LLM。留路径不留假符号。
6. 地图开了就不审计——map.print() 是工程师工具，不是装饰。每次决策可疑都该 dump 一次。
7. 对 monorepo 用全局 PageRank——跨 package 边过多，重要性会被无关 package 稀释。用 map.scope 限定到当前工作 package。

硬边界

• repo-map 不替代 IDE 的 go-to-definition：它只给 LLM 看的近似，不给你点击。
• repo-map 不做语义理解：它只看"这个符号被多少地方引用"。一个被滥用的 helper 也会排名靠前。
• repo-map 不是 100% 命中：70.3% 是 SWE-Bench Lite 的 Aider 数字。剩下 30% 仍需人/agent 兜底（提供 --read 额外提示，或人工指定文件）。
• repo-map 只在 git-tracked 文件上工作（多数实现）：未跟踪的草稿不会出现。

7. 跨框架对照

7.1 同问题，四种工程解

| 维度 | repo-map (Aider) | Embedding RAG (LlamaIndex/Chroma + 代码 chunker) | Cursor codebase index | Cline file tree + 按需读 | |---|---|---|---|---| | 抽取方式 | tree-sitter 符号 | 文本 chunk + embedding | 闭源（多数推测含 embedding + AST） | 不抽取；只列文件树 | | 选择算法 | PageRank on import graph | cosine similarity / hybrid BM25 | 闭源 | LLM tool-call 现场读 | | LLM 看到的 | 真签名 skeleton | 文本片段 | UI 内部使用 | 文件树 + LLM 主动 read_file | | 索引存储 | 无（内存重建） | 向量库（持久） | 云端 | 无 | | 索引更新 | 文件 mtime 增量 | 需 re-embed | 后台同步 | 不需要 | | 出仓数据 | 否（全本地） | 通常调外部 embedding API | 是（代码上云） | 否 | | 可审计 | 文本 dump | 难（chunk 排序不直观） | 黑盒 | tool-call 历史可读 | | 失败模式 | 长尾符号被砍 | 语义近 ≠ 调用关系，错召回 | 不可知 | 多轮 tool-call 拖慢 + 上下文膨胀 | | 多文件命中率（公开数据） | 70.3% (SWE-Bench Lite) | 无对应公开基准 | 无公开 | 无公开 |

7.2 选择决策

| 你的约束 | 选 | |---|---| | 不能出仓、需要可审计、tree-sitter 覆盖你的语言 | repo-map | | 文档/规格/non-code 大量参与 | Embedding RAG（或 repo-map + RAG 并存） | | 你住在 VS Code、要 UI 体验、能接受闭源/上云 | Cursor codebase index | | 你要 step-by-step tool-call 审批 | Cline 文件树 + read_file（牺牲 token 换可控） | | 你在写完全自主 agent | repo-map 作为 base + agent 的 plan 阶段查它（OpenHands 类思路） |

7.3 组合使用

repo-map 和 RAG 不互斥：

• repo-map：定位"改哪里"（基于结构）。
• RAG：找"语义相关的文档/历史 commit message/ADR"（基于自然语言）。

合理组合：repo-map 决定 write-set，RAG 提供 read-only references。不要倒过来——让 embedding 决定写集合是已知的失败模式（Aider 实验得到的负面证据）。

7.4 给 agent 框架作者的研究遗产

1. 签名 > 片段：在编辑任务上，符号级 skeleton 是更高 ROI 的上下文形态。
2. 可解释 > 黑盒：可 dump 的地图让 reviewer 信你的 agent。
3. 找文件 ≠ 改文件：把 navigation 和 write authorization 拆成两个原语。
4. 70.3% 是基线：你新设计的 retrieval 机制如果在 SWE-Bench Lite 上打不过它，不要发明轮子。
5. token 预算是 first-class：repo-map 内嵌的动态预算是少有的"上下文工程"实例，值得借鉴到非代码场景。

引用源

主要：

• aider.chat/docs/repomap.html] — repo-map 设计与使用
• aider.chat/2023/10/22/repomap.html] — 初始设计博文：tree-sitter + graph ranking
• aider.chat/2024/05/22/swe-bench-lite.html] — 70.3% 文件命中率数据
• aider.chat/docs/troubleshooting/edit-errors.html] — 25k token 注意力衰减阈
• aider.chat/docs/more/edit-formats.html] — 上下文层级与编辑边界

派生：

• 同目录 references/R1-source-evidence.md — 来源逐条 quote
• 同目录 references/R2-cross-tool-comparison.md — 跨工具实现对比详表
• intermediate/operation_candidates.json — 操作模型抽取过程

跨工具：

• github.com/Aider-AI/aider] — 参考实现（Apache 2.0）
• github.com/grantjenks/py-tree-sitter-languages] — 多语言 tree-sitter 绑定
• 一般认知（不引证）：Cline / Cursor / Continue / OpenHands 公开博客与文档