Install any skill in seconds. Free to start, no credit card required.
Get Started Free →Error analysis for pipeline and control-file workflows: check whether a convention or procedure is actually visible and discoverable to an LLM. Empirical baseline → intervention → retest comparison using naive subagents (isolated sandbox copies, identical test case, quantitative success measurement). Use this skill when agents repeatedly ignore a rule/README/convention or navigate incorrectly, and you want to measure whether a documentation change actually changes the behavior. Triggers on "is t
| Test case | Without → With | Effect | Δ tokens | Δ turns |
|---|---|---|---|---|
| case-02 | ✗→✓ | ▲ Improved | 1765% | 0% |
| case-03 | ✗→✓ | ▲ Improved | 48% | 0% |
| case-04 | ✗→✓ | ▲ Improved | 90% | 0% |
| case-06 | ✗→✓ | ▲ Improved | 157% | 0% |
| case-07 | ✗→✓ | ▲ Improved | 109% | 0% |
> 中文 — trampelpfadanalyse 官方中文版本。
一种用于揭示 Pipeline 和控制文件工作流中并非源自代码 Bug、而是源于约定对 LLM 不可见的错误的分析方法。无需猜测 README 或规则是否“足够清晰”,而是通过实证方式进行测量:让毫无先验知识的朴素(naive)子 Agent 在工作流中运行,其行为构成基线(Baseline);针对性的文档修改(“路标” / signpost)作为干预措施(Intervention);全新的朴素子 Agent 进行重测(Retest)。与 Baseline 的 Diff 即为成功测量指标。
该名称源自欲望路径(德语:Trampelpfad,即人们因日常踩踏而自然形成的羊肠小道):人们实际行走的地方才是应该铺设道路的地方。同理,朴素 LLM 的行走路径展示了究竟在哪里才真正需要文档/防护栏(Guardrails),而非我们主观假设的位置。
不适用于:纯代码 Bug(→ 参考 bugfix-protocol / 系统化调试),或为生产任务选择 Swarm 协调模式(→ 参考 swarm-operations)。本 Skill 仅将朴素 Agent 组成的 Swarm 用作测量工具。
将文档视为 UX:重要的不是你写了什么,而是无偏见的用户(此处指朴素 Agent)实际上用它做了什么——你需要对此进行测量、修改并再次测量。
1. BASELINE naive subagents → measure current behavior (quantitative)
2. PATH ANALYSIS where exactly does it fail? which doc location misleads?
3. INTERVENTION put up a "signpost" (README/convention made more prominent)
4. RETEST FRESH naive subagents, identical test case
5. DIFF retest vs. baseline → success measurement + honest assessment首先将问题表述为一个可测试的问题,例如:“Agent 是否在约定指定的路径下创建了日志?”或“Agent 是否找到了 Pipeline 的入口点?”。
然后让朴素子 Agent 运行:
最小探测 Prompt(请替换占位符):
You are exploring <SYSTEM>. It is located at: <PATH>.
TASK: <specific task>.
RULES:
1. You only know the path above, nothing else.
2. Explore to complete the task. Max. <N> steps.
3. Report at the end: VISITED_DIRECTORIES, READ_FILES,
TASK_COMPLETED (yes/no), MOST_HELPFUL_FILE.记录为 Baseline 指标(必须是定量的,绝不能凭“感觉更好”):
| 指标 | 含义 | |---|---| | 成功率 | 按照约定完成任务的频率(如 0/3) | | 错误行为 | 使用错误位置/方法的频率(如 3/3 均使用了汇总日志而非单条日志) | | 达标路径 | 达到目标所需的步骤数/迂回次数 | | 盲区 | 没有任何 Agent 打开的相关文件/位置 |
共同评估探测报告(绘制一份访问位置的“热力图”即可):
发现结果表:
| 发现 | 含义 | 行动(→ 步骤 3) | |---|---|---| | HOT + 无指引 | 高流量,无路标 | 直接在此处设置路标 | | WARM + 发生错误 | Agent 到达但遭遇困难 | 添加示例/澄清说明 | | COLD | 位置从未被找到 | 从 HOT 文件中建立链接指向它 | | 规避行为 | 约定被绕过 | 在规避发生点添加提示 |
步骤 2 的产出:一个具体的、局部化的假设——“Agent 阅读了 X,但 X 未提及该约定;因此他们最终走到了 Y。”
仅设立一个路标(每次测试仅改变一个变量,否则 Diff 无法解释)。典型的路标形式:
保持路标简短且醒目——Agent 习惯快速浏览,很少长篇大论地阅读。
完全相同地重复步骤 1——相同的任务、相同的重复次数、相同的模型、相同的朴素条件——但在带有新路标的 Sandbox 副本上运行。重要注意:
将 Retest 和 Baseline 直接并排对比:
| 指标 | Baseline | 设立路标后 | Δ | |---|---|---|---| | 成功率 | 例:0/3 | 例:3/3 | +3 | | 错误行为 | 例:3/3 | 例:0/3 | −3 | | 盲区 | 例:1 | 例:0 | −1 |
评估——切勿美化结果:
问题:某个 Ticket Pipeline 约定轻量级完成项各自需拥有一个专属的 Ticket 日志——但 Agent 却将所有内容都写入了一个汇总日志中。
教训:约定并非“措辞过于软弱”——而是在实际被阅读的路径上不可见。在正确的位置设立路标,并通过实证验证,解决了问题。
本方法源自欲望路径分析 v2.0(Desire-Path Analysis v2.0,将 Swarm 作为 LLM 行为的实证测量工具)。大规模运行(100 个朴素 probe)的原始参考结果作为源证据已被记录:最大的盲区是一个帮助目录,0/100 的 Agent 访问了该目录(尽管包含许多帮助文件);而“创建新 Skill”任务的成功率为 0%,因为没有人找到模板目录——这两者都是典型的可见性问题,而非内容问题。
swarm-operations (dev) — 生产任务的 Swarm 协调模式目录;它仅将欲望路径分析作为概念章节。本 Skill 是包含 Baseline→Retest 循环的可操作流程变体。pipeline-optimizer (dev) — 6 步 Pipeline 改造流程;其使用全新子 Agent 的重测对应于此处步骤 4–5。bugfix-protocol / 系统化调试 — 用于解决真实代码 Bug 而非可见性问题。swarm-operations 中)。包含占位符的用户中立说明;真实迷你案例研究。Other measured skills in the registry, with their headline benchmark lift.