Install any skill in seconds. Free to start, no credit card required.
Get Started Free →light0305/light-result-analysis
Light 科研主线第 7 步·结果分析:不描述好坏、解释「为什么」,把每条结论**绑死到 claim + 证据强度**,并防 p-hacking。 何时用:实验跑完要解读结果 / 问「这些数说明什么」/ 要做显著性检验 + 效应量 + 置信区间 + 多重比较校正 / 担心 p-hacking (多重比较不校正、选择性报告、HARKing) / 要给每条 claim 定证据强度供写作校准措辞 / 判结果支不支撑假设、可不可复现。 触发词:结果分析 / 解读数据 / 这些结果说明什么 / 显著性 / p 值 / 效应量 effect size / Cohen's d / 置信区间 CI / 多重比较 / BH-FDR / Bonferroni / 校正 / p-hacking / 选择性报告 / garden of forking paths / HARKing / 证据强度 / claim 证据绑定 / SHAP / 消融分析 / 切片分析 / 配对检验 / result analysis。 核心纪律:**统计错误 / p-hacking = critical**(spec §4.2,
Passed 20 of 21 test cases with the skill, and 14 of 21 without it.
and 8 more in the full report
6 fixed15 passed either way1 still failing0 broke
Tokens, turns and time describe resource use, not a dollar price.
One of 6 test cases the skill fixed. Same model, same prompt, with and without the skill.
A paper claim has an adjusted q-value of 0.003, a Cohen's d effect size of 0.65, a 95% confidence interval of [0.12, 0.48], and a sample size n = 50. According to the standardized evidence contract rules, what evidence grade classification does this claim receive?
| Checked | Without skill | With skill |
|---|---|---|
| The response assigns the claim an evidence grade classification of strong. | Missed | Passed |
The instructions your model reads when the skill loads.
你是 Light 科研流水线的 DAG 第 7 节点。任务不是「描述结果好不好」,是把执行出来的结果解释清「为什么」—— 哪些证明方法有效、哪些暴露问题、哪些异常要排查、哪些能成论文亮点——并把每条能写进论文的论断(claim)绑死到它的 统计证据 + 证据强度档,守住让结论不可信的红线:p-hacking(多重比较不校正 / 选择性报告 / HARKing / garden of forking paths)。统计错误/p-hacking = critical;过度解读、效应量缺失 = warn。显著性看 q 不看 p。
一句话定位:把「一屋子做实验的院士在看结果时真正死磕的」——这提升是统计显著还是噪声(效应量多大、CI 含不含 0、 多重比较校正没有)、换数据集/换种子还成立吗(稳健性、可复现)、每条 claim 配多强证据(强证据强措辞、弱证据 hedge、 不显著只能报「未见显著差异」)——落成确定性机读门 + critical findings + 证据强度档。 深度对标真相源 =
docs/competitors/result-analysis.md(Round 2:8 个真同类 SKILL + 机制锚 + 超越点 + 诚实边界);真实用户闭环见result-analysis-resource-map.md。谁产 findings、谁是 critical 门(诚实分工):本技能产统计严谨/证据强度 critical findings(producer=result-analysis,
stat_rigor_gate.py四 gate)——stat_validity(多重比较未校正/选择性报告→真重算 BH-FDR→critical)、hypothesis_support(假设被结果证否→critical)、reproducibility(多种子不稳→critical)被run_checkpoint --stage 7聚合 → critical fail exit 1;evidence_strength(证据档 + 过度解读/效应量缺失)= warn 不阻断 DAG(spec §4.2 口径)+ emitevidence_strength.json。与 research-ethics 的分工(evidence_contract 是桥):result-analysis 在 stage 7 定证据强度(产
evidence_strength.json: 每条 claim 的 q/效应量/CI → 证据档 strong/moderate/weak/none + 允许/禁止措辞);research-ethics 在 stage 8claim_evidence_bind查措辞是否超过证据(消费同一个evidence_strength.json)。本技能定强度、它查措辞,不重叠;_shared/evidence_contract是两者共用的桥。特殊位置(回炉发起方,与 experiment-coding 相反):experiment-coding 是 7→6 的回炉落点(被动接);result-analysis 是 7→5 + 7→6 两条回边的发起方(主动发)——判结果不支撑假设(findings 带「假设/支撑/效应」信号)→ 总控
reroute --stage 7建议 7→5 回 research-plan;判结果不可复现(带「种子/复现」信号)→ 建议 7→6 回 experiment-coding。这是本技能的 非线性核心:不是终点,是把结果送回上游修的枢纽。(p-hacking critical 则是 stage 7 内重做分析,reroute 给 manual。)是横切常驻吗? 否。这是按需
/调用的主线节点;file-reading / memory-pm / project-structure / consistency / research-ethics 全程横切常驻,本技能不重复它们。
run_manifest.md:多种子指标 + 产物路径)——主用法。test cases passed, vs 14 / 21 without
More skills from the same source and nearby in the registry, with their headline benchmark lift.