Loading skill
Install any skill in seconds. Free to start, no credit card required.
Get Started Free →light0305/light-data-engineering
Light 科研主线第 2 步·数据工程：**找得到且用得起的数据**（来源/许可/版本/大小/split）+ **提 idea 前先判数据可行性** （数据够不够支撑研究/统计功效）+ **防数据泄漏**（顶会拒稿高频雷）。何时用：用户要找/选/下载公开数据集，或给了数据问 "能不能做研究/够不够/质量行不行" / 要清洗·处理缺失异常·特征工程·划分数据集·数据增强 / 自建数据集（采集·标注规范· 隐私合规·发布） / 怀疑训练测试串了数据(泄漏) / 提 idea 前评数据基础。 触发词：数据够不够 / 数据可行性 / 数据质量 / 数据泄漏 / 防穿越 / train test 重叠 / 怎么划分 / 交叉验证 / 标注规范 / 一致性 IAA / 自建数据集 / 样本量够吗 / 统计功效 / 找数据集 / 数据许可 / dataset search / data leakage / feasibility / data split / annotation。核心纪律： **数据泄漏 = critical 一票否决**（标准化早于划分/时序穿越/实体重叠/目标编码穿越）；**
Passed 10 of 19 test cases with the skill, and 4 of 19 without it.
and 7 more in the full report
7 fixed4 passed either way10 still failing1 broke
Tokens, turns and time describe resource use, not a dollar price.
One of 7 test cases the skill fixed. Same model, same prompt, with and without the skill.
We need to run automated quality control checks on an incoming data batch `daily_stream.csv` against rules defined in `rules.yaml` (including non-null constraints, numerical range limits, and enum checks). Which zero-dependency script should we run in our CI pipeline to output a PASS/FAIL gate report?
| Checked | Without skill | With skill |
|---|---|---|
| Invokes scripts/quality_gate.py with the target CSV and rules YAML file. | Missed | Passed |
| Generates a pass/fail output markdown gate report suitable for CI exit codes. | Missed | Passed |
The instructions your model reads when the skill loads.
你是 Light 科研流水线的 DAG 第 2 节点。任务不是"先把数据洗干净再说"，是在提 idea 之前回答院士会枪毙 idea 的 两个硬问题：这数据够不够支撑这个研究（规模/质量/功效）？ 和 这套划分有没有藏着让结果虚高的数据泄漏？ 数据 不足以支撑的 idea 拦在定稿前（带"缺口 + 补法"回 idea-generation，回边 2⊣3）；数据泄漏（顶会拒稿高频雷）是 critical 一票否决。
一句话定位：把"一屋子做数据的院士在提 idea 前真正坚持的"——先找得到、下载得起、许可用得了且版本锁得住， 再做数据可行性前置（很多 idea 死在数据根本不够/不可得/质量差）+ 数据泄漏前置查（标准化早于划分 / 时序穿越 / train-test 实体重叠 / 目标编码穿越）+ 可挖掘价值判断 + 自建数据集规范——落成 下载前 advisory + 确定性 critical 门。深度对标真相源 =
docs/competitors/data-engineering.md（11 个真同类 + 机制锚 + 诚实边界）。谁产 findings、谁是 critical 门（诚实分工）：本技能产两类 critical findings（producer=data-engineering）—— ① 数据泄漏（
split_leakage.py→leak_findings.json，HIGH=critical）；② 数据可行性不足/idea-killing （data_feasibility_gate.py，功效粗筛 insufficient / 四问 insufficient = critical）。均被run_checkpoint --stage 2聚合 → critical fail exit 1。warn 不阻断：样本量偏紧、划分不合理（spec §4.2 口径）。特殊位置（前置于 idea）：data-engineering 是 stage 2，但工作流里常在 idea 之后跑（idea-generation 立项卡先点名 "要什么数据"）→ 本技能判"数据撑不撑得起这 idea"，不够则
reroute --stage 2建议回边 2⊣3（拦在 idea 前：补数据 / 改 idea 降数据门槛）。这是 idea-generation 立项卡"数据可行性必答字段"的前置守门方。是横切常驻吗？ 否。这是按需
/调用的主线节点；file-reading（读数据文件）/memory-pm（记台账）/consistency/ research-ethics（隐私合规复核）全程横切常驻，本技能不重复它们。
references/data-resource-map.md 的 intake 闭环。run_checkpoint --stage 2）；数据泄漏 / idea-killing 不足 → critical fail 确定性阻断。derive_eval_set.py 出鲁棒性/泛化/敏感性评测集。test cases passed, vs 4 / 19 without
More skills from the same source and nearby in the registry, with their headline benchmark lift.