스킬 품질 자동 검증 도구. 생성된 스킬의 테스트 케이스를 실행하고 baseline 대비 개선을 측정합니다. A/B 테스트, 회귀 테스트, 체인 테스트 + 4차원 스코어링 루브릭을 단일 스킬에 내장하여 self-contained로 동작합니다. 다음과 같은 요청 시 반드시 이 스킬을 사용하세요: - "스킬 테스트해줘", "스킬 검증", "skill-tester" - "이 스킬 품질 확인해줘", "A/B 테스트" - "스킬 회귀 테스트", "스킬 체인 테스트" - "스킬 루브릭 스코어링", "4차원 평가" - skill-builder Phase 5 이후 검증이 필요할 때 - /harness 커맨드의 test 단계로 진입할 때
SkillScore100Maintained
Automatic
◆AI Engineer pack
Last verified 8/22/2026
What it changes
Passed 21 of 21 test cases with the skill, and 9 of 21 without it.
Without skill41%
With skill100%
Checks it passed that the model alone missed
Specifies a minimum sample size of 2-3 runs
Mandates both self-evaluation and peer evaluation
Recommends revision because the weighted score is below 0.75
and 13 more in the full report
13 fixed9 passed either way0 still failing0 broke
Pass-rate lift
+59 pp
Tokens
+163%
Agent turns
0%
Response time
-26%
Model gemini-3.6-flashMeasured 8/22/2026v122 of 22 cases passed with skill · 21 comparable
Tokens, turns and time describe resource use, not a dollar price.
See it in action
One of 12 test cases the skill fixed. Same model, same prompt, with and without the skill.
1 of 12
Prompt
A newly added test case was run during a post-modification review sweep. State the exact status label assigned to this result when comparing with past baseline.
What was checked, without and with the skill
Checked
Without skill
With skill
Classifies the status as INFO due to missing baseline comparison
Missed
Passed
case-11 · gemini-3.6-flash · 8/22/2026 · answers are capped and redacted
What's inside
The instructions your model reads when the skill loads.
SKILL.md368 linessingle file
Skill Tester — 스킬 품질 검증 도구 (루브릭 + 체인 내장)
moai-core | revfactory/harness 테스트 방법론 기반
single source of truth for: 4차원 스코어링 루브릭, 스킬 체인 검증 프로토콜
개요
skill-builder로 생성된 스킬 또는 기존 스킬의 품질을 검증합니다. harness의 A/B 테스트 방법론을 구현하여 baseline(스킬 없음)과 with-skill(스킬 사용)을 비교하며, 4차원 스코어링 루브릭과 체인 검증 프로토콜을 본문에 직접 포함하여 별도 rules 파일 참조 없이 단독으로 동작합니다.
트리거 키워드
스킬 테스트 검증 A/B 테스트 baseline 회귀 테스트 체인 테스트 skill-tester 품질 측정 루브릭 스코어링 4차원 평가
워크플로우
1. [로드] → 대상 스킬의 tests/test-cases.yaml 로드
2. [선택] → 테스트 모드 선택 (A/B | 회귀 | 체인 | 루브릭 단독)
3. [실행] → 테스트 프롬프트를 Claude Code에 실행
4. [측정] → 토큰 사용량, 출력 품질, 시간 측정
5. [스코어] → 4차원 루브릭 가중 평균 산출
6. [비교] → baseline vs with-skill 결과 비교
7. [보고] → 스코어 리포트 생성