qa-skills

简体中文 | English

qa-skills

让 AI 像资深测试工程师一样工作。

知识 × 工具 × 决策 —— 面向 Claude Code 等 Agent 的测试工程 Skill 框架。
每一个数字，都来自实测。

快速开始

安装

方式一：skills.sh 跨 Agent 安装（Claude Code / Cursor / Codex / OpenCode 等 70+ 宿主，一行命令）

npx skills add fishzjp/qa-skills --skill '*'

无论哪种方式，core/（共享知识库，不是可独立触发的 skill）必须一起装——单装任何一个 skill 而不带 core，相对路径引用会断；误装补救 = 补跑一次 npx skills add fishzjp/qa-skills --skill '*'（或手动补拷 core/ 目录）。方式一的 --skill '*' 全量安装已实测：12 个 skill + core 全部就位、引用完好。

方式二：安装脚本（自动检测宿主 skills 目录）

git clone https://github.com/fishzjp/qa-skills.git
cd qa-skills

./install.sh            # 交互式选择宿主目录（自动检测 ~/.agents/skills 等）
./install.sh --auto     # 或全自动安装

方式三：dsh 插件（npm 包 dsh-qa-skills）

dsh plugin --profile web add dsh-qa-skills

开始使用

装好后对 Agent 说一句：

帮我测试这个需求：{需求描述 + 仓库地址}

一句话，流水线就从需求理解一路跑到测试报告。只需要其中某一步的产出（写用例 / 审查 / 转自动化 / 回归范围）时，直接说需求就行。

能力总览

exploratory-testing（探索式测试，charter 驱动）、api-testing（接口级）、bug-analysis、regression-testing（diff → 回归范围）各自独立可用。

核心设计

可执行的测试用例

AI 写出的用例常常看似专业、实则无法执行——判定模糊、占位符、无判定时限、虚构入口。本框架的核心产出标准只有一条：没读过需求、没人讲解的人，拿着文件能直接开工。 同一个需求，产出长这样：

> 前置:运营账号已登录,进入「营销中台 → 券工场 → 活动列表」

- **TC-03-05 到达结束时间后优惠券自动变为已结束** [P1]
  - 操作步骤: 1. 选一张结束时间为 10 分钟后的已发布券「满100减20-测试」 2. 等待到期
  - 预期结果: 到期后 1 小时内状态自动变为「已结束」,超过 1 小时未变判失败

背后是 skills/core/executability.md 的 8 条硬标准；评测中它是一票否决项——不可执行的用例，覆盖再全也计零分。

三层架构：指令更少，遵循更强

把方法论、模板、规则全部塞进一个 SKILL.md，Agent 有效遵循的规则反而更少（Red Hat ACE 实践总结：指令超过 500 行后性能退化）。解法是三层架构：

L1  SKILL.md 头部      触发边界：什么时候用、什么时候不用、交给谁
L2  SKILL.md 正文      工作流：每次触发都要走的主干（≤500 行红线）
L3  references/ + core/  方法 / 规则 / 模板：按需加载，工作流步骤里显式引用

SKILL.md 只留流程编排，方法细节全部移到下层、用到才加载——Agent 每一步只看当前需要的那部分指令。

类型决策矩阵：决定测什么，更决定不测什么

未装 skill 的模型制定测试策略时，跨两个模型段位的 30 次评测采样里，没有一次给出显式的类型决策——输出里"提到"了性能与安全，却从不决定哪些纳入、测多深、哪些明确不测。提到不等于决策。

解法是类型决策矩阵：性能 / 业务安全 / 可靠 / 并发等十个测试类型逐一必答——纳入必须给出信号依据、排除必须留下记录、full 档有预算上限，每条决策落盘为机器可校验的 type_scope。实测：最弱模型类型查全率 0 → 0.88（详见实测效果）。

工作原理

文件即流水线状态——每个阶段把产出存成文件，下一个阶段只读文件、不依赖会话记忆；流水线再长也不怕超上下文，中断后新会话读文件接着跑：

PRD / 代码
   │  requirement-analysis
   ▼
需求模型.md ·················· ⏸ 澄清检查点
   │  test-strategy（风险 → 两域决策）
   ▼
测试策略.md（Risk Map + 类型域十轴决策 type_scope）· ⏸ 预算裁决
   │  test-case-writing
   ▼
测试用例 markmap（给人）+ schema.yaml（给机器）
   │  test-case-review
   ▼
⏸ 执行策略裁决（手动 / Playwright / API）
   │  automated-e2e-testing / api-testing
   ▼
执行产物 + Bug 证据 → bug-analysis → regression-testing
   ▼
回归清单.md → 测试报告.md

• 证据与风险模型：每条结论标注证据等级（E0–E4）；风险评级必须给出证据，给不出证据的评级无效——证据 → 风险 → 策略 → 用例，全程可追溯。
• 类型决策矩阵：十个测试类型逐一决策，纳入与排除都留痕；能机械扫描的信号由脚本生成预填表，弱模型照着预填表修订、而不是从空白硬编。
• 关键决策归你拍板：澄清提问、执行策略、Bug 定性、预算上限，这四类事由你裁决，Agent 只提案、不代答；你裁决落盘后，后续阶段不得推翻。

实测效果

12 个评测任务：同一模型、同一评测链路，唯一差别是有没有装本框架。数字以异构裁判复评轮为准（裁判模型与被评测的模型不同源），如实披露、包括不利结果。完整方法学与原始数据在本地评测链路维护、不随仓库分发；跨模型增益矩阵快照按里程碑随 Release 附带（Releases），Skill On / Off 产出对照见 examples/：

类型决策矩阵首轮实测（2026-08-23，尚未进正式增益表）：5 个类型决策任务（参考答案经双人独立标注复核），最弱模型 deepseek-v4-flash（n=3）：无 skill 组没有给出任何显式的类型决策——放宽判定标准也是 0，短板在决策纪律而非类型知识；有 skill 组类型查全率 0 → 0.88，需求未提、只写在代码里的可靠性/契约轴 0 → 8/9。任务池扩容、跨更多模型复现后进正式增益表。

更多文档

• examples/ —— 同一 PRD 的 Skill On / Off 产出对照
• CHANGELOG.md —— 版本历史（里程碑版本附增益矩阵快照）
• RELEASING.md —— 发版规则与检查单（四面分发同步 / 版本策略 / 测试门）
• 设计文档与规划（DESIGN / 决策层设计稿 / v2 规划）—— 维护者本地资料，不随仓库分发

skills/                  产品本体（12 个 skill + core 共享知识库）
  qa/                    编排入口（薄，无领域知识）
  core/                  共享知识库（作为依赖随 skill 一并安装，不独立触发）：evidence / risk-model /
                         executability / testing-principles / report-template / case-format /
                         coverage / schema-extraction / clarify-pattern / test-type-matrix（类型决策矩阵）/
                         triage（失败分流）/ pipeline-integration（非交互与 CI 集成）
                         + methods/（5 篇方法细则）+ scripts/（schema 校验器 + 类型信号扫描器）
  requirement-analysis/  test-strategy/  test-case-writing/
  test-case-review/      automated-e2e-testing/  api-testing/
  exploratory-testing/   bug-analysis/  regression-testing/
  qa-memory/             test-reliability/（flaky 与套件可靠性治理）
.dsh/                    dsh 插件三件套（清单见 package.json 的 dsh.bundle）
assets/                  视觉资产（README 头图 hero、分享图 og.jpg、社交预览图 social-preview）+ 落地页自托管字体 fonts/
examples/                Skill On / Off 产出对照
scripts/                 守门脚本（validate_skills.py 架构红线 + validate_repo.py 仓库面守门）
tests/                   回归测试与安装器冒烟（test_product_scripts / test_memory_validator /
                         test_repo_gates / install_smoke.sh）
index.html               官网落地页（GitHub Pages 构建源）

贡献与社区

• 贡献指南与架构红线：CONTRIBUTING.md；本地自检 python3 scripts/validate_skills.py + python3 scripts/validate_repo.py（与 CI 同一校验）
• 🐛 缺陷 / 💡 功能建议：先到 Discussions（问答与经验分享），确认后提 Issue
• 🛡️ 安全漏洞：请勿公开讨论，按安全策略私密报告
• 📜 行为准则：CODE_OF_CONDUCT.md · 📋 版本历史：CHANGELOG.md

许可证

MIT