qa-skills

简体中文 | English

qa-skills

让 AI 像资深测试工程师一样工作。

知识 × 工具 × 决策 —— 面向 Claude Code 等 Agent 的测试工程 Skill 框架。
每一个数字，都来自实测。

快速开始

git clone https://github.com/fishzjp/qa-skills.git
cd qa-skills

./install.sh            # 交互式选择宿主目录（自动检测 ~/.agents/skills 等）
./install.sh --auto     # 或全自动安装

或通过 skills.sh 跨 Agent 安装（Claude Code / Cursor / Codex / OpenCode 等 50+ 宿主）：

npx skills add fishzjp/qa-skills            # 交互式勾选，全装用 --skill '*'

DeepSeek Harness（dsh）用户：本仓库已打包为 dsh 插件（npm 包 dsh-qa-skills），一条命令安装——

dsh plugin --profile web add dsh-qa-skills

也可以走文件路径：dsh 原生兼容本仓库格式，装到 ~/.agents/skills/（./install.sh --target ~/.agents/skills）或 ~/.dsh/skills/，重启 dsh 生效。已在 dsh 0.1.0-rc.8 + deepseek-v4-flash 上完成双路径端到端验证。

core 是共享知识库依赖单元（不可执行任务），安装任一 skill 时必须一并安装，否则引用路径断裂。

装好后对 Agent 说一句：

帮我测试这个需求：{需求描述 + 仓库地址}

从需求理解、风险与类型决策，到测试报告——完整流水线就此跑通。只需要其中某个阶段（写用例 / 审查 / 转自动化 / 回归范围）时，直接描述需求即可，无需走完整流水线。卸载：./uninstall.sh；手动安装：cp -r skills/* <skills 目录>/（core/ 必须一起复制，各 skill 以相对路径引用它）。验证安装：ls <skills 目录> 应见 10 个 skill 目录 + core/ + qa-skills.VERSION。

→ 设计文档 · 决策层设计 · Skill On / Off 产出对照

能力总览

exploratory-testing（charter 驱动探索）、api-testing（接口级）、bug-analysis、regression-testing（diff → 回归范围）各自独立可用。

能写，更要能执行。

AI 写出的用例常常看似专业、实则无法执行——判定模糊、占位符、无判定时限、虚构入口。

同一个需求，本框架的产出长这样：

> 前置:运营账号已登录,进入「营销中台 → 券工场 → 活动列表」

- **TC-02-05 到期自动结束** [P1]
  - 操作步骤: 1. 选一张结束时间为 2 分钟后的已发布券「满100减20-测试」 2. 等待到期
  - 预期结果: 到期后 1 小时内状态自动变为「已结束」,超过 1 小时未变判失败

核心产出标准只有一条：没读过需求、没人讲解的人，拿着文件能直接开工。 这背后是 skills/core/executability.md 的 8 条硬标准；评测中它是一票否决项——不可执行的用例，覆盖再全也计零分。

指令更少，遵循更强。

把方法论、模板、规则全部塞进一个 SKILL.md，Agent 有效遵循的规则反而更少（Red Hat ACE 实践总结：指令超过 500 行后性能退化）。解法是三层架构：

L1  SKILL.md 头部      触发边界：什么时候用、什么时候不用、交给谁
L2  SKILL.md 正文      工作流：每次触发都要走的主干（≤500 行红线）
L3  references/ + core/  方法 / 规则 / 模板：按需加载，工作流步骤里显式引用

SKILL.md 只装流程编排，方法细则全部下沉、按需加载——Agent 每一步只面对当前需要的指令。

会测，更会决定不测什么。

未装 skill 的模型制定测试策略时，在跨两个模型段位的 30 次评测采样中零显式类型决策——输出里"提到"性能与安全，却从不决定哪些纳入、测多深、哪些明确不测。提到不等于决策；不可审计的策略等于没有策略。

解法是类型决策矩阵（决策层）：性能 / 业务安全 / 可靠 / 并发等十个测试类型全轴必答——纳入必须挂信号（G 级信号由脚本扫描并生成预填表）、排除必须留痕（G+S 双清单）、full 档有预算上限，每条决策落盘为机器可校验的 type_scope（V1–V5）。实测：最弱模型类型查全率 0 → 0.88，需求未提、只存在于代码的可靠性/契约轴 0 → 8/9（详见实测效果一节的决策层注）。

工作原理

文件即流水线状态——每个阶段产出落盘为文件，下一阶段只消费文件而非会话记忆；长流水线不依赖上下文，中断后新会话读文件续跑：

PRD / 代码
   │  requirement-analysis
   ▼
需求模型.md ·················· ⏸ 澄清检查点
   │  test-strategy（风险 → 两域决策）
   ▼
测试策略.md（Risk Map + 类型域十轴决策 type_scope）· ⏸ 预算裁决
   │  test-case-writing
   ▼
测试用例 markmap（给人）+ schema.yaml（给机器）
   │  test-case-review
   ▼
⏸ 执行策略裁决（手动 / Playwright / API）
   │  automated-e2e-testing / api-testing
   ▼
执行产物 + Bug 证据 → bug-analysis → regression-testing
   ▼
回归清单.md → 测试报告.md

• 证据与风险模型：每条结论标注证据等级（E0–E4）与状态；风险评级强制挂证据，无证据的评级无效。推导链全程可追溯：证据 → 风险 → 策略 → 用例。
• 类型决策矩阵：十轴全轴必答，纳入与排除都留痕，full 档有预算上限；G 级信号由脚本扫描成预填表，弱模型从预填表修订、而非从空白生成。
• 人在环路的检查点：澄清、执行策略、Bug 定性、预算上限四类事项由你裁决，Agent 只提案、不代答；裁决落盘后，后续阶段不得推翻。

设计动机与关键决策（为什么是 10 个窄 skill、为什么 markmap 是唯一维护源、为什么评测先于扩容）见 DESIGN.md。

实测效果

在 12 个任务的黄金集上评测：同一模型、同一评测链路，唯一差异是是否注入本框架；数字以异构裁判复评轮为准，如实披露（含反向结果）。完整方法学、原始数据与研究报告在本地评测链路中维护、不随仓库分发；每版 Release 附跨模型增益矩阵快照（Releases），On / Off 产出对照见 examples/：

决策层首轮（2026-08-23，类别性判读，未进正式增益表）：类型域决策任务（5 任务黄金集，参考答案经双人独立标注复核）在最弱模型（deepseek-v4-flash，n=3，注入式上界口径）上：无 skill 组零显式类型决策（宽容口径亦为 0——输出里"提到"了正确类型，但没有逐轴的纳入/排除决策，盲区在决策纪律而非类型知识）；有 skill 组类型查全率 0 → 0.88（格式锤复验轮），其中需求未提、只存在于代码的可靠性/契约轴 0 → 8/9。数字待任务扩容与跨模型梯度轮后进正式表。

更多文档

• DESIGN.md —— 设计动机与关键决策
• 决策层设计稿 —— 类型决策矩阵完整设计（十轴 / R1–R6 / V1–V5 / 弱模型机制）
• v2 规划 —— 演进蓝图与历史决策记录
• examples/ —— 同一 PRD 的 Skill On / Off 产出对照
• CHANGELOG.md —— 版本历史（各版本附增益矩阵快照）

skills/                  产品本体（10 个 skill + core 共享知识库）
  qa/                    编排入口（薄，无领域知识）
  core/                  共享知识库（SKILL.md 仅作安装依赖单元，不参与任务触发）：evidence / risk-model /
                         executability / testing-principles / report-template / case-format /
                         coverage / schema-extraction / clarify-pattern / test-type-matrix
                         （类型决策矩阵）+ methods/（4 篇设计方法细则）+ scripts/
                         （Schema 校验器 + 类型信号扫描器）——被多 skill 消费的内容统一在此
  requirement-analysis/  test-strategy/  test-case-writing/
  test-case-review/      automated-e2e-testing/  api-testing/
  exploratory-testing/   bug-analysis/  regression-testing/
docs/                    设计文档（DESIGN / 决策层设计 / v2 规划）
examples/                Skill On / Off 产出对照

贡献与社区

• 贡献指南与架构红线：CONTRIBUTING.md；本地一条命令自检 python3 scripts/validate_skills.py（与 CI 同一校验）
• 🐛 缺陷 / 💡 功能建议：先到 Discussions（使用问答与经验分享），确认是缺陷或明确诉求后再提 Issue
• 🛡️ 安全漏洞：请勿公开讨论，按安全策略私密报告
• 📜 行为准则：CODE_OF_CONDUCT.md · 📋 版本历史：CHANGELOG.md

许可证

MIT