본문으로 건너뛰기
Z

dsh-plugin-model-eval

zhangzhengruinus/dsh-plugin-model-eval

Evaluate your available models, compare capability and task time, and choose a configuration that fits your work.

설치

dsh plugin --profile web add github:zhangzhengruinus/dsh-plugin-model-eval

README

Model Coordinates — 模型评测与选型

评测你可用的模型,对比能力与耗时,选择适合当前任务的配置。

Evaluate your available models, compare capability and task time, and choose a configuration that fits your work.

面向 DSH(DeepSeek Harness)已配置模型的本地选型工具。比较量化、微调或不同生成参数下的能力、响应速度和可得用量,保留每次运行和逐题证据。

当前版本 0.1.1。 兼容环境为 Windows x64、DSH 0.2.2-rc.1。安装包自带 Windows 判分资源;选择测评、裁判或测速模型时,实际请求由 DSH 发送到相应的供应商。资源准备和历史读取不需要模型请求。

当前提供通用能力评测轻量 1.0、深入 1.0 和中文写作 1.0。三个系列独立升版。首次准备复制当前通用档位的离线资源,单独写作按需准备。

首装显示各系列的当前版本。升级后,如当前数据目录已有旧通用评测记录,可在设置中恢复其显示。具体见评测版本与归档。

设置中的“开发诊断”默认关闭。开启后,可在报告的编程题明细中重放已保存代码,查看本地判分耗时和失败原因。每题保留最近一次诊断,随明细清理;结果单独记录,原成绩保留。

「模型对比」按评测类别和版本展示本机完成的成绩。现行三个版本均提供 GPT-6 Astra Max 的项目实测参考。

比较以供应商、模型 ID、路由、部署及参数快照为配置身份,按完整评测协议分组;每个配置显示最近完整的轨道成绩,通用能力与中文写作分开。星标可更换差值基准,成绩矩阵支持排序与键盘横滚,并保留原报告和逐题明细入口。

主图统一显示任务综合分与平均任务耗时:按能力权重汇总逐题作答活动,含失败尝试和自动重试等待;工具题覆盖多轮过程,排除本地判分。调用中位、P95和正文首字等待留在报告与点选详情。缺少完整任务计时的旧记录仍可查看成绩,不以调用时间或测速预估冒充任务耗时。只有运行条件已知一致、写作裁判也相同,且存在至少两个不同的非支配坐标时才连观测边界;不同裁判仍可并列查看。缺失指标显示“—”,已知 Token 分项保留,未记录的用量完整性不会被推断为完整。报告历史仅连接同配置、同协议的完整记录,写作跨裁判断线。

新评测持续收到推理、正文或有效工具调用时会继续等待。连续无输出超时后,该题保留为待补测,其他题继续。可重试的网络故障遵循有限重试;鉴权等配置问题会暂停。报告记录实际执行规则。用时参考区分同配置实测与短测速粗估。

评测内容

子能力固定精选(轻量/深入)计分
知识与推理原创选择 6/28 题+MMLU-Pro 10/52 题+OlympiadBench 3/19 题最终选项或数值正确性
资料理解LongBench v2 原文限长8/50题,单轮适配最终选项准确率
指令遵循IFEval 多约束20/100题,规则适配版每题全部严格约束通过
代码能力原创编程 8/70 题单份 Python 程序通过全部测试
工具使用BFCL V4 多轮基础场景7/29项,封闭模拟适配整项任务的状态与必要操作全部通过
独立中文写作Ziya 10题+项目原创 2题所选裁判按五维0—4判分,12题平均

五项各转换为0—100分、各占20%,构成任务综合能力分;写作独立。有效答错按0计,技术缺失不当答错、不缩分母;五项规定内容全部有效判分才出总分。不支持原生工具时显示未测,不以0补齐。修订轻量档各项为19/8/20/8/7题,单题约影响总分1—2.9分,小分差不支持稳定排名。轻量是深入的严格子集,每轮全跑所选档位。

这些是本工具协议下的成绩,不是来源基准全量官方成绩、IRT 或 Artificial Analysis 同尺度总分。公开题有训练污染、覆盖和重复运行随机性等限制。轻量的实测时长取决于部署和推理速度,深入档以约2—3小时为参考目标;使用可选测速查看初步整轮估时。参考解、错误解与本地运行器验证不等于真实模型区分度或时间校准。固定精选另有少量真实模型试跑记录;单轮观察不能保证跨部署的区分度、排名稳定性或预估精度。

新建通用评测默认轻量,成绩按完整协议分组。旧版已保存的成绩和逐题明细可继续查看。旧协议续测及需要题面的补判使用原先准备且通过校验的本机资源;缺失或损坏时,界面会说明原因。

相邻第2/3版轻量结果可按59道共同题比较各项通过数,不混排两版总分。保留明细且部署和参数一致时,可选择“补测到新版”,预览复用59题、新测5题后确认;创建独立新版记录,旧成绩保留。分阶段结果不进入单次实测的耗时图和趋势。明细清理、身份或条件变化会说明无法复用的原因。

原生完整轻量记录可显式“补测为深入”:先预览核对同配置、共享题目和评分条件,再独立确认开始。创建关联深入记录,复用所选协议的全部轻量回答及有效成绩(包括答错);当前62/348题协议仅补286题,来源轻量成绩不变。离线复判记录不作为新的原生作答轮次。明细已清理、配置或条件变化时说明原因,不静默全跑。新增用量与“复用部分(此前已发生)”分开,暂停及来源清理后仍可凭独立副本恢复。隐藏服务端默认和静默部署变化仍需用户用部署标签区分。

两项经明确确认的适配:HumanEval/32 保留全部增强输入,以 find-zero-stable-v1 组合精确有理数残差、绝对容差和 binary64 表示误差界,没有修补模型代码;自检使用单独命名的稳定参考夹具,原 canonical 保留。IFEval 不装再分发许可未澄清的 Punkt 预训练数据,采用固定 Google 正则分句与开源 Treebank 分词。公开540份回答回归中538一致、2改变,不保证其他回答的差异范围。

协议、逐文件哈希、许可依据在 资源清单、通用协议、数值适配、规则适配;源码中的 docs/evidence/ 保存分层证据。

评分修订2(R2)继续使用同一套62/348题和五项各20%权重,只修正一项工具答案格式误判。持有历史数据的同渠道安装可继续查看旧协议成绩和答卷。离线复判不调用模型;有完整证据时,耗时图沿用原答卷计时并明确标注。

评分修订3(R3)沿用 R2 的 62/348 道题。CodeContests 本地判分超过 60 秒时显示仍在运行,达到 240 秒保护上限后把完整答卷标为待补判。可在评测页选择仅补判,直接使用已保存的答卷,模型调用为零。计算量和 WASI 线性内存上限沿用 R2。

中文写作 1.0 的内置参考由 GPT-6 Astra Max 经 ChatGPT 订阅作答并按固定五维量表评分。包内只提供汇总成绩、用时与评测条件。通用能力参考区分平均任务耗时、批次累计活跃时长和含暂停的总历时。中文写作分别显示平均作答耗时和包含评分的整轮耗时。

使用

  1. 在 GitHub Releases 下载 dsh-model-coordinates.tgz。在 DSH 的插件管理中选择「安装第三方插件」,输入下载文件的路径,安装后启用。在侧栏打开「模型评测」。宿主兼容声明为 DSH 0.2.2-rc.1,随包判分环境面向 Windows x64。

  2. 第一次点「新建评测」会在后台准备轻量 1.0、深入 1.0 的题集和两档共用的 Windows 判分工具,你可以同时选择模型。准备失败可在表单内重试。资源随包提供,准备过程不会调用模型。

  3. 新建评测,选择模型。评分资源就绪后,由你点击「开始评测」。默认读取宿主参数,可修改本轮温度、最大输出 Token、推理强度、停止词,不写回宿主。可添加同模型的多个配置,并用备注区分不同部署或实验条件。

  4. 选择通用能力的轻量或深入档,也可另选中文写作或只测写作。只有一套评测配置时,写作默认沿用该配置评分,可更换裁判。多套配置需选择统一裁判。不支持的参数会明确提示。

  5. 多配置依次执行,每配置同时调用1—4题,默认4,连续无新输出等待默认300秒,持续推理、正文和有效工具调用不设总时限。重型本地评分串行。技术调用最多额外尝试2次,鉴权和配置错误暂停;有效答错不重试。

  6. 可直接开始评测,也可用页脚「查看用时参考」免费查看同配置的本机实测。测速默认每配置最多 60 秒,可调整为 15–300 秒,样本满足条件时可提前结束。只有点击「开始测速」才会调用模型,调用上限和计费见旁边的「测速与计费」。

  7. 批次进度卡展示累计 Token(含裁判及可得重试用量)、输入/输出、已用时间与动态预计剩余时间。用量随接口返回更新,缺失部分不补零;已用时间每秒刷新,暂停不计时。估算器按阶段观测与匹配历史修正,每5秒检查无进展的等待。缺少适用参照或当前长尾无法支持时撤销数值预估;暂停标注当时预估,恢复重新校准。

  8. 可手动暂停,退出重开后手动继续。完整回答先落盘再评分;判分故障复用完整回答。未完整保存的调用可能重做并增加用量。

调用走宿主 prepared-call 接口,不读取、另存或内置密钥,不创建匿名服务端口。第三方 adapter 的真实传输/隐藏重试仍需在目标宿主观察,源码检查不代表全链路实测。

写作五维为忠实与准确、逻辑与结构、任务覆盖、简洁与具体、自然与得体。裁判给出理由和可定位引文,不按禁词、分点次数或 AI 检测器判断。合理假设和原题允许的占位不视为捏造。当前覆盖报告、通知、函件、方案、会议整理,不覆盖完整操作说明书/用户手册。

更换裁判只填未有效评分项,旧评分、各次裁判快照、尝试、用量保留;可跨裁判并列,混合条件和自评有标注。格式/引文存在验证不等于裁判质量校准。不提供主动重判历史。

每项工具任务最多24个逻辑模型回合、32个动作,跨所有用户轮次共享;技术重试不重置动作与回合预算,成功动作保存后不重复执行。模拟环境只处理固定公开方法与JSON参数,不执行模型代码或真实业务操作。

耗时预估的口径

测速额外用量单列,不计入正式评测 Token 或能力成绩,也不把测速答案用于正式题目。可观测 TTFT 是首次输出事件的等待(可能先出现推理),近似 TPOT 仅在流式事件和输出 Token 口径可核对时提供;缺失时仍可按完整请求与本地评分的端到端耗时估算。

预估的是“跑完一遍需要多久”,不包含之后的补测。短测速不运行完整竞赛题。通用 1.0 首轮的吞吐粗估不包含本地判分;样本不足时不展示数字。同条件的正式首轮观测可单独作为「上次实测」查看,无需此前测速。

首轮预估是取整后的参考值。正式运行按各类任务的实际速度、活跃等待、串行本地判分和工具整场进度更新。暂停不累计离线时间,多配置依次相加;首轮结束但仍需补测时显示待补测题数,补齐前不生成完整能力成绩。不同模型、部署与题集可能明显偏离测速预估。

停止后先发出取消并阻止新请求,等模型/评分和记录收尾才允许下一任务;供应商不一定立即停止计费。界面关闭后仍有全局测速状态入口。正式报告保留开始前的测速快照与最终预估,来源测速记录清理后快照仍在。

离线评分修订

task-five-v3-r1不增加难度或新题。统一排除缺少正比值条件的数学2648和“草拟/发布”意图不明确的工具base11;修正符号频率、选项与选项内容一致性、两个文件工具场景的证据判分。剩余题面与编程测试保留。新旧总分按协议分组,不能把口径变化当作模型能力提升。

旧答卷复判单独保存,带来源和规则指纹;原分、原答案与原实测记录保留。复判不增加模型调用或 Token,不生成新效率点,不进入实测趋势,不能当作普通任务续跑或升档。

本地历史

GitHub 发行版默认使用独立目录 ~/.dsh-model-coordinates/,不会自动读取其他发行渠道的数据。可切换到其他空目录或本工具目录,不迁移、不删除原目录。切回可看原历史,未知存储版本拒绝修改。同一目录仅一个写者,其他实例只读。

历史有独立的“评测记录”“测速记录”和“估时记录”页签。测速可按会话清理。估时记录按完整评测及关联测速分组,最近保留20轮参照,共用测速在不再被其他评测引用时才清理;选中可释放量即时显示。清理不影响成绩、逐题明细或报告中已保存的预估快照,后续预测不再使用已删除参照。独立计时文件故障只停用估时,不阻断成绩读取和能力评测。

每轮独立 ID;供应商/服务路由、模型 ID、有效参数及可选部署标签构成比较对象。服务端未公开默认值或静默换部署无法自动识别,需要部署标签。看板按轨道与协议取最近完整成绩,未完成新任务不会覆盖它。

可多选批次清理明细。保留成绩、写作五维汇总、配置、裁判条件、速度用量,删除逐题回答、尝试与判分明细。活动批次不可清理,未完成批次清理后不能续测。预计、确认删除、剩余及崩溃边界无法归属的字节分列,部分失败可重试。容量是文件字节,不是磁盘分配块。

只累计接口提供的用量,未知不填零,推理/缓存不重复相加,可得失败用量保留。正常完整调用报告中位/P95与可观察首正文耗时;活动时间排除排队、暂停和离线间隔,异常尾部标不完整。无价格不推算金额。

开发与证据

开发环境:Windows x64、Node24.21.0。ESM Host 与宿主 React ModuleLoader Client,零运行时 npm dependencies,无安装脚本。

npm ci --ignore-scripts
npm run typecheck
npm run build
npm test
npm run test:ui -- --project=chromium
npm pack --ignore-scripts
node scripts/verify-package.mjs <本地包路径.tgz>

UI 测试需要开发机 Playwright Chromium;scripts/preview.mjs 仅为127.0.0.1合成数据预览,不进入插件包,用户不需要开发依赖。

不可信代码只进入只读 WASI,无 guest 宿主目录、网络或进程能力,Host 持有预期值并比较,限制内存、计算、墙钟和输出并可取消。原生评分环境仅执行固定可信代码。哈希和当前隔离回归不是未来引擎漏洞的绝对安全证明。

验收分开记录真实评测、合成夹具、离线判分、实际安装和宿主界面。资源来源与分发边界见随包来源说明。

许可

自有代码 MIT;题集、运行时和其他第三方资源各自适用的条款见 来源及许可及 resources/licenses/。中文写作包含 10 道 Ziya 题及 2 道原创虚构题。旧写作成绩与现行套题分组保留;续测需要本机仍有可校验的原版资源。WASI 组件记录不包含完整上游二进制成分清单。

本仓不含内部指南、地址、业务数据或真实凭据。代码推送、包发布、市场收录与实际可安装分别记录。

开发校准使用v4专用短探针,完整竞赛题不再作为短测速样本;资料输入只作固定信息提取。新旧探针身份隔离,基线与验证运行绑定程序hash。每轮采集需要独立的本地授权、精确启动校验与全局一次性消费记录;验证轮先保存预测再执行正式评测。普通构建不启用开发校准启动器;真实调用预算、独立精度验证与产品自动化测试分别记录,不自动追加模型试验。

관련 플러그인