dsh-nvidia-models-panel
windxxf/dsh-nvidia-models-panel
检测可用的 NVIDIA NIM 模型、逐个真实试调用验证、面板内保存 API Key,一键配置进 DeepSeek Harness 设置。
安装
dsh plugin --profile web add github:windxxf/dsh-nvidia-models-panelREADME
dsh-nvidia-models-panel
DeepSeek Harness 插件:在侧边栏提供「Nvidia 模型」面板。
- 检测:拉取 NVIDIA NIM 当前可用的全部模型(
/v1/models) - 验证:逐个模型真实发起对话试调用(流式首字节探测,对思考类模型也准确),标出「可用 / 不可用」
- 保存 Key:在面板内直接保存 NVIDIA API Key(存入本机 profile 凭据,不写入任何配置文件或代码)
- 一键配置:把试调用通过的模型写入 设置 → 模型 → nvidia 供应商目录,立即出现在对话框模型选择器中
- NVIDIA 模型组(自愈):新增一个「NVIDIA 模型组」虚拟供应商——把它选为当前模型后,运行时若首个模型首包超时/报错,会自动在同一请求内切换到组内下一个可用模型,无需重试、不会中断对话
- 健康看板:面板内实时显示每个成员模型的状态(可用/失败/冷却中)、首包耗时、连续失败次数与最近错误,并可一键探测、重置熔断
- 调用日志:面板内「调用日志」标签页展示当天的整体调用量、自动切换次数、各模型使用量与 token 消耗,以及最近调用明细(含「← 切换自」来源),直观看到故障转移是否发生
安装
在 DeepSeek Harness 会话里对助手说(任选其一):
方式 A · GitHub 直装(最简单)
用 plugin_manager 的 install_bundle 安装 github:windxxf/dsh-nvidia-models-panel
方式 B · Release 包安装
用 plugin_manager 的 install_bundle 安装 https://github.com/windxxf/dsh-nvidia-models-panel/releases/latest/download/dsh-nvidia-models-panel-1.0.0.tgz
方式 C · 克隆安装
git clone https://github.com/windxxf/dsh-nvidia-models-panel.git
用 plugin_manager 的 install_bundle 安装目录 <克隆到的绝对路径>
安装完成后刷新页面即可。
使用
- 打开侧边栏「Nvidia 模型」面板
- 粘贴 NVIDIA API Key 并保存(只需一次,保存在本机)
- 点击「检测」获取可用模型列表 → 「验证」逐个试调用
- 点击「一键配置」,试调用通过的模型即写入 nvidia 供应商目录,可在对话模型选择器中直接选用
NVIDIA 模型组(自动切换 / 自愈)
除了单个模型,插件还注册了一个虚拟供应商 「NVIDIA 模型组」(provider id nvidia-group)。
最省心的用法:直接选「NVIDIA 模型组(自动)」。模型选择器里该组的第一项就是一个虚拟的「自动」条目(id __auto__),选它即可——它不指定首选,完全按实时健康度挑最优成员,失败则自动切下一个。你也可以选组内某个具体模型:选中的那个作为「首选」,仍然保留其余成员作为故障转移后备(因此即使首选卡住也只会多等一个首包超时的时间)。
- 在对话的模型选择器里选 「NVIDIA 模型组(自动)」(或组内某个具体模型),把它设为当前模型
- 之后每次请求,插件都会按「健康度」排序依次尝试组成员:
- 对每个成员设 首包看门狗(默认 15 秒,可在面板
setGroupConfig调整):首包迟迟不来就立即放弃、换下一个成员,不再傻等 30 秒 - 再设一道 首段正文看门狗(默认 30 秒):首包已到、却迟迟给不出正文(一直只有思考内容)也会中止并换下一个成员
- 只有当上一个成员完全没有输出正文时才切换(已输出正文则如实报错,不会拼接错乱)
- 对每个成员设 首包看门狗(默认 15 秒,可在面板
- 失败成员进入熔断冷却(连续失败 ≥2 次起,指数退避 20s→40s→…,上限 5 分钟),冷却期内被跳过,避免反复踩坏模型
- 全部成员都不可用时,才抛出最后一个真实错误(或「全部成员均在冷却」)
- 能力感知路由:含图片输入的请求只会路由到多模态(
input含image)的成员,避免把图片发给纯文本模型导致 400 - 上下文窗口按真实值声明:
/v1/models会上报context_window的模型(如 deepseek-v4.1-flash 报 1M)就用真值;未上报的按模型族给合理值(长上下文族 1M、其余对话族 256K),不再一律写 128K。若某成员确实装不下这一轮请求(返回CONTEXT_WINDOW_EXCEEDED),视为「能力不符」直接换下一个成员,且不计入熔断(模型本身没问题,只是这次请求太长);这样长会话下不会再被误判成致命错误。 - 空回答自动切换 + 思考型模型降级:「自动」模式下重推理模型(id 含
reasoning/thinking/omni/debate)会排在普通模型之后,默认不会被优先选中。即便它真的被选中,只要它把输出预算全烧在「思考内容」上、一个正文都没产出就撞到max-tokens,插件会丢弃这段空回答、静默切到下一个成员,不向你抛半截内容、也不计入熔断。这样就不会再出现「跑了好几分钟、什么回答都没有、最后报『已达到输出 token 上限』」。
组成员从哪来(自动发现,开箱即用):已「一键配置」过的模型 → 最近一次「检测」到的对话模型 → 内置种子模型。后台还会每 5 分钟静默刷新一次目录(有 API Key 时),自动跟上新上架的模型。
健康看板:面板顶部有「模型库 / 模型组健康 / 调用日志」三个标签页切换。「模型库」页放检测/试调用/一键配置等主操作;「模型组健康」页实时展示每个成员的状态徽标、冷却剩余、首包耗时、连续失败次数与最近错误,按钮「探测模型组」会对每个成员做一次快速首包探测并刷新健康表,「重置」可解除单个成员的熔断。
调用日志:第三个标签页「调用日志」把模型组当天每次尝试都记下来——顶部是今日总调用 / 成功 / 失败 / 自动切换次数 / 输入输出 token 汇总,中间是按模型的用量表(调用数、成功、失败、平均首包、token),底部是最近调用明细(时间、成员、✓/✗、首包、耗时、token、错误,以及该次是否为「← 切换自 X」)。这样即使对话界面不显示切换(故障转移发生在同一次请求内部、模型 id 未变),也能在面板里直观看到切换是否发生、各模型用了多少。日志按天分桶(本地日期,最多保留 7 天、每天最近 200 条),可「清空当日统计」。
使用说明:面板标题栏右侧有 ? 按钮,点开是居中浮层说明:三步上手(配置 Key → 检测/验证/一键配置 → 对话框选「NVIDIA 模型组(自动)」)、机制要点(故障转移 / 熔断冷却 / 能力路由 / 自发现 / token 计数)以及常见问题;未配置 Key 时浮层顶部会提示先配置。浮层限定在面板内(点击遮罩或 ✕ 关闭),不占常驻空间。
说明:模型组是一个独立虚拟供应商(
nvidia-group),它内部通过provider: 'nvidia'调用真实模型,因此需要先保存好 NVIDIA API Key。「NVIDIA 模型组」是否出现在模型选择器中,取决于宿主是否暴露了llm服务(DeepSeek Harness ≥ 0.2.1 默认具备)。
说明
- 零 npm 依赖:全部能力由 Harness 宿主提供,无需构建步骤
- API Key 保存在各电脑自己的 profile 凭据里,不随仓库/安装包迁移,换机需重新输入
- 「一键配置」写入当前 profile 的
cordis.patch.yml(llm-pi-ai 条目的providers.nvidia.models),可重复点击,每次以最新验证结果为准 - 需要 DeepSeek Harness ≥ 0.2.1