跳过主要内容
T

dsh-image-formats

tlewa/dsh-image-formats

让 read_image 与输入框接受 AVIF、TIFF、SVG:宿主侧复用 DSH 自带的 Sharp、客户端复用浏览器解码器,先转成 PNG 再走原有附件链路,不新增运行时依赖。

安装

dsh plugin --profile web add github:tlewa/dsh-image-formats

README

dsh-image-formats

CI npm version License: MIT

简体中文 · English

让 DeepSeek Harness(DSH)的 read_image 和输入框直接接受 AVIF / TIFF / SVG:需要时自动转成 PNG,再交给现有的附件与上传链路。

DSH 原生只认 PNG、JPEG、WebP、GIF。AVIF 在客户端上传前就会被拒,read_image 也会按扩展名 拒绝 AVIF/TIFF/SVG。本插件不改 app.asar,也不新增运行时依赖:宿主侧优先复用 DSH 桌面版 自带的 Sharp/libvips,CLI profile 里没有时回退到某个 profile 已安装的 Sharp;客户端侧复用 浏览器自带的解码器和 canvas。

它解决什么

入口原生 DSH装了本插件
输入框粘贴 / 拖拽 / 选择 AVIF上传前拒绝浏览器转成 PNG,再走官方上传链路
read_image 读 AVIF扩展名或字节嗅探拒绝Sharp 转成 PNG 后作为图片附件返回
read_image 读 TIFF拒绝Sharp 转成 PNG
read_image 读 SVG拒绝Sharp/libvips 渲染成 PNG
PNG / JPEG / WebP / GIF正常原样直通,不经过转换器
HEIC / HEIF / JXL / PSD / RAW拒绝明确报错并给出可操作的建议,不静默猜测

两半实现

宿主:同名 read_image 遮蔽全局工具

插件在 agent/created 时为每个 agent 注册一个同名 read_image,并通过 agent.ctx.tools.register 让它只作用于该 agent;agent 作用域的工具会遮蔽全局定义,所以模型 看到的仍是熟悉的一个 read_image,但实现换成了本插件。插件加载时已经存在的 agent 也会补注册。

执行顺序与官方工具保持一致:

  1. 校验 file_path,按扩展名分类;
  2. 检查部署的附件白名单和调用路由是否声明 image 输入;
  3. 通过 ctx.fs 解析并读取文件,字节上限取 maxImageBytes 与 maxMessageImageBytes 的较小值;
  4. 直接格式(PNG/JPEG/WebP/GIF)原样保存;AVIF/TIFF/SVG 先用 Sharp 转 PNG;
  5. 调 attachments.saveImage,返回与官方一致的 { path, image },并发出 fs/observed。

转换使用 DSH 安装包或 profile 内的 Sharp:

  • 输入限制 limitInputPixels: 268435456,failOn: 'none',只取第一帧;
  • SVG 用 density: 144 渲染;其他格式按 EXIF 方向自动旋转;
  • 输出 PNG 用 compressionLevel: 9,文件名从 photo.avif 变成 photo.png;
  • 找不到 Sharp 时抛出可诊断的 IMAGE_CONVERTER_UNAVAILABLE,不会退回“猜一个格式”。

Sharp 候选路径按顺序尝试:DSH_IMAGE_FORMATS_SHARP 环境变量、process.resourcesPath 下的 app.asar/dsh/node_modules/sharp 与 app.asar/node_modules/sharp、可执行文件同级的 resources/...、<DSH_HOME>/profiles/<profile>/node_modules/sharp(先当前 profile,再其他 profile;DSH_HOME 未设置时用 ~/.dsh),最后才是普通 sharp。DSH 桌面版自带的那份通常 能在前几个候选里命中;CLI 没有内置 Sharp,需要某个 profile 里装过 Sharp。

客户端:在文件进入 composer 前换掉

客户端插件在 document 的捕获阶段监听 paste、drop 和 change:

  1. 只挑出 AVIF(MIME 为 image/avif,或扩展名是 .avif 且没有声明其他类型);
  2. 用 createImageBitmap 解码,失败时回退到 <img> + object URL;
  3. 画到 canvas,长边限制 2048,用 canvas.toBlob('image/png') 编码;超过 6MB 时逐级缩到 1024 再试;
  4. 把 PNG 交给宿主公开槽位 conversation.input.attachments 的 onAddFiles(owner props), 由官方 intakeFiles 走原上传链路;只有宿主没有这个槽位时才回退到旧的 DOM 路径——用 DataTransfer 写回 composer 里隐藏的 input[type=file][hidden],再派发冒泡的 change 事件。

该槽位是单槽:注册进去会遮住宿主自带的附件栏,而那个附件栏没有公开的重建入口。所以桥接组件只在 槽位为空时挂载,一旦出现其他注册者(正常安装的 rc.5 就有宿主自己那一个)立刻撤销,继续走 DOM 回灌,宿主界面完全不变。槽位服务晚于插件就绪时,插件会等 internal/service 再补挂一次。

这样官方 InputBar 的 onPickFiles / intakeFiles 会按原路径处理 PNG,插件不需要调用任何 私有上传函数。转换在内存里完成,不落临时文件,不发网络请求。

粘贴时如果剪贴板同时带非空 text/plain,插件会让给原生逻辑,避免吞掉文字。

安装

要求:

  • DSH 0.2.1-rc.5 或更新版本,且低于 0.3.0;
  • Node.js 20 或更新版本(插件本身不新增依赖;DSH CLI 需要某个 profile 或环境中提供 Sharp,桌面版自带)。

从 npm 安装(发布后)

侧边栏 插件 → 安装插件,输入:

dsh-image-formats

或:

dsh plugin --profile desktop add dsh-image-formats

从 GitHub 安装

https://github.com/TLEWA/dsh-image-formats

固定到标签:

dsh plugin --profile desktop add github:TLEWA/dsh-image-formats#v0.1.0

从源码安装

git clone https://github.com/TLEWA/dsh-image-formats.git
cd dsh-image-formats
npm test
dsh plugin --profile desktop add .

安装后重启 DSH:宿主插件在 profile 启动时加载,客户端插件在 Web UI 刷新后生效。

兼容与限制

  • HEIC/HEIF 不做:DSH 桌面版自带的 Sharp/libvips 没有 HEVC 解码器(需要 libde265),所以即使 转成 HEIC 也读不了。插件会明确报 HEIC/HEIF (HEVC),并建议先转 AVIF/PNG/JPEG/WebP;
  • JPEG XL、PSD、相机 RAW 不做:Sharp 没有这些解码器;
  • 客户端只自动转换 AVIF。浏览器没有稳定的 TIFF 解码器,SVG 走 canvas 又涉及跨域/安全边界, 所以拖拽 TIFF/SVG 仍会被官方上传链路拒绝;用 read_image 读路径不受影响;
  • 客户端优先用宿主公开槽位 conversation.input.attachments;该槽位被占用时(DSH 默认安装 就是如此)回退到 composer 的隐藏文件输入和 data-composer-card 标记。DSH 改版后如果这两处 结构变了,需要跟着更新;
  • 转换只保留第一帧:AVIF/TIFF 的动画或多页内容不会带过去;
  • 转换会重新编码:EXIF、ICC/HDR、10-bit 等信息可能丢失或变化,PNG 体积也可能比原 AVIF 大;
  • 原文件不会被修改;会话里新增的是 PNG 附件;
  • 宿主的图片能力门槛与官方一致:调用路由必须声明 image 输入,否则会先报 IMAGE_UNSUPPORTED_MODEL,不会白读文件。0.2.3-alpha.1 把同一语义的错误码改名为 MODEL_DOES_NOT_SUPPORT_IMAGES;插件通过 IMAGE_MODEL_UNSUPPORTED_CODES 与 isImageModelUnsupportedCode() 同时识别两种拼写,对外仍统一报告 IMAGE_UNSUPPORTED_MODEL, 其它错误码原样透传;
  • 首次转换会在内存里读入整张图,超大图受 DSH 附件字节上限约束。

开发与测试

npm run check   # node --check lib/index.js && node --check lib/client.js
npm test        # node --test test/host.test.js test/client.test.js

测试覆盖:

  • test/host.test.js:注册与去重、标准 JSON Schema 形状、AVIF/TIFF/SVG 转 PNG、直接格式 直通、无扩展名 AVIF 嗅探、HEIC 拒绝、未知扩展名/空参数、非视觉模型、新旧模型错误码识别与其它 错误码透传、Sharp 缺失与转换失败;
  • test/client.test.js:用 node:vm 加载客户端包,验证 ModuleLoader id、inject、apply 安装的三个捕获监听,以及 ctx.effect 的清理。

真机回归:在 DSH Web UI 里分别用粘贴、拖拽、文件选择上传 AVIF,确认 composer 收到 PNG; 再让模型对一张 AVIF/TIFF/SVG 路径调用 read_image,确认附件媒体类型是 image/png。

我的其他 DSH 项目

许可证

MIT © 2026 TLEWA

Codex PR 审阅

本仓采用中心 CI的 v1 公共审阅规则,实际规则保存在 AGENTS.md。 云端 Codex 审阅 PR 及新提交,维护者最终批准并合并;审阅结论必须对应最新提交。审阅消耗订阅用量, 漏触发时可用 @codex review 补审。

相关插件