dsh-routing-forensics

dsh-routing-forensics — 模型路由浪费取证（DSH 插件）

每次模型调用都是一次路由决定。用贵模型改错别字，是浪费；用便宜模型写引擎，失败重试后更贵。 这个插件回放会话日志，把过去的每一次路由决定摊开算账。

安装

dsh plugin --profile desktop add @bushizhanghan/dsh-routing-forensics

重启 DSH 后生效。只读：从不修改会话日志。

Agent 工具

工具	作用
routing_audit	审计单个会话：回放每轮，按任务复杂度分档，找过配/欠配
routing_sweep	扫描全部会话，按浪费金额排序
routing_rules	从证据产出可执行的路由规则

怎么判断复杂度（确定性，不调 LLM）

按请求形状打分，分数决定档位：

信号	权重
请求长度 >2000 / >400 / >60 字符	+3 / +2 / +1
工具调用 ≥8 / ≥3 / ≥1	+3 / +2 / +1
有文件写入	+2
重试 ≥3 次 / 有重试	+6 / +2
上下文峰值 >100k / >20k	+5 / +1

分数	档位	建议模型层
0	trivial	cheap
1-3	simple	cheap
4-5	standard	standard
≥6	complex	premium

上下文权重刻意压得很重：一个人只打了「继续」但带着 300k 上下文，那是真在干活，不是琐事。

两类浪费

规则	级别	抓什么
over-provision	! warn	便宜活用了贵模型——差额是可计算的浪费
under-provision-retried	✗ error	贵活用便宜模型且失败了（非容量类错误）——每次重试重发整个上下文，比直接升级更贵
under-provision-capacity-retry	· info	便宜活干重活但失败原因是限流/超时——不是模型能力问题，换个更好的模型也会撞同一堵墙

这个区分很重要：把 RATE_LIMIT 算成"模型不行"会让工具天天喊狼来了。

设计取舍

• 参考价取该档第一个声明的模型，不是全局最便宜。按 input+output 之和挑"最便宜"在混合定价下是错的：glm (0.1/0.3) 之和低于 deepseek (0.14/0.28)，但输出密集时 glm 更贵、输入密集时 deepseek 更贵。
• 金额是估算，不是账单。内置价目表按公开标价，明确标注 estimateNotice；不在表里的模型只计数不定价（unpricedSessions），不猜。
• SERVER 不算容量限制。它太泛，常常就是模型自己的失败；当成容量会让误路由藏在借口后面。只有 RATE_LIMIT / TIMEOUT / TRANSPORT 算。
• 确定性：复杂度分级、浪费计算、规则推导全是纯函数，同一份日志永远同一结论。

开发

node --test test/    # 33 个单测 + 15 项集成测试

测试用真机上的会话日志做 fixture。

License

MIT