Skip to main content
Y

dsh-duanju-slice

yanghangju/dsh-duanju-slice

Short-drama clipping workbench: given a drama folder, a script DOCX, an export folder and a content direction, it picks the matching lines, obtains their real time codes by streaming the episode audio to Doubao speech recognition (a Doubao voice API key is required), tightens the cut to the returned word timestamps, checks the boundary frames, and exports an editable Jianying draft plus an MP4 carrying the source dialogue, BGM and sound effects; trim points and volume can be revised in the same chat and every revision is kept as a new version.

Install

dsh plugin --profile web add github:yanghangju/dsh-duanju-slice

README

短剧切片工作台(dsh-duanju-slice)

给短剧运营用的自动化剪辑工作台:给定短剧素材目录 + 剧本 DOCX + 成片保存目录 + 一个内容方向, 自动在剧本里找到该方向的精彩片段,用火山引擎(豆包语音)流式语音识别拿到这一集台词的真实时间码, 按逐词时间码收紧切点、抽首尾帧核对,最后产出

  1. 一条可编辑的剪映草稿(画面 / 片尾,直接出现在剪映草稿箱里,可继续调整)
  2. 一条成片 MP4(原画面 + 对白 + BGM/音效,导出到你指定的目录;末尾接与短剧剪辑插件相同的片尾)

一个会话可以持续讨论、生成和修改。每次生成一个新版本,保留旧版和原素材。

素材怎么放

一部剧一个文件夹,例如 D:\海外短剧\艾米莉的混乱房车:

艾米莉的混乱房车\
  ep001(英文字幕版).mp4      ← 一集一个视频,直接放
  ep002 (英文字幕版).mp4
  ep003\
    a.mp4                      ← 一集一个文件夹,里面可以有多段视频
    b.mp4                         按文件名顺序拼成这一集
  • 集号从文件名或文件夹名里认:ep025、EP_12、第7集、07、2-副本 都算;认不出的文件会被跳过并在勘察里列出。
  • 一集有多个视频时按文件名自然排序(2 在 10 前面)首尾相接。
  • 插件自己产出的成片(…_v1_20261116054226_678c90fe.mp4)不会被当成素材。
  • 同一集既有视频又有同名文件夹时,留时长更长的那份,勘察报告里会写明忽略了哪个。

台词怎么定位

源视频通常已经烧了字幕,所以不再读剪映字幕轨:从视频里抽 16 kHz 单声道 WAV,整段推给 火山引擎(豆包语音)双向流式语音识别,直接用它返回的分句与逐词时间码当台词时间码。

  • 接口:wss://openspeech.bytedance.com/api/v3/sauc/bigmodel_async(双向流式),帧格式按官方 protocol.py 实现(4 字节头 + 序号 + gzip 载荷),没有第三方依赖。
  • 鉴权:豆包语音控制台的 API Key(X-Api-Key)+ X-Api-Resource-Id。默认 volc.bigasr.sauc.duration(流式识别 1.0 小时版,多数账号默认开通); 识别 2.0 用 volc.seedasr.sauc.duration,并发版把 duration 换成 concurrent。 账号没开通对应资源时接口返回 403 requested resource not granted,插件会直接说明。
  • Key 放在插件配置 volcApiKey(也可用环境变量 VOLCENGINE_API_KEY)。
  • 按音频时长计费:识别结果按「文件指纹 + 资源 + 端点」缓存在本地,同一集重复选段不再花钱; 只有选定那一集之后才会去识别,不会为了选段把整部剧都识别一遍。
  • 一句话可能很长(配乐满铺时 VAD 分不开):切点再用逐词时间码把首尾收到具体那个词上。

环境要求

依赖说明
剪映专业版本机实测 11.6.0(Windows)。新草稿要重启剪映后才会出现在草稿箱
FFmpeg / FFprobe依次取插件配置 ffmpegPath、DUANJU_FFMPEG/FFMPEG_PATH、同机已装的短剧剪辑插件便携运行时、系统安装,最后才是 PATH
豆包语音 API Key开通「流式语音识别」后,控制台 > API Key 管理里获取

使用

  1. 左侧栏点「切片工作台」。左侧默认显示会话列表,列出名称、更新时间、当前片段和版本;点击切换。列表可收起,窄窗口使用抽屉。
  2. 新会话选择剧本 DOCX、短剧目录、保存目录并填写方向,然后点「确认并锁定配置」。确认前可以修改,确认后本会话不能更换这四项设置;需要不同素材或方向时新建会话。
  3. 锁定不会自动生成视频。主区显示只读配置摘要、视频预览和聊天。可以先讨论选段,也可以点预览区「生成初版」。
  4. 同一对话中说「保留前25秒,背景音乐减半」「向前多留两秒」可修改当前选中版本;说「换个片段」可在固定素材/基础方向内重新选段。每次生成新草稿和 MP4,保留旧版。
  5. 预览区显示当前版本,底部小工具栏提供文件入口。多版时可切回旧版,也可在对话里说「回到V1」。修改失败保留上一版。素材、保存目录和基础方向在后台同样受锁定保护,不能通过对话绕过。
  6. 会话历史和剪辑版本持久保存,重开后继续。旧的已制作会话按已锁定处理;老版本的 projectDir(剪映工程目录)设置会自动迁移成短剧目录。
  7. 页头「打开剪映」可启动或唤起本机剪映专业版。大于宿主 32 MiB 完整读取上限的 MP4 使用本机播放器查看。

对话中的裁剪时间相对当前版本开头;省略首尾或音量时沿用当前版本。对白、BGM和音效倍率相对原素材,0静音,1原音量,最多4倍。「再减半」按当前倍率计算。原集不够长或不足1秒的区间会拒绝执行。

方向写法没有固定枚举:想多要钩子就给带钩子描述的方向,素材撑不住时 AI 会按素材实际内容选最贴近的一段。

勘察报告

duanju_slice_survey / node scripts/survey.mjs 只看不写:列出每一集的素材名、时长、画面尺寸、 有没有音轨、由几段视频拼成,以及能否和剧本对上。认不出集号、读不出时长、重复的集都会写进报告。

成片片尾

成片 MP4 在剧情结束处不直接结束,而是接上与短剧剪辑插件完全相同的收尾:

  • 时停:取剧情结束前 1.5 秒的那一帧(成片实际画面)定格,保持到音效结束。
  • 结束特效:剪映原生「炫光」转场(资源 6726707814028284423),默认 0.8 秒,从剧情结束前 0.4 秒开始、跨过结尾;画面按该资源的 23 帧光效序列与同一 screen 混合公式合成,不用自制光效替代。
  • 结束音效:剪映原生「大气片尾声效」(资源 7023776340713164069)整段完整播放,不裁剪、不淡入淡出;剧情原声、BGM、音效音量不变。

片尾新增时长约等于「音效时长 − 转场的一半」,向上取整到整帧(默认音效约 4.55 秒,约 +4.2 秒)。 资源随插件内置在 assets/ending/,缺失时按剪映本地缓存兜底,仍找不到会报错而不是换成别的素材。

成片和剪映草稿用的是同一套片尾:草稿末尾同样有定格照片、原生「炫光」转场和独立音效轨,草稿总长 = 成片总长, 剪映里直接导出应与成片一致。成片渲染时不会再混一遍片尾声效(只由成片片尾那一段提供)。 临时文件放在成片同目录的 .slice-tmp-* 下,渲染结束即清理。

输出的草稿

  • 位置:剪映 currentCustomDraftPath(Windows 常见 %LOCALAPPDATA%\JianyingPro\User Data\Projects\com.lveditor.draft),目录名含剧名、集号、版本号与唯一后缀,控制在 20 字以内(剪映会改写超长草稿名,名字一变草稿里的绝对路径就断)。
  • 从零拼装:一条视频轨(按切点裁剪、时间线归零、跨文件的切点拆成多段)+ 片尾(定格照片、原生炫光、片尾声效轨)。
  • 不写字幕轨:源视频自带硬字幕,识别文本只用来找台词和切点。
  • 素材路径写成原始 MP4 的绝对路径(不复制大文件):短剧目录别挪位置,否则剪映会提示媒体丢失。
  • 每条切片写入独立草稿/时间线身份、当前创建时间和实际时长,避免沿用旧元数据而排到旧草稿里。
  • 草稿根目录写明文 draft_info.json,同时写 draft_content.json 与 template.json(剪映 11.5 读新版正文文件)。

命令行(不开 DSH 也能跑)

node scripts/survey.mjs <短剧目录> [剧本.docx]                                  # 只读勘察
node scripts/locate.mjs <短剧目录> <剧本.docx> --episode 1 --lines 3-8 --frames ./frames
node scripts/slice.mjs  <短剧目录> <剧本.docx> --episode 1 --lines 3-8 \
  --direction "复仇向:当众揭穿继母" --render <导出目录> [--draft-root <草稿箱>] [--api-key KEY]

--episode/--lines 用来跳过 AI 选段(离线模式只接受行号)。AI 选段在 DSH 里由 duanju_slice_plan 完成。

已知限制

  • 识别按音频时长计费:第一次剪某一集会有一次识别费用(默认缓存,之后免费)。全剧识别属于使用者的选择,插件不会偷偷做。
  • 账号没开通对应资源时识别会失败(403)。换 volcResourceId(1.0 / 2.0 / 并发版)或在控制台开通。
  • 配乐铺满、几乎没停顿的片段,VAD 分句会偏长;切点会按逐词时间码收紧,但仍可能有 1 秒级误差,可用对话继续说「向前多留两秒」。
  • 中文剧本 + 英文人声(没做中英对照)时,文本比对必然对不上,会改由模型按台词语义选段,切点请人工核对。
  • 源素材本身就缺音轨的集不会被自动选中(识别不出台词)。
  • 草稿引用的是原素材绝对路径,换机或挪动短剧目录会丢素材。
  • 同名草稿目录已存在时直接报错,不覆盖。

目录

index.js            宿主侧:勘察 / 选段 / 生成 / 修改 / 版本切换工具 + 工作台命令
client.js           工作台界面(侧栏入口 + 设置页 + 内嵌对话)
lib/drama-source.js 扫描短剧目录、认集号、ffprobe 探测、多段视频拼成一集
lib/asr.js          火山流式语音识别(抽音频、分帧推送、逐词时间码、缓存)
lib/websocket.js    极简 WebSocket 客户端(握手失败能拿到状态码与正文)
lib/report.js       勘察报告
lib/plan.js         整条方案编排(选段→识别→定位→词级收紧→首尾帧)
lib/locate.js       台词↔识别分句匹配、逐词对齐、切点吸附到帧
lib/pick.js         让模型按方向选段
lib/slice-draft.js  从零拼切片草稿(视频段 + 片尾 + 元数据)
lib/render.js       FFmpeg 成片渲染(画面拼接 + 混音 + 片尾)
lib/ending.js       片尾:时停取帧、原生炫光帧序列、大气片尾声效混合
lib/studio.js       会话设置、版本历史、每轮上下文与工作台命令
lib/revision.js     基于选中版本计算裁剪区间与音量
lib/audio.js        音量倍率与「独立对白优先」混合规则
assets/ending/      内置片尾素材(大气片尾声效.mp3 + 炫光转场资源)
scripts/*.mjs       命令行入口

测试

npm test                      # 单元 + ffmpeg 集成(没有 ffmpeg 的用例自动跳过)

界面回归检查还需要一个能解析 react / react-dom/server 的 Node 项目:

DSH_REACT_ROOT=../build/ssr node --experimental-vm-modules --test tests/client-render.mjs

测试的临时素材全部写在仓库内的 .test-tmp/(DSH 沙箱只对工作区放行子进程写文件,系统临时目录下 ffmpeg 会写不进去)。

Related plugins