Feasibility Report · 2026-10-10

旅行素材
全自动 AI 剪辑方案

把 Pocket / Action 拍回来的一整堆原片丢进一个文件夹,由 AI 扫描、挑选、排序、配乐、渲染成片——并且一次产出多个版本供你挑。画面理解走你本机的 WorkBuddy 反代,无需启动额外服务。下面是调研结论、可行方案、已跑通的证据,以及成本与边界。

本机 RTX 5090 32G · ffmpeg 9.0 + NVENC 视觉 WorkBuddy 反代 cn:deepseek-v4.1-flash 状态 全管线已跑通并逐环验证
00 / 结论

能做,而且已经在本机整条跑通了

你要的这件事——文件夹丢进去、AI 自己剪出成片、一次出多个版本——技术上成立,我作为智能体可以全程操办。从扫描到出片的完整流水线今天已在你电脑上跑通并逐环验证,画面理解走你现成的 WorkBuddy 反代。

但要把预期说清楚:AI 全自动剪出来的是"能看、顺畅、有节奏"的成片,不是专业剪辑师的精剪。它的价值是把你 100GB 的素材在几小时内变成一批可挑选的版本,你只需要"挑和微调",不用从零剪。这一点和 B 站上那些实测案例(40G 素材喂给 AI 出 Vlog)的结论一致。

01 / 调研结论

市面上到底有没有现成的?

我把三条线都挖了一遍:GitHub 开源项目、中文圈(B站/抖音/剪映/大疆)工具、以及本地大模型技术栈。结论是——没有"一键"银弹,但零件齐全,可以拼出一条比现成工具更贴合的流水线。

A

GitHub 开源没有银弹

star 最高的那几个(MoneyPrinterTurbo 129k、ShortGPT)其实是"给个主题、去网上抓素材"的搬运号工具,根本不碰你的原片,最容易误导。真正对口的只有两个:VideoHighlighter(本地、免费、能自动挑高光+卡点,但项目很新)和 FireRed-OpenStoryline(小红书出品、功能最全、官方有旅拍 Demo,但必须配 API Key、非纯离线)。

B

中文圈工具各有一半

大疆自家的 DJI Mimo / 畅片 确实能对 Pocket/Action 素材"一键成片",但只有手机端、质量不稳、一次一条。剪映 Agent 能对话式自动剪,但烧积分(实测一条 60 秒烧掉 2800+ 积分)。批量出多版本只有第三方工具(小映批量助手)能做,且靠操作剪映草稿、有兼容风险。真正最接近你需求的,是 B 站一个开源方案:Whisper 转写 + GLM-4.6V 看画面 + LLM 编排 + ffmpeg 渲染——而这套东西我本机就能搭。

C

本地技术栈够用且富余

32G 显存对这件事完全够。真正的瓶颈不是显存,是 4K 解码速度。关键零件:镜头切分(ffmpeg 场景检测)、画面打分(模糊/过曝/美学分)、语义理解(你本机的 WorkBuddy 反代,支持图像输入)、音乐卡点(自研/BeatNet)、渲染(ffmpeg + NVENC 硬编)。你的机器全都跑得动。

02 / 方案

我给你的流水线

不依赖任何"黑盒一键工具",而是我作为智能体亲自编排每一步。分析只做一次、渲染可反复出片——这是"一次出很多版本"成本极低的原因。

01

扫描盘点

读所有原片的时长、分辨率、拍摄时间,按时间排序,剔除大疆 .LRV 代理文件。

ffprobe · 已实现
02

镜头切分

自动找到每一处镜头切换点,把长素材拆成一个个"镜头"(降采样到 360p 提速)。

ffmpeg 场景检测 · 已实现
03

接触印样

每个镜头抽一帧、缩略图带编号拼成一张大图——一张图 = 一次视觉调用 = 几十个镜头,这是省算力的关键机关。

ffmpeg tile + drawtext · 已实现
04

画面理解 + 打分

WorkBuddy 反代(cn:deepseek-v4.1-flash)读印样,给每个镜头打标签(海边/日落/美食/人像…);同时用 blurdetect 与亮度统计客观剔除糊片、过曝、废镜头。

视觉反代 + blurdetect/signalstats · 已实现
05

叙事编排

根据标签、质量分与时间线,把镜头编成有开头-发展-结尾的剪辑计划,写成 JSON。内置 4 种风格预设。

plan.json(可人工改)· 已实现
06

配乐卡点

检测音乐节拍点,把镜头时长吸附到鼓点整数倍;含自研节拍检测(无需额外库)。

自研 onset 检测 · 已实现
07

渲染出片

按计划裁剪、拼接、加转场淡入淡出、混音,NVENC 硬件编码高速输出。

ffmpeg h264_nvenc · 已实现
08

多版本批量

按风格/节奏/顺序/画幅/音乐做参数组合,一次渲染出 N 个版本,每个版本附一份可复现的 plan.json。

versions 子命令 · 已实现
03 / 证据

今天已经逐环跑通的证明

我用 ffmpeg 合成了带明显换场的测试素材,跑完整条流水线(画面理解走 WorkBuddy 反代)。下面左图是自动生成的编号印样,右图是从成片里抽帧的验证图。

自动生成的接触印样
① 自动生成的编号接触印样 · 9 个镜头一次呈现,视觉模型按"从左到右、从上到下"逐格读取,编号对号入座 100% 准确。
成片抽帧验证
② 从渲染成片每 2 秒抽帧 · 数值校验显示 9 段画面平均色全部不同(砖红/深绿/蓝/橙…),证明拼接与转场正确,不是同一帧。
[✓]
素材扫描 & 元数据读取文件全部识别,时长/分辨率/帧率正确
[✓]
镜头切分9/9 处换场全部准确抓出,零误判
[✓]
接触印样 + 编号中文路径可读,编号与内容一一对应
[✓]
视觉理解(WorkBuddy 反代)9/9 镜头成功标注,约 3.4 秒/张;已验证支持图像输入
[✓]
质量打分blurdetect 模糊检测 + 亮度统计,自动剔除糊片/过曝/过暗
[✓]
音乐卡点自研节拍检测,120 / 90 BPM 测试音轨全部精确命中(误差<1%)
[✓]
渲染成片带淡入淡出+配乐,NVENC 硬件编码
[✓]
多版本批量一次产出 4 个版本(16:9 / 21:9 / 9:16,不同节奏与顺序),分辨率时长全部正确
[✓]
一键端到端一条命令跑完 扫描→切分→印样→理解→打分→卡点→出片 全流程
[✓]
客观校验数值抽帧验证画面真实变化(识破了视觉模型的一次幻觉)
04 / 多版本 & 成本

一次出多个版本,怎么做到的

分析的产物是 plan.json(镜头清单 + 排序)。渲染只是按不同参数重新组合这份清单——所以"第 2 个版本"的成本几乎只有渲染时间,没有重新分析。

维度可变的做法举例
风格4 种预设卡点混剪 / 叙事流水账 / 电影感慢剪 / 竖版抖音风
节奏镜头时长倍率快剪版(每镜 1.5s)/慢剪版(每镜 4s)
顺序时间 / 质量优先 / 随机 / 时长叙事版 / 精选版 / 混剪版
音乐换 BGM,卡点重算轻快 / 史诗 / 舒缓
画幅16:9 横版 / 9:16 竖版 / 21:9 电影电脑看 / 抖音发 / 电影感

时间与成本(估算,按 100GB / 约 3 小时 4K 素材)

环节耗时消耗
扫描 + 镜头切分1~3 小时(可过夜)纯本地,零成本
画面打分(模糊/亮度)几分钟纯本地,零成本
视觉理解(反代)每张印样约 3 秒走你的 WorkBuddy 积分池;印样把调用次数压到 1/20
编排 + 卡点 + 渲染每版本 10~30 分钟本地 NVENC,零成本

你担心的 429:反代是你的本地服务(127.0.0.1:7864),不是公共云 API,请求不出本机、不走公网限流。真要绝对稳,还可切 --backend local 走本机 Strata。

05 / 边界

我不骗你:这些地方要认清

  • 成品是"能看"级,不是"获奖"级。AI 能把流水账剪顺、配上音乐、有节奏;但真正打动人心的取舍、情绪起伏、巧思转场,仍需要人(你或我帮你)精修。
  • 4K 解码是速度瓶颈。100GB 原片全流程跑一遍可能要几小时,建议过夜跑;分析阶段用 720p 代理会快很多。
  • 反代依赖 WorkBuddy 在跑。反代没开时画面理解会失败(流程继续,该轮无标签)。要绝对独立可切本机 Strata。
  • 质量分阈值需要按真实素材校准。当前模糊/曝光阈值是经验值,等你回来第一件事就是拿真实素材校准一遍,避免误杀好镜头。
  • 音乐版权。发抖音/公开平台要避开有版权的商业音乐。要么用免版权曲库,要么你提供曲目(自用收藏无所谓,公开发布要注意)。
  • 视觉模型会幻觉。今天就抓到一次:它把明显不同的 9 帧误判成"没有变化"。所以最终判定我会用数值客观校验,不让它单独下结论。
06 / 怎么用

你回来后,两步就能出片

  1. 把原片倒进一个文件夹(Pocket / Action 都行,.LRV 自动跳过)。
  2. 双击 run-vlog.bat,把素材文件夹拖进去回车。成片在 work\versions\。

不用启动任何额外服务——WorkBuddy 反代平时就开着。12 个版本 = 4 种风格 × 3 档节奏。想改数量/分辨率/后端,改 bat 里的参数即可(详见 用法说明.md)。

Q1 · 风格

四种风格各出一个版本

已按你的选择定好
Q2 · 音乐

你自己配抖音 BGM

把歌放进 music\ 文件夹即可
Q3 · 版本数

10~20 个

默认 12 个
Q4 · 视觉

WorkBuddy 反代

cn:deepseek-v4.1-flash(约 3 秒/图)