Feasibility Report · 2026-10-10

旅行素材
全自动 AI 剪辑方案

把 Pocket / Action 拍回来的一整堆原片丢进一个文件夹,由 AI 扫描、挑选、排序、配乐、渲染成片——并且一次产出多个版本供你挑。下面是调研结论、可行方案、已跑通的证据,以及成本与边界。

本机 RTX 5090 32G · ffmpeg 9.0 + NVENC 调研 GitHub · B站/抖音 · 本地模型栈 状态 流水线已跑通
00 / 结论

能做,而且已经在本机跑通了

你要的这件事——文件夹丢进去、AI 自己剪出成片、一次出多个版本——技术上成立,我作为智能体可以全程操办。核心流水线今天已在你电脑上端到端验证通过。

但要把预期说清楚:AI 全自动剪出来的是"能看、顺畅、有节奏"的成片,不是专业剪辑师的精剪。它的价值是把你 100GB 的素材在几小时内变成 5~20 个可挑选的版本,你只需要"挑和微调",不用从零剪。这一点和 B 站上那些实测案例(40G 素材喂给 AI 出 Vlog)的结论一致。

01 / 调研结论

市面上到底有没有现成的?

我把三条线都挖了一遍:GitHub 开源项目、中文圈(B站/抖音/剪映/大疆)工具、以及本地大模型技术栈。结论是——没有"一键"银弹,但零件齐全,可以拼出一条比现成工具更贴合的流水线。

A

GitHub 开源没有银弹

star 最高的那几个(MoneyPrinterTurbo 129k、ShortGPT)其实是"给个主题、去网上抓素材"的搬运号工具,根本不碰你的原片,最容易误导。真正对口的只有两个:VideoHighlighter(本地、免费、能自动挑高光+卡点,但项目很新)和 FireRed-OpenStoryline(小红书出品、功能最全、官方有旅拍 Demo,但必须配 API Key、非纯离线)。

B

中文圈工具各有一半

大疆自家的 DJI Mimo / 畅片 确实能对 Pocket/Action 素材"一键成片",但只有手机端、质量不稳、一次一条。剪映 Agent 能对话式自动剪,但烧积分(实测一条 60 秒烧掉 2800+ 积分)。批量出多版本只有第三方工具(小映批量助手)能做,且靠操作剪映草稿、有兼容风险。真正最接近你需求的,是 B 站一个开源方案:Whisper 转写 + GLM-4.6V 看画面 + LLM 编排 + ffmpeg 渲染——而这套东西我本机就能搭。

C

本地技术栈够用且富余

32G 显存对这件事完全够。真正的瓶颈不是显存,是 4K 解码速度。关键零件:镜头切分(ffmpeg 场景检测)、画面打分(模糊/过曝/美学分)、语义理解(本地 Qwen3-VL 或云端视觉模型)、音乐卡点(librosa/BeatNet)、渲染(ffmpeg + NVENC 硬编)。你的机器全都跑得动。

02 / 方案

我给你的流水线

不依赖任何"黑盒一键工具",而是我作为智能体亲自编排每一步。分析只做一次、渲染可反复出片——这是"一次出很多版本"成本极低的原因。

01

扫描盘点

读所有原片的时长、分辨率、拍摄时间,按时间排序,剔除大疆 .LRV 代理文件。

ffprobe
02

镜头切分

自动找到每一处镜头切换点,把长素材拆成一个个"镜头"(降采样到 360p 提速)。

ffmpeg 场景检测
03

接触印样

每个镜头抽一帧、缩略图带编号拼成一张大图——一张图 = 一次视觉调用 = 几十个镜头,这是省 token 的关键机关。

ffmpeg tile + drawtext
04

画面理解 + 打分

视觉模型读印样,给每个镜头打标签(海边/日落/美食/人像…);同时用数值客观剔除糊片、大逆光、废镜头。

视觉模型 + OpenCV 质量分
05

叙事编排

我(LLM 大脑)根据标签和时间线,把镜头编成有开头-发展-结尾的剪辑计划,写成 JSON。

plan.json(可人工改)
06

配乐卡点

检测音乐节拍点,把镜头切换吸附到鼓点上,或按音乐段落分段。

librosa / BeatNet
07

渲染出片

按计划裁剪、拼接、加转场淡入淡出、混音,NVENC 硬件编码高速输出。

ffmpeg h264/hevc_nvenc
03 / 证据

今天已经跑通的证明

我用 ffmpeg 合成了 3 段带明显换场的测试素材,跑完整条流水线。下面左图是自动生成的编号印样,右图是从成片里抽帧的验证图。

自动生成的接触印样
① 自动生成的 3×3 编号接触印样 · 9 个镜头一次呈现,视觉模型按"从左到右、从上到下"逐格读取,编号对号入座 100% 准确。
成片抽帧验证
② 从渲染成片每 2 秒抽帧 · 数值校验显示 9 段画面平均色全部不同(砖红/深绿/蓝/橙…),证明拼接与转场正确,不是同一帧。
[✓]
素材扫描 & 元数据读取3 个文件全部识别,时长/分辨率/帧率正确
[✓]
镜头切分9/9 处换场全部准确抓出,零误判
[✓]
接触印样 + 编号中文路径可读,编号与内容一一对应
[✓]
视觉模型读图云端视觉模型成功描述每个镜头内容
[✓]
渲染成片18 秒带淡入淡出+配乐,NVENC 硬件编码,2MB
[✓]
客观校验数值抽帧验证画面真实变化(识破了视觉模型的一次幻觉)
04 / 多版本 & 成本

一次出多个版本,怎么做到的

分析的产物是 plan.json(镜头清单 + 排序)。渲染只是按不同参数重新组合这份清单——所以"第 2 个版本"的成本几乎只有渲染时间,没有重新分析。

维度可变的做法举例
节奏镜头时长倍率快剪版(每镜 1.5s)/慢剪版(每镜 4s)
顺序时间顺序 / 按主题聚类 / 随机叙事版 / 主题版 / 混剪版
音乐换 BGM,卡点重算轻快 / 史诗 / 舒缓
画幅16:9 横版 / 9:16 竖版电脑看 / 抖音发
调色套 LUT / 一键风格日系 / 复古胶片 / 青橙电影感

时间与成本(估算,按 100GB / 约 3 小时 4K 素材)

环节耗时消耗
扫描 + 镜头切分1~3 小时(可过夜)纯本地,零成本
画面打分(模糊/美学)几分钟纯本地,零成本
视觉理解约 2000 镜头主要 token 消耗;用印样可压到几十次调用
编排 + 卡点 + 渲染每版本 10~30 分钟本地 NVENC,零成本

关于你问的 token:确实会消耗不少,但通过"接触印样"(几十个镜头挤进一张图)能把视觉调用压到原来的 1/20 左右;编排阶段是我在推理,属于常规对话消耗。整体可控,不会失控。

05 / 边界

我不骗你:这些地方要认清

  • 成品是"能看"级,不是"获奖"级。AI 能把流水账剪顺、配上音乐、有节奏;但真正打动人心的取舍、情绪起伏、巧思转场,仍需要人(你或我帮你)精修。
  • 4K 解码是速度瓶颈。100GB 原片全流程跑一遍可能要几小时,建议过夜跑;分析阶段用 720p 代理会快很多。
  • 音乐版权。发抖音/公开平台要避开有版权的商业音乐。要么用免版权曲库,要么你提供曲目(自用收藏无所谓,公开发布要注意)。
  • 画面帧的隐私。如果用云端视觉模型(快),画面帧会上传到云端;要绝对隐私就改用本机 5090 跑本地视觉模型(慢一些,但不外传)。这是一个需要你拍板的取舍。
  • 视觉模型会幻觉。今天就抓到一次:它把明显不同的 9 帧误判成"没有变化"。所以最终判定我会用数值客观校验,不让它单独下结论。
06 / 待你决定

开工前,我需要你定 4 件事

这 4 个选择会决定流水线的具体参数。你定了,我就把真实素材的完整管线搭好,等你回来直接喂素材出片。

Q1 · 成片风格

你想要什么调性?

决定节奏、转场、调色方向。

快节奏卡点混剪 / 叙事流水账 / 电影感慢剪 / 竖版抖音风
Q2 · 音乐

BGM 从哪来?

决定版权风险与选曲方式。

你提供曲目 / 我用免版权曲库 / 抖音热门 BGM
Q3 · 版本数量

一次出多少个版本?

决定渲染工作量。

精修 3~5 个 / 中等 10~20 个 / 暴力几十个
Q4 · 隐私

画面要不要外传?

云端快 vs 本地不外传,二选一。

云端视觉模型(快) / 本机 5090 本地跑(不外传)