把 Pocket / Action 拍回来的一整堆原片丢进一个文件夹,由 AI 扫描、挑选、排序、配乐、渲染成片——并且一次产出多个版本供你挑。下面是调研结论、可行方案、已跑通的证据,以及成本与边界。
但要把预期说清楚:AI 全自动剪出来的是"能看、顺畅、有节奏"的成片,不是专业剪辑师的精剪。它的价值是把你 100GB 的素材在几小时内变成 5~20 个可挑选的版本,你只需要"挑和微调",不用从零剪。这一点和 B 站上那些实测案例(40G 素材喂给 AI 出 Vlog)的结论一致。
我把三条线都挖了一遍:GitHub 开源项目、中文圈(B站/抖音/剪映/大疆)工具、以及本地大模型技术栈。结论是——没有"一键"银弹,但零件齐全,可以拼出一条比现成工具更贴合的流水线。
star 最高的那几个(MoneyPrinterTurbo 129k、ShortGPT)其实是"给个主题、去网上抓素材"的搬运号工具,根本不碰你的原片,最容易误导。真正对口的只有两个:VideoHighlighter(本地、免费、能自动挑高光+卡点,但项目很新)和 FireRed-OpenStoryline(小红书出品、功能最全、官方有旅拍 Demo,但必须配 API Key、非纯离线)。
大疆自家的 DJI Mimo / 畅片 确实能对 Pocket/Action 素材"一键成片",但只有手机端、质量不稳、一次一条。剪映 Agent 能对话式自动剪,但烧积分(实测一条 60 秒烧掉 2800+ 积分)。批量出多版本只有第三方工具(小映批量助手)能做,且靠操作剪映草稿、有兼容风险。真正最接近你需求的,是 B 站一个开源方案:Whisper 转写 + GLM-4.6V 看画面 + LLM 编排 + ffmpeg 渲染——而这套东西我本机就能搭。
32G 显存对这件事完全够。真正的瓶颈不是显存,是 4K 解码速度。关键零件:镜头切分(ffmpeg 场景检测)、画面打分(模糊/过曝/美学分)、语义理解(本地 Qwen3-VL 或云端视觉模型)、音乐卡点(librosa/BeatNet)、渲染(ffmpeg + NVENC 硬编)。你的机器全都跑得动。
不依赖任何"黑盒一键工具",而是我作为智能体亲自编排每一步。分析只做一次、渲染可反复出片——这是"一次出很多版本"成本极低的原因。
读所有原片的时长、分辨率、拍摄时间,按时间排序,剔除大疆 .LRV 代理文件。
自动找到每一处镜头切换点,把长素材拆成一个个"镜头"(降采样到 360p 提速)。
每个镜头抽一帧、缩略图带编号拼成一张大图——一张图 = 一次视觉调用 = 几十个镜头,这是省 token 的关键机关。
视觉模型读印样,给每个镜头打标签(海边/日落/美食/人像…);同时用数值客观剔除糊片、大逆光、废镜头。
我(LLM 大脑)根据标签和时间线,把镜头编成有开头-发展-结尾的剪辑计划,写成 JSON。
检测音乐节拍点,把镜头切换吸附到鼓点上,或按音乐段落分段。
按计划裁剪、拼接、加转场淡入淡出、混音,NVENC 硬件编码高速输出。
我用 ffmpeg 合成了 3 段带明显换场的测试素材,跑完整条流水线。下面左图是自动生成的编号印样,右图是从成片里抽帧的验证图。
分析的产物是 plan.json(镜头清单 + 排序)。渲染只是按不同参数重新组合这份清单——所以"第 2 个版本"的成本几乎只有渲染时间,没有重新分析。
| 维度 | 可变的做法 | 举例 |
|---|---|---|
| 节奏 | 镜头时长倍率 | 快剪版(每镜 1.5s)/慢剪版(每镜 4s) |
| 顺序 | 时间顺序 / 按主题聚类 / 随机 | 叙事版 / 主题版 / 混剪版 |
| 音乐 | 换 BGM,卡点重算 | 轻快 / 史诗 / 舒缓 |
| 画幅 | 16:9 横版 / 9:16 竖版 | 电脑看 / 抖音发 |
| 调色 | 套 LUT / 一键风格 | 日系 / 复古胶片 / 青橙电影感 |
| 环节 | 耗时 | 消耗 |
|---|---|---|
| 扫描 + 镜头切分 | 1~3 小时(可过夜) | 纯本地,零成本 |
| 画面打分(模糊/美学) | 几分钟 | 纯本地,零成本 |
| 视觉理解 | 约 2000 镜头 | 主要 token 消耗;用印样可压到几十次调用 |
| 编排 + 卡点 + 渲染 | 每版本 10~30 分钟 | 本地 NVENC,零成本 |
关于你问的 token:确实会消耗不少,但通过"接触印样"(几十个镜头挤进一张图)能把视觉调用压到原来的 1/20 左右;编排阶段是我在推理,属于常规对话消耗。整体可控,不会失控。
这 4 个选择会决定流水线的具体参数。你定了,我就把真实素材的完整管线搭好,等你回来直接喂素材出片。
决定节奏、转场、调色方向。
决定版权风险与选曲方式。
决定渲染工作量。
云端快 vs 本地不外传,二选一。