Clips AI

Clips AI

Clips AI 是一个开源 Python 库,帮助开发者自动把播客、访谈、演讲等长篇口述视频切分为短片段,并转换为 9:16 等竖屏画幅,适合需要程序化处理视频的团队。

关注
标签
开源AIAI视频开发工具ai-podcastlong-video-to-short-video-ai
最后更新 2026 年 11 月 10 日

简介

Clips AI 是一个开源 Python 库,能够自动把长视频切分为短片段。它针对的是处理长篇口述内容时常见的难题:人工看完一整段录像、找出值得分享的片段,再为竖屏平台调整画幅,既耗时又重复。

这个库面向以音频为中心、叙事型的视频,比如播客、访谈、演讲和布道。它的切片算法通过分析视频转写文本来确定值得提取的片段,缩放算法则会在 16:9 转 9:16 等画幅转换过程中动态重构画面,让当前说话者保持居中。安装走标准的 pip 流程,转写由开源库 WhisperX 完成,说话人追踪则依靠 Pyannote。项目由 Clips AI, Inc. 维护,源代码在 GitHub 上公开。

主要功能

自动片段发现:ClipFinder 组件分析视频的转写文本,返回一组片段,每个片段都带有明确的起止时间,开发者可直接用于裁剪。
基于转写文本的分割:片段定位依靠转写文本而非画面分析,因此最适合访谈、演讲、布道这类以言语为主的内容。
使用 WhisperX 转写:视频通过 WhisperX 转写。WhisperX 是 Whisper 的开源封装,提供精确切片所需的词级起止时间戳。
动态重构画面:resize 函数在转换画幅(例如从 16:9 转 9:16 竖屏格式)时追踪当前说话者并动态重构画面。
简洁的 Python API:转写、查找片段、缩放等核心操作只需几行代码,可以自然融入现有的 Python 流程。
开源:库可以查看、修改和自托管,开发者能把它集成到更大的自动化视频流程中,且没有按席位收费的授权限制。

定价与费用

  • 定价:Clips AI 是开源库,所审查页面上未宣传任何付费套餐;最新信息请查阅官方网站。
  • 安装要求:安装包括 clipsai pip 包、从其 GitHub 仓库安装 WhisperX,以及 libmagic 和 ffmpeg 两个系统依赖;建议使用虚拟环境。
  • 缩放需要 Hugging Face token:缩放功能因使用 Pyannote 做说话人分离,需要一个免费的 Hugging Face 访问令牌;文档说明使用 Pyannote 不会产生费用。
  • 适用内容:该工具面向以音频为中心、叙事型的视频,不适合以画面为主的内容。

适用人群

Clips AI 主要面向希望通过代码控制视频二次利用、而不是使用托管编辑应用的开发者。播客制作人可以用它把完整节目切成短集锦;发布访谈、演讲和布道内容的团队可以自动生成适合社交平台的竖屏片段。它也适合想把切片生成和画幅转换嵌入更大流程的媒体初创公司和工程团队——整个流程就是运行在自己基础设施里的普通 Python 代码。

常见问题

Clips AI 是什么?它是一个开源 Python 库,可自动把以言语为主的长视频切分为较短的片段,并重构为 9:16 等不同画幅。

Clips AI 免费吗?是的,该库开源,通过 pip 安装;缩放功能需要免费的 Hugging Face 访问令牌来使用 Pyannote,文档说明这不会产生费用。

Clips AI 需要哪些依赖?需要 clipsai 包、从 GitHub 仓库安装的 WhisperX,以及系统上的 libmagic 和 ffmpeg,建议在虚拟环境中安装。

Clips AI 如何决定片段的起止位置?它先用 WhisperX 转写视频获得词级时间戳,再分析转写文本来识别片段,并返回每个片段的起止时间。

哪类视频最适合用 Clips AI?以音频为中心、叙事型的内容效果最好,如播客、访谈、演讲和布道,因为片段识别依赖口语转写文本。