📢 转载信息
原文链接：https://openai.com/index/descript
原文作者：OpenAI
Descript 是一款 AI 原生视频编辑器，其核心理念是：如果能编辑文本，就应该能编辑视频。多年来，Descript 一直利用 OpenAI 的技术来优化其产品，包括使用 Whisper 进行转录，以及在其协作编辑器 Underlord 中集成 GPT 系列模型。
对于 Descript 而言，翻译已成为最具影响力的应用场景之一。传统的视频翻译既缓慢又昂贵，需要语言专家来管理项目、处理翻译质量和音频生成。而大语言模型（LLM）极大地压缩了这一工作流。
配音流程的瓶颈：时间与节奏
视频配音的核心难点在于时长适配（Duration Adherence）。如果翻译后的语音长度与原视频帧不匹配，即使语义准确，听起来也会极不自然。不同语言在表达相同观点时所需的时间大相径庭，例如德语通常比英语更“长”。
以往的方案往往先追求语义准确，再后期调整时间。但这种做法会导致语音速度被强行拉伸或压缩，听起来像“花栗鼠”或“昏昏欲睡的巨人”。
利用 OpenAI 模型优化时序
Descript 通过 OpenAI 的推理模型重构了翻译管线，使其在生成内容时就能同时兼顾语义准确性和时长限制。由于较新的 GPT 系列模型在音节计数和约束追踪方面表现出了卓越的推理一致性，系统能够精准地计算目标语言所需的字数，从而实现自然语速的配音。
具体实现路径：
- 系统将转录内容按句子、自然停顿和语速模式切分成多个块。
- 利用特定语言的语速假设，计算每个翻译块应包含的最佳音节数。
- 模型在优化时长对齐的同时，参考上下文以保证语义连贯。
显著的改进成果
在功能推出后的前 30 天内，Descript 的配音视频导出量增加了 15%，且在时长符合度上，根据不同语种提升了 13 到 43 个百分点。通过这种自动化的配音管线，Descript 成功将 pacing（节奏）作为翻译的首要考量因素，而非后期补救措施。
“未来提升翻译输出的关键在于使管线更加多模态化，”Descript 的 AI 产品负责人 Aleks Mistratov 表示，“结合音频、视频和文本进行翻译决策，将更好地保留语气和强调等非语言特征。”
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区