Linly-Dubbing,一键视频翻译、配音、添加字幕!

图片[1]-Linly-Dubbing,一键视频翻译、配音、添加字幕!-科技匣子

如今,观看多语言无字幕的视频终于不再是门槛了!

一部英文电影,一部日本动漫,通过 AI 工具,能够瞬间翻译成中文字幕,甚至还能克隆原视频音色进行中文配音。

今天,就给大家推荐 GitHub 上一款开源且强大的视频多语言 AI 配音/翻译工具:Linly-Dubbing

图片[2]-Linly-Dubbing,一键视频翻译、配音、添加字幕!-科技匣子

GitHub:https://github.com/Kedreamix/Linly-Dubbing

它能够一键自动下载全平台视频,对视频识别语音进行多语言字幕翻译,甚至还可以对原视频进行人声分离。

然后对克隆视频原语音的音色,再重新中文配音以及对口型匹配,最后对视频进行合成,全过程自动化,一键完成。

项目特点

  • 多语言支持: 支持中文及多种其他语言的配音和字幕翻译,满足国际化需求。
  • AI 智能语音识别: 使用 WhisperX/FunASR 进行语音识别,提供精确的语音到文本转换和说话者识别。
  • 大型语言模型翻译: 使用大语言模型(如GPT),快速且准确地进行翻译,确保专业性和自然性。
  • AI 声音克隆: 使用 GPT-SoVITS,对原视频配音进行克隆生成高度相似的语音,保持情感和语调的连贯性。
  • 数字人对口型技术: 通过对口型技术 Linly-Talker,使配音与视频画面高度契合,提升真实性和互动性。
  • 自动下载视频: 利用 yt-dlp 强大的开源命令行工具,一键自动下载几乎全平台视频。

安装指南

官方在 GitHub 上有给出详细的安装与配置步骤,可以一步一步按要求执行命令进行部署。

详细文档:https://github.com/Kedreamix/Linly-Dubbing

在启动程序前,会下载所需要的模型,如 Qwen、XTTSv2、CosyVoice、faster-whisper-large-v3 等,时间可能会稍微有点久,耐心等待下。

另外,作者还详细介绍了该工具技术实现上的一些细节,如果你是一名技术开发人员,值得借鉴学习。

最后

以上,就是关于 Linly-Dubbing 工具的介绍。

通过整合目前最新的 AI 技术,为我们提供无缝、高质量的多语言视频配音和翻译服务。

可用在对国际教育、全球娱乐等内容做本地化,说不定也是一款流量变现神器!

文中所提到的所有开源项目与工具,已收录至 GitHubDaily 的开源项目列表中。

该列表包含了 GitHub 上诸多高质量、有趣实用的开源技术教程、开发者工具、编程网站等内容。

从 2015 年至今,累计分享 3500 个开源项目,Star 增长 24000 ,有需要的,可访问下方 GitHub 地址自取:

GitHub:https://github.com/GitHubDaily/GitHubDaily

图片[3]-Linly-Dubbing,一键视频翻译、配音、添加字幕!-科技匣子

好了,今天的分享到此结束,感谢大家抽空阅读,我们下期再见,Respect!

THE END
点赞0 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片