撸了个提取视频字幕并用大模型翻译的工具，专门针对日语优化，支持 Windows 和 macOS （ M 芯片）： https://github.com/cddqssc/Caption-Trans
如图，帮我的一个朋友翻译了一部番号为 ipx-726 的日语片，效果非常哇塞
利用 whisperX 的词级时间戳针对日语进行优化，其他语言保持 whisperX 的基本水准，比 whisper 强。
转录自动识别 GPU 加速
推荐使用 gemini flash lite 系列模型，速度快价格便宜，还能翻译敏感词
如图，帮我的一个朋友翻译了一部番号为 ipx-726 的日语片，效果非常哇塞
利用 whisperX 的词级时间戳针对日语进行优化，其他语言保持 whisperX 的基本水准，比 whisper 强。
转录自动识别 GPU 加速
推荐使用 gemini flash lite 系列模型，速度快价格便宜，还能翻译敏感词
第 1 条附言 · 3 月 23 日
翻译是先让 AI 总结全文，然后再逐批让 ai 翻译，每批有上下文关联
效果实测不错，有些模型还能翻译出非常下流的语句
效果实测不错，有些模型还能翻译出非常下流的语句
 |
101
gojo 3 月 23 日
能支持命令行就好了, 能集成到各种自动化工具里
|
 |
102
CharmingCheung 3 月 23 日
能否加个识别出来的字幕编辑功能，允许编辑完之后再送去翻译，因为有些句子识别出来就是一条几分钟的超长"あああああ"，实际用的时候既需要编辑掉，翻译起来也浪费 token 。
|
 |
103
ireqhawk 3 月 23 日
@feidao158 你碰到的问题跟我猜的一样，哈哈。
直接正则+极特殊情况(大部分集中在国产和步兵)写规则匹配。这条路已经实际试过可行了.几万部各种来源的准确率能到 99%以上.特殊情况再手动补规则进去. |
 |
105
CaptainTimo 3 月 23 日
能不能用女优现有的视频训练 tts ，然后直接生成中文音频啊
 |
 |
106
Brightt OP @CaptainTimo 太会享受了
|
 |
107
yukunZhan9 3 月 23 日
之前做过一款基于本地 whisper 做识别然后调用大模型做翻译的功能，对于一些声音小或者杂音比较多的场景识别起来效果比较差，还有大部片段只有啊啊叫的效果也不行，不知道这个怎么样，已 start ，晚上回去深度体验一下。🤓
|
|
108
Brightt OP @yukunZhan9 这个就是解决你遇到的那些问题，深度体验下
|
 |
109
gulullu 3 月 23 日
能批量不啊，求个批量的
|
 |
110
fionasit007 3 月 23 日
请问一部 10Gb 左右的要花多少时间呢，之前看到过类似的开源的，折腾了下结果很慢
|
 |
111
19cm 3 月 23 日
老哥,能集成这个进去不,
 |
 |
112
junas7 3 月 23 日 via Android
@fionasit007 抽一根兰州的时间
|
 |
113
jwxyz1992 3 月 23 日
第一生产力，名不虚传
|
 |
114
txhsj 3 月 23 日
回去先研究下
|
 |
115
kome 3 月 23 日 via iPhone
Faster Whisper TransWithAI ChickenRice ，这个项目可以本地使用，应该是只支持 CPU 或者 CUDA ，我这移动版 1650 4G 显存，也能跑，速度不是很快。
|
 |
117
mrabit 3 月 23 日
好东西 收藏了
|
 |
119
tadashiyui 3 月 23 日 via iPhone
咱就是说原来你们还看剧情的吗，我都直接跳到正片，来回不就是嗯嗯啊啊那几句.......
|
|
120
Brightt OP @tadashiyui 我看的有码的，有码的基本上都有点剧情。无码的现在不好看了
|
 |
121
zjj19950716 3 月 23 日
可恶 第一次产生要换硬件的念头 竟然是在这个场景下
|
 |
122
KousukeSakurako 3 月 23 日
挺不错的，只可惜我会日语用不上
|
 |
123
hanli 3 月 23 日
环境能不能保存在软件目录？ C 盘空间不多了
|
 |
124
erwin985211 3 月 23 日
小米手机有一个实时字幕的功能，支持日文，效果挺不错的
|
 |
125
kirieievk 3 月 23 日
我搞了一个是在电报机器人上直接下载 pt 站的种子,然后自己翻译上字幕之后发到我电报.这样就可以在线看了.看了就删.不过一般都是看各种小众文艺电影,也有小电影.也用的 whisperX,质量已经非常好了.
|
 |
127
kukat 3 月 23 日
已经有近 400 个老色批（包括我） star 了
|
 |
128
dragoooon 3 月 24 日
@yuwancumian27149 potplayer 可以
|
 |
129
shell314 3 月 24 日
可以加一个翻译漫画的
|
 |
130
hackpro 3 月 24 日
翻译出来的是外挂字幕还是直接写会原视频容器啊
|
 |
131
wm5d8b 3 月 24 日 via Android
看番剧适用吗？现在又重回网盘时代了，不想等字幕组古法烤制
|
 |
135
yaakua 3 月 24 日
如果只是为了实时看视频字幕，可以看看我这个软件： https://fanyueai.com 还支持实时翻译字幕
|
 |
136
kylehuangyu 3 月 24 日
@frankkly 试过了速度跟不上
|
 |
137
wnpllrzodiac 3 月 24 日
衣裤衣裤
|
 |
138
kero991 3 月 24 日
你别说，隔壁也有一个类似的项目，发在小众软件
https://github.com/meizhong986/WhisperJAV 起因是 Whisper 不能很好的处理某种片子里的喘息哼叫等，所以做了这个 |
 |
139
wenyupapa8 3 月 26 日
等到下载完都 soft 了
|
 |
140
desstiony 3 月 26 日
windwos ，gpu 启用失败，nvidia-5070
|
 |
141
RUIN44 9 天前
輸出語言能增加繁中嗎？
|
Select Language