@hexovi 在 分享下本地语音模型的 中发帖

最近刷视频有点累了,就想把想看的视频直接转成文字,先扫一遍,再决定值不值得花时间看原片。 
选型翻了下有两种 


SenseVoice(sherpa-onnx 推理,int8 量化,模型 228MB) 


whisper.cpp + large-v3-turbo(模型 1.5G) 



测了一轮90秒的音频 




方案
结果




SenseVoice
2秒出全文,带标点,断句基本都正确


whisper
9秒,整体也能识别



第一个坑
一开始丢一个20分钟的音频进去,发现直接卡死,但是又不报错,拿着ds大人排了半天说: 

查阅 SenseVoice 官方文档后发现,SenseVoiceSmall 直接推理接口的音频输入时长限制为 30 秒及以下。 

随后改成分段处理,每段 28 秒、留 2 秒余量,再跑就快多了 
第二个坑
分段转出来的文字如果直接拼接,段落之间会丢...
 
 
Back to Top