本周工作总结:
-
调研MOSS-TTS-Nano,该产品是开源多语言生成模型,仅含0.1B参数,常用于实时语音设计,可直接在CPU上运行,且支持长文本,模拟音色功能。
-
下载安装MOSS-Audio的4B-instruction及8B-Thinking模型,这两模型都需要GPU支持,仅靠CPU需要大量时间分析,能实现音频语音转文字、音频分析、推理分析等功能,正确率还有待测试。
-
调研微软发布的Nemotron-0.6B,该模型仅支持再Win11系统部署,而其原模型Nvidia发布的Nemotron-0.6B模型仅明确说明能识别英文,故没有继续尝试
-
下载部署Fun-ASR-Nano、paraformer-zh-streaming、paraformer-zh等模型并初步尝试转写,具体转写效果仍需进一步测试
问题与洞察:
-
不同开源ASR对于插件、编译环境的要求不一,测试时需进行区分。
-
对于需要GPU驱动的ASR引擎,其仅靠CPU驱动时转写一分钟左右的音频需要长达近40分钟的运行时间才能得到结果。
-
部分模型体积较大,需要花不少时间下载
下周重点工作:
-
录制多个测试音频,对上述已下载的模型进行横向测试比较。
-
将上述模型接入到拨号对话中,测试实时转写成果
-
结合MOSS-TTS-Nano模型,实现“智能对话助手”