TTS 对比报告

山海评测引擎 · TTS Eval Studio

测试准备

测试数据集: shanhai-tts-zh：从山海智影实际场景收集，随机抽样100条case
测试模型: minimax-tts 、elevenlabs-tts、lychee-tts
测试指标：ss（说话人相似度）、es（情感相似度）、cer（错字率）
- 相似度（ss）测试方法：使用 WavLM-Large + ECAPA-TDNN（seed-tts-eval 微调权重）作为说话人嵌入模型。对同一条样本的参考音与本轮 TTS 合成音分别提 embedding，在 16 kHz 单声道下计算余弦相似度。分数范围 0～1，越高越好，衡量合成音色与参考说话人是否接近。
- 错字率（cer）测试方法：使用 ASR 将合成音转成文本：中文为 Fun-ASR-Nano-2512，英文为 Whisper large-v3。与原始真实⽂本进⾏编辑距离计算，得到词错误率。
- 情感相似度（es）测试方法： ModelScope emotion2vec_plus_large 提取 utterance 级情感 embedding。对同一条样本的参考音与合成音各提一条向量，计算余弦相似度。分数范围 0～1，越高越好，衡量合成在情感/韵律表征上与参考音的接近程度（与 SS 评音色、与 CER 评念对文本相互独立）。

数据集	TTS 引擎	SS	ES	CER
shanhai-tts-zh	lychee-tts	0.6651	0.8934	0.0464
shanhai-tts-zh	elevenlabs-tts	0.4631	0.8545	0.0478
shanhai-tts-zh	minimax-tts	0.7167	0.9144	0.0289

手机上可左右滑动试听表。

#	参考音频 / 文本	推理文本	elevenlabs-tts	minimax-tts
1	傅彦城，我没有骗你，傅彦城	Fu Yan Cheng, I didn't lie to you, Fu Yan Cheng！
2	我有幽闭恐惧症	I suffer from claustrophobia!
3	你不能这么对我	You can't treat me like this.
4	小野	Xiao Ye	问题音频
5	为什么不怕大梁太子震怒！	Why not fear the Prince of Daliang's rage！
6	奶奶在这儿呢！	Granny is here！		问题音频
7	那个死女人跑哪去了？	Where the hell is that damned woman？
8	她毁了我的婚礼！	She ruined my wedding！	问题音频
9	睡一个！	Sleep a bit!

minimax 不支持短音频（10s以内），lychee-tts 原生支持短音频。
minimax、elevenlabs 都采用先克隆获取 voice_id 后推理的形式，lychee-tts 后续支持直接根据参考音频 ref-audio 推理（无需额外调用 clone 接口）
在音频表现方面，对于音质差、时长短的音频，lychee-tts 更为稳定，minimax 存在推理后质量差，elevenlabs-tts 存在推理后音频时长有额外几秒的静音段的问题。