MeanVC 2：鲁棒低延迟流式零样本语音转换

Guobin Ma¹,∗, Yuxuan Xia¹,∗, Yuepeng Jiang¹, Dake Guo¹, Hanke Xie¹, Jingbin Hu¹, Yanbo Wang², Lei Xie¹,∗∗, Pengcheng Zhu³,∗∗

1 西北工业大学软件学院音频、语音与语言处理组（ASLP@NPU），中国
2 澳大利亚新南威尔士大学
3 中国 WeNet 开源社区

摘要

流式零样本语音转换（VC）凭借实时场景的应用潜力受到越来越多的关注。近期提出的 MeanVC 实现了轻量级流式零样本语音转换，但存在三处局限：分块自回归去噪机制使有效训练序列长度翻倍；小块设置下转换质量会出现明显衰减；音色编码器直接依赖参考梅尔频谱图，对参考音频质量较为敏感。

针对上述局限，本文提出 MeanVC 2。我们引入未来感受野分块（Future-Receptive Chunking, FRC）机制，在扩散 Transformer 解码器的各层中显式调度过去与未来的感受野，同时移除了干净分块的教师强制策略。通过引入有界的未来上下文，FRC 可在 40ms 分块大小下实现稳定转换。我们进一步提出通用音色 Token 编码器（Universal Timbre Token Encoder），基于全局说话人嵌入构建音色表征，并通过交叉注意力检索细粒度音色线索，提升了对低质量参考音频的鲁棒性，同时增强了零样本场景下的说话人相似度。

实验结果表明，MeanVC 2 性能显著优于 MeanVC，同时将端到端延迟从 211ms 降至 110ms。音频样例已公开发布 ¹，源代码也将开源。

索引词：流式语音转换，零样本，均值流，通用音色 Token 编码器

---

1 引言

零样本语音转换的目标是：保留底层语言内容的前提下，将源说话人的音色转换为任意未见过的目标说话人的音色 [1]。该技术可落地于电影配音 [2,3]、隐私保护 [4]、言语障碍人群辅助沟通 [5] 等多种实际场景。在深度学习技术的持续推动下，近年提出的模型 [6-12] 在生成自然度和说话人相似度上均实现了大幅提升。

与此同时，语音转换在直播、线上会议、多人游戏语音聊天等实时通信（RTC）场景中的应用日益广泛，这也对流式模型提出了迫切需求：模型需要在保证高音频保真度与说话人相似度的同时，实现低延迟、低计算开销。

当前流式零样本语音转换方法主要遵循两种架构范式：自回归（AR）框架与非自回归（NAR）框架。

• 自回归方法 [13,14] 通常采用严格因果的逐步生成方式，避免引入未来信息。这类方法通常能实现较高的保真度与稳定的说话人特征，但串行解码不可避免地带来较高延迟与计算开销，难以适配轻量级实时部署。

• 非自回归方法 [15,16] 通过并行生成或少步生成降低延迟，更适合流式场景。但在流式上下文受限的情况下，尤其是处理短分块时，这类方法容易出现可懂度下降、音频质量衰减、说话人相似度降低以及分块间一致性变差等问题。

因此，在不损失保真度与鲁棒性的前提下实现低延迟、低计算开销，仍是流式零样本语音转换领域的核心挑战。

MeanVC [17] 尝试通过结合分块自回归去噪（Chunk-wise Autoregressive Denoising, CARD）与均值流 [18] 来应对这些挑战。具体而言，CARD 通过分块因果注意力掩码实现流式转换，每个含噪分块仅关注有限窗口内已生成的干净分块，以此保障分块间的一致性。此外，均值流通过训练模型回归常微分方程（ODE）轨迹上的平均速度场，提升了流匹配的效率，仅需单次神经网络函数评估（1-NFE）即可生成高质量频谱图。

尽管 MeanVC 具备一定效果，但仍存在若干局限，限制了其实际性能：

1. CARD 训练方案对训练不友好：它使有效序列长度翻倍，增加了显存占用，且实际训练中收敛速度慢。

2. 在 160ms 分块大小下，MeanVC 的端到端首包延迟为 211ms，且分块尺寸减小时，性能会出现明显衰减。

3. MeanVC 依赖多参考音色编码器（MRTE）[19]，直接从参考梅尔频谱图中提取细粒度说话人特征，导致说话人条件建模对参考音频质量敏感，参考音频质量较低时说话人相似度会下降。

针对上述局限，本文提出 MeanVC 2—— 一款鲁棒性更强、延迟更低的流式零样本语音转换系统。

具体而言，我们提出了未来感受野分块（FRC）：这是一种针对扩散 Transformer（DiT）[20] 解码器的分层感受野调度策略，为每一层分配专属的注意力掩码，显式控制每个分块对过去与未来上下文的关注范围。与 MeanVC 中基于 CARD 的设计相比，FRC 无需使用干净分块进行教师强制，从而大幅降低了训练时的显存占用，提升了整体训练效率。此外，通过在感受野中引入有界的未来上下文，FRC 缓解了短分块下声学上下文不足导致的质量衰减问题，可在 40ms 分块大小下实现稳定转换。

最后，我们提出通用音色 Token 编码器（UTTE），以提升低质量参考音频下说话人条件建模的鲁棒性。UTTE 将细粒度音色提取与对参考梅尔频谱图的直接依赖解耦：它基于全局说话人嵌入，通过通用音色 Token（UTT）参数化构建键 - 值（Key-Value）音色表征，并以瓶颈特征（BNF）作为查询，通过交叉注意力检索与发音相关的细粒度音色细节。该设计提升了对低质量参考音频的鲁棒性，增强了零样本场景下的说话人相似度，同时降低了对大规模带说话人标签的参考梅尔数据的依赖，提升了数据可扩展性。

大量实验表明，MeanVC 2 的整体性能显著优于 MeanVC，在单核 CPU 上的端到端全链路延迟从 211ms 降至 110ms。项目源代码将公开发布。

---

2 预备知识

2.1 条件流匹配

条件流匹配（Conditional Flow Matching, CFM）[21] 通过学习一个向量场，将样本从先验分布 $p_{prior}(ϵ)$ 映射到数据分布 $p_{data}(x)$。给定数据样本 $x\sim p_{data}(x)$ 与噪声 $ϵ\sim N(0,I)$，最优传输路径可构造为 $z_t=(1-t)x+tϵ$，对应的条件速度为 $v_t=d{z}_t/dt=ϵ-x$。

训练神经网络 $f_{\theta }$ 最小化 CFM 目标函数：
KaTeX parse error: \tag works only in display equations

推理阶段，模型通过求解常微分方程从噪声$ϵ$中恢复出原始样本$x$，该过程通常需要多次函数评估，会带来不可忽视的延迟。

2.2 均值流

为实现仅单次神经网络函数评估（1-NFE）的高质量合成，本文采用均值流 [18] 方法。给定时间区间$[r,t]$，ODE 轨迹上的平均速度定义为：
$u\left(z_t,r,t\right)\triangleq \frac{1}{t-r}{\int }_r^{t}v\left(z_{\tau },\tau \right)d\tau$

对$t$求导并整理后，可得到均值流恒等式：
$u\left(z_t,r,t\right)=v\left(z_t,t\right)-(t-r)\frac{d}{dt}u\left(z_t,r,t\right),$
其中全导数通过雅可比向量积展开为 $\frac{d}{dt}u=v(z_t,t){\partial }_{z}u+{\partial }_{t}u$。

将边缘速度$v(z_t,t)$替换为条件速度$v_t=ϵ-x$，训练目标变为 $u_{tgt}=v_t-(t-r)(v_t{\partial }_z{u}_{\theta }+{\partial }_t{u}_{\theta })$。均值流的训练目标为：
KaTeX parse error: \tag works only in display equations
其中$sg(\cdot )$表示停止梯度操作。当$t=r$时，该目标退化为标准的 CFM 损失。

在 1-NFE 采样过程中，干净样本通过 $z_0=z_1-f_{\theta }(z_1,0,1)$ 恢复，其中 $z_1=ϵ\sim p_{prior}(ϵ)$。

---

3 方法

3.1 整体架构

如图 1 所示，MeanVC 2 采用 “识别 - 合成” 框架，由流式自动语音识别（ASR）模块、说话人编码器、通用音色 Token 编码器（UTTE）、DiT 解码器和声码器组成。

首先，预训练的流式 ASR 模型从源波形中提取瓶颈特征（BNF），同时预训练的说话人编码器从参考波形中提取全局说话人嵌入。随后，BNF 与全局说话人嵌入输入 UTTE 中。具体而言，UTTE 将全局说话人嵌入转换为基于 UTT 的键 - 值音色表征，并以 BNF 作为查询输入交叉注意力模块，检索细粒度、与内容感知的音色线索，最终生成带音色信息的 BNF。

基于带音色信息的 BNF，DiT 解码器采用提出的 FRC 策略以流式方式生成目标梅尔频谱图。与 MeanVC 一致，解码器采用均值流范式进行训练，在保留原框架效率优势的同时，实现 1-NFE 的高质量梅尔频谱图合成。

3.2 未来感受野分块

MeanVC 采用分块自回归去噪机制，以干净梅尔分块作为提示，为含噪分块提供条件。该设计保障了分块间的一致性，但训练时需要将所有干净分块与所有含噪分块拼接为长度为 2N 的序列，大幅提升了显存开销，优化过程对训练不友好。

为提升训练效率，我们改为在含噪序列上采用分块训练与分层注意力掩码，移除了干净分块的教师强制。在相同训练配置下，该修改将 GPU 峰值显存占用降低了约 60%。但仅限制注意力关注短历史窗口，会将时域上下文割裂为小分块，导致分块间一致性与音频质量下降。

为缓解这些局限，我们提出 FRC—— 一种面向 DiT 解码器的分层感受野调度策略。FRC 将时域序列划分为 N 个分块 $C_i{}_{i=1}^N$，每个分块包含 B 个连续帧，并为每一层 DiT 分配专属的注意力掩码，显式控制分块$C_i$对前后分块的关注范围。

具体而言，FRC 采用三种互补的掩码类型：

• 分块内掩码：允许每个分块内部进行全注意力计算；

• 后向掩码：允许$C_i$关注有限数量的前序分块；

• 前向掩码：允许$C_i$关注有限数量的后续分块。

通过这种逐层调度，感受野在连续的 DiT 层中以可控方式扩展，而非依赖固定的滑动窗口设计。

具体来说，对于层数为 L 的解码器，第$\ell$层的每个分块最多可关注$P_{\ell }$个过去分块与$F_{\ell }$个未来分块，同时始终保留完整的分块内注意力。该设计定义了第$\ell$层的块掩码$M^{(\ell )}$：仅当$j\in [i-P_{\ell },i+F_{\ell }]$时，允许从分块$i$到分块$j$的注意力计算。

在我们的实现中，解码器层数$L=4$，过去感受野设置为$P_{\ell }=2,2,1,1$，未来感受野设置为$F_{\ell }=1,0,0,0$，如图 2 所示。最终整体感受野覆盖 6 个过去分块、当前分块与 1 个未来分块，总计 8 个分块。

这种带有有界前瞻的显式感受野调度，缓解了短分块设置下声学上下文不足的问题，为流式生成提供了更稳定的时域上下文。

3.3 通用音色 Token 编码器

MeanVC 依赖 MRTE，直接从同一说话人的参考梅尔频谱图中提取细粒度说话人特征。该设计导致说话人条件建模在推理时对参考音频的声学质量敏感，参考音频质量下降时，说话人相似度通常会降低。同时，由于收集带可靠说话人身份标签的大规模参考音频难度较高，该设计也限制了数据可扩展性。

受 TVTSYN [22] 启发，我们提出 UTTE，将细粒度音色提取与对参考梅尔频谱图的直接依赖解耦。

UTTE 首先将说话人编码器提取的全局说话人嵌入$s$映射为一组 UTT，参数化为 K 组键 - 值对 ${(k_i,v_i)}_{i=1}^K$。UTT 采用双重表征：一部分是由多层感知机（MLP）基于$s$生成的说话人专属分量，另一部分是所有说话人共享的可学习先验，记为$k_i^{prior}$与$v_i^{prior}$。每组键值对的计算方式如下：
KaTeX parse error: Can't use function '\(' in math mode at position 42: …{i\}=MLP\_\{k\}\̲(̲s\)*\{i\}\+tanh…

可学习先验作为通用音色原型，捕捉与说话人无关的发声特征（如气息感、鼻音感）；MLP 的输出则对这些原型进行调制，以体现目标说话人的身份特征。在加法融合前对先验项施加 tanh (・) 激活，经实验验证可提升 token 多样性。直观来看，UTT 将音色拆解为多个维度，每个维度存储在专属的槽位中，这提供了强归纳偏置，同时提升了样本效率与训练稳定性。

与 TVTSYN 不同的是，TVTSYN 在内容嵌入与 UTT 之间计算缩放点积注意力，再通过球面线性插值将生成的特征与全局音色嵌入融合，得到时变音色嵌入；而 UTTE 直接以 BNF 作为查询，对 UTT 键值对进行注意力计算，从而提取细粒度、与发音感知相关的音色特征，生成带音色信息的 BNF，用于下游的频谱图生成。

---

4 实验

4.1 实验设置

数据集：我们在开源 Emilia [23] 语料上训练 MeanVC 2。具体而言，我们过滤掉短于 5 秒的语音片段，随机采样 10000 小时的普通话数据。所有音频文件重采样至 16kHz 用于语音转换训练。

零样本评估采用 Seed-TTS 测试集 [24] 的普通话子集，包含 2018 组源 - 目标测试对。为评估低质量参考音频下说话人条件建模的鲁棒性，我们进一步选取 30 位参考录音声学质量较差的目标说话人，并从 Seed-TTS 测试集中采样 100 条语音片段作为源录音。

语义特征提取采用流式 ASR 模型 Fast-U2++[25]，该模型由 WeNet [26] 实现，在 WenetSpeech [27] 数据集上训练。

实现细节：MeanVC 2 总参数量为 18M。DiT 解码器包含 4 个 DiT 块，每个块的隐藏层维度为 512，包含 2 个注意力头。UTTE 包含 2 个独立的双层 MLP、32 组隐藏维度为 256 的 UTT 键值对，以及 1 个隐藏维度为 256、4 个注意力头的交叉注意力模块。

Fast-U2++ 采用 80ms 分块大小进行流式推理，从 16kHz 波形中提取语义特征，帧长为 40ms。说话人嵌入采用 ECAPA-TDNN [28] 提取。我们使用 Vocos [29] 作为声码器，将梅尔频谱图转换为高保真 16kHz 语音波形。

评估指标：

• 主观评估：采用自然度平均意见分（NMOS）与说话人相似度平均意见分（SMOS），结果均报告 95% 置信区间。我们随机采样 100 组测试对，招募 30 名听音者完成听音测试。

• 客观评估：采用字错误率（CER）衡量可懂度，由 ASR 模型计算得到 ²；采用基于 WavLM 微调的说话人验证模型衡量说话人相似度（SSIM）³，对比转换语音与目标说话人；此外使用 DNSMOS⁴评估语音质量。

• 流式性能：报告实时因子（RTF）与延迟。RTF 定义为推理时间与生成音频时长的比值。所有 RTF 与延迟测试均在单核 AMD EPYC 7542 CPU 上以单线程执行。

基线系统：为验证所提方法的有效性，我们将 MeanVC 2 与两个基线系统（MeanVC、StreamVoice+）进行对比。MeanVC 2 采用 40ms 分块，并引入 1 个分块的有界未来感受野，在 BNF 层面的有效首包缓冲为 80ms。StreamVoice + 采用 80ms 分块大小。MeanVC 分别在 80ms 与 160ms 分块大小下进行评估。

4.2 零样本语音转换效果评估

表 1 结果显示，MeanVC 2 在所有相似度指标上均取得最高分，优于 StreamVoice+、80ms 分块的 MeanVC 与 160ms 分块的 MeanVC。质量指标方面，MeanVC 2 取得了最高的 DNSMOS 得分 [30]。

由于 MeanVC 2 与 80ms 分块的 MeanVC 采用相同的 80ms 输入分块，该对比具备公平性 ——MeanVC 2 在全部 5 项质量与相似度指标上均优于 80ms 分块的 MeanVC。而相较于 160ms 分块的 MeanVC，MeanVC 2 在 NMOS 与 CER 上略有劣势，这符合预期：160ms 设置拥有更丰富的上下文信息，更利于声学重建。

表 1：零样本语音转换结果。RTF 仅统计语音转换模块，延迟表示全链路端到端首包延迟。主系统（不含消融实验）中，最优结果加粗标注，次优结果加下划线标注。浅绿色行对应 MeanVC 2 及其消融变体。

方法	质量指标			相似度指标		效率指标
	NMOS ↑	DNSMOS ↑	CER(%) ↓	SMOS ↑	SSIM ↑	参数量 (M)	RTF ↓	延迟 (ms) ↓
GT	4.07 ± 0.02	3.79	1.36	-	-	-	-	-
StreamVoice+	3.70 ± 0.04	3.52	10.27	3.65 ± 0.02	0.552	153	14.732	1258.56
MeanVC (80 ms)	3.61 ± 0.02	3.37	11.66	3.61 ± 0.03	0.599	14	0.177	111.64
MeanVC (160 ms)	3.86 ± 0.04	3.81	5.11	3.87 ± 0.03	0.687	14	0.136	211.52
MeanVC 2	3.81 ± 0.05	3.89	7.44	3.89 ± 0.04	0.710	18	0.371	109.88
移除前向掩码	3.54 ± 0.02	3.23	20.65	3.52 ± 0.02	0.573	18	-	-
移除 UTTE	3.77 ± 0.05	3.81	7.92	3.78 ± 0.02	0.682	13	-	-
移除 tanh 激活	3.79 ± 0.03	3.83	7.79	3.82 ± 0.05	0.692	18	-	-

MeanVC 2 仅含 18M 参数量，与 14M 参数量的 MeanVC 相当，远小于 153M 参数量的 StreamVoice+。其端到端首包延迟为 109.88ms，与 80ms 分块 MeanVC 的 111.64ms 接近，远低于 160ms 分块 MeanVC 的 211.52ms 与 StreamVoice + 的 1258.56ms。

全链路仍满足实时性要求：ASR 编码器、语音转换模块与声码器的整体 RTF 为 $0.114+0.371+0.148=0.633<1.0$。尽管 MeanVC 2 的语音转换模块 RTF（0.371）高于 80ms 分块的 MeanVC（0.177），但后者是延迟匹配基线，而非输出时长匹配的计算参考。在相同的 40ms 输出粒度下，MeanVC 的 RTF 为 0.316，MeanVC 2 为 0.371，说明 MeanVC 2 仅适度增加了计算开销。

所有效率测试均未引入量化、算子融合等工程优化，说明仍有进一步降低延迟的空间。

4.3 参考音频鲁棒性评估

表 2 结果显示，将 UTTE 替换为 MRTE 后，所有指标均出现一致下降。该结果证明，在低质量参考音频场景下，UTTE 相比 MRTE 能提取更可靠的说话人表征，从而实现更优的输出质量与更高的说话人相似度。

表 2：参考音频鲁棒性评估结果

方法	DNSMOS ↑	CER(%) ↓	SSIM ↑
搭配 MRTE 的 MeanVC 2	1.39	7.64	0.621
MeanVC 2	1.87	6.55	0.643

4.4 消融实验

为验证各组件的贡献，我们开展了消融实验，结果如表 1 所示。

• 从 FRC 中移除前向掩码后，性能衰减最为严重，说明有限的前瞻感受野对于在小分块下捕捉充足的声学上下文至关重要。

• 移除 UTTE 会导致 SSIM 显著下降，证实 UTTE 能捕捉到全局说话人嵌入无法提供的细粒度音色信息；值得注意的是，即便这个 13M 参数量的简化变体，在所有指标上仍优于 80ms 分块的 MeanVC，凸显了 FRC 在小分块场景下的有效性。

• 移除 tanh 激活会导致相似度指标出现中等幅度的下降，说明 tanh 激活对语音片段级音色嵌入的分布起到了正则化作用，提升了说话人表征的多样性。

---

5 结论

本文提出 MeanVC 2—— 一款低延迟、高鲁棒性的流式零样本语音转换系统，通过 FRC 与 UTTE 解决了 MeanVC 的核心局限。FRC 移除了干净分块教师强制机制以提升训练效率，同时引入有界未来上下文以稳定短分块转换效果，实现了 40ms 分块下的可靠转换。UTTE 通过从全局说话人嵌入中检索细粒度音色线索，提升了说话人条件建模的鲁棒性，降低了对低质量参考音频的敏感度。实验结果表明，MeanVC 2 的整体性能显著优于 MeanVC，端到端全链路延迟从 211ms 降至 110ms。

---