音频生成技术正在经历一场全新的范式迁移——从传统级联架构逐步向端到端生成范式演进。长期以来主流的做法是“曲线救国”合成系统先将音频压缩成梅尔频谱图等中间表征再依赖神经声码器“翻译”回波形。每一次转换都带来信息损失与误差累积最终丢失了最需要保留的细腻音色与个性化细节。能不能让 AI 直接学会声音本身的规律跳过中间环节为破解这一技术瓶颈美团 LongCat 团队正式发布 LongCat-AudioDiT。在该模型中我们彻底抛弃梅尔谱等中间表示直接在波形潜空间进行基于扩散模型的文本转语音Text-to-Speech, TTS从根源阻断数据转换的级联误差。另外我们做了两个关键改进首先我们识别并纠正了一个长期存在的“训练-推理不匹配”问题其次我们用自适应投影引导APG取代了传统的无分类器引导CFG从而大幅提升了最终的语音生成质量。结果表明LongCat-AudioDiT 在 Seed 基准测试中取得当前最优SOTA的零样本语音克隆性能同时保持了具有竞争力的可懂度。其中LongCat-AudioDiT-3.5B模型在Seed-ZH测试集的说话人相似度SIM指标提升至0.818Seed-Hard 测试集达到0.797超过了Seed-TTS、CosyVoice3.5、MiniMax-Speech等知名模型验证了波形空间直接生成范式的有效性。今天我们将 LongCat-AudioDiT1B/3.5B完整开源Paper: https://arxiv.org/abs/2603.29339v1GitHub: https://github.com/meituan-longcat/LongCat-AudioDiTHuggingFace: https://huggingface.co/meituan-longcat/LongCat-AudioDiT一、波形潜在空间直接生成架构规避中间表征的信息衰减瓶颈业界主流TTS系统长期受困于“多阶段”的复杂流程先预测中间声学特征如梅尔频谱再依赖一个独立的神经声码器将特征“翻译”成最终波形。这种“预测翻译”的范式本质上是在两个不同空间里“传话”必然会累积误差导致最终合成的声音丢失了高保真、个性化的细节——而这恰恰是零样本语音克隆最需要保留的部分。为此我们构建了全新的 LongCat-AudioDiT 架构。其核心逻辑非常简单只用一个波形变分自编码器Wav-VAE和一个扩散TransformerDiT在波形隐空间里完成声音的压缩、建模与重建。图1LongCat-AudioDiT架构概览1.1 Wav-VAE 为波形量身定制的压缩器Wav-VAE 作为一个全卷积音频自编码器它将原始波形压缩为紧凑的连续隐向量。其设计蕴含了多项关键创新高效的下采样与多尺度建模编码器通过多级Oobleck块实现层级下采样每个块内堆叠了带空洞卷积的残差单元能够捕获从局部到全局的时序依赖。最终将24kHz的波形压缩到约11.7Hz的帧率压缩比超过2000倍。非参数捷径稳定训练为了在激进下采样时保持训练稳定每个编码器/解码器块都引入了非参数的“空间到通道”或“通道到空间”捷径分支为梯度提供了直接的线性通路大幅提升了收敛稳定性。对抗式多目标训练Wav-VAE的优化目标融合了多分辨率STFT损失、多尺度梅尔损失、时域L1损失、KL散度正则以及多尺度STFT判别器的对抗损失和特征匹配损失。这套组合拳确保了重建波形既保持精确的时频结构又具备自然听感。1.2 扩散Transformer 在隐空间中学习从文本到声音的映射有了高质量的隐空间我们的DiT模型便在这个空间里学习条件流匹配CFM。文本编码方面我们选择了支持107种语言的UMT5作为文本编码器。一个关键的发现是仅使用最后一层隐藏状态模型无法生成可懂的语音。我们推测这是因为高层语义抽象丢失了关键的词法、音素线索。因此我们创新性地将原始词嵌入第一层与最后一层隐藏状态相加经过LayerNorm平衡scale后送入后续模块。这种“高低结合”的策略大幅提升了生成语音的可懂度。此外我们还引入了轻量的ConvNeXt V2序列模块对文本表征进行细化处理加速了文本-语音对齐的收敛。DiT的骨干网络基于Transformer并集成了多项结构优化全局自适应层归一化Global AdaLN注入时间步信息并通过全局共享的AdaLN块有效减少参数量。QK-Norm RoPE 稳定注意力训练同时利用旋转位置编码捕捉相对位置关系。长跳跃连接将输入直接加到输出在实验中带来了一致的质量提升。表征对齐REPA借助mHuBERT的自监督特征引导DiT中间层虽不提升最终质量但显著加速了收敛。二、推理机制的双重关键突破从精准对齐到生成净化如果说波形潜在空间架构解决了声学建模的空间选择问题那么我们对推理过程的两项关键改进则从根本上优化了生成过程的路径精度与质量纯度。2.1 双重约束对齐DCA修复流匹配TTS的“训练-推理”不匹配问题我们首次发现并解决了流匹配TTS中长期存在的训练-推理不匹配问题。在标准CFM训练框架中模型仅在掩码区域计算损失而音频提示区域prompt并不参与优化然而在推理阶段这些同样提供音色条件的提示区域却会不受约束地通过扩散ODE自由演化导致其分布轨迹偏离训练时的约束条件最终造成生成语音的说话人音色漂移与稳定性下降。为此我们提出双重约束机制提示区域隐变量强制重置在每一步推理迭代中严格将提示区域的隐变量重置为其理论真值即训练时的ground truth确保提示区域的演化轨迹与训练分布完全对齐为生成部分提供稳定且纯净的声学条件无条件预测净化在计算无条件速度场时移除提示区域的隐变量输入从而计算出完全正确的无条件速度避免信息泄漏。2.2 自适应投影引导APG缓解CFG“多饱和”问题传统的扩散模型普遍使用无分类器引导CFG通过放大条件预测与无条件预测的差异来提升生成质量。但这种方法有一个副作用引导强度越大越容易导致频谱“过饱和”从而使得音质劣化、语音听起来不够自然。我们提出的自适应投影引导APG则换了一个思路引导信号中真正有益的部分和引发劣化的部分在几何上是正交的。APG将引导信号分解为平行与正交两个分量保留正交分量有益部分同时抑制平行分量劣化部分从而在提升自然度的同时避免音质损失。简单来说CFG是“无差别放大”APG是“精准筛选”。两项推理优化协同作用在保持高说话人相似度的同时显著提升了生成语音的自然度与声学质量。三、核心洞察VAE重建越好TTS生成反而越差在 Wav-VAE 的实验中我们观察到了一个非常有意思的现象VAE重建质量越好 ≠ 语音生成效果越好单纯追求高重建分数会导致潜空间维度膨胀。这使得下游的扩散模型难以学习导致综合表现下降。为了深入探究这个问题我们系统性地对比了不同潜空间维度与帧率配置下的建模表现最终确定了最优配置64维潜在维度 11.7Hz帧率。这一配置既为生成模型留出足够的学习空间又保留了足够的声学细节实现了重建保真度与生成质量的最佳平衡。图2不同潜变量维度下Wav-VAE重建与TTS合成的客观评估结果四、模型性能定义“零成本”下的声音复刻极限我们在Seed基准上测试了LongCat-AudioDiT的表现并与业界知名模型比如SeedTTS、CosyVoice3.5、MiniMax-Speech等进行对比。结果表明LongCat-AudioDiT在说话人相似度SIM方面取得了SOTA的表现同时具有极具竞争力的可懂度。图3LongCat-AudioDiT 在 Seed 基准测试4.1 说话人相似度SIM中文测试集Seed-ZHLongCat-AudioDiT-3.5B 取得了 0.818的相似度分数大于之前SOTA Seed-DiT的分数0.809。中文难句测试集Seed-HardLongCat-AudioDiT-3.5B 取得了0.797的SOTA分数。4.2 文本准确率WER/CER中文 CERLongCat-AudioDiT-1.1B 为 1.18%LongCat-AudioDiT-3.5B 为 1.09%。在 NAR非自回归模型中表现非常出色。英文 WER两个版本分别为 1.78% 和 1.50%。其中 LongCat-AudioDiT-3.5B 的 1.50% 达到所有参评模型中的第二最低的错误率展现了极强的英文文本转语音准确性。中文难句 CERLongCat-AudioDiT-3.5B 取得了 6.04% 的成绩相比于同样基于扩散模型的F5 TTS (8.67%) 错误率大幅降低表现稳健。模型在准确率指标上保持了第一梯队的水平没有为了追求相似度而牺牲可懂度。值得一提的是LongCat-AudioDiT并没有使用高质量人工标注数据和多阶段的训练仅仅通过ASR转写的预训练数据和单阶段预训练就取得了比多阶段训练的模型如Seed-TTS、CosyVoice3.5、MiniMax-Speech等知名模型更好的表现。总结来说LongCat-AudioDiT 模型凭借其优秀的说话人相似度SIM和稳定的准确率WER/CER在零样本语音克隆任务中展现出强大的竞争力。五、更多案例查看case请点击下方链接https://mp.weixin.qq.com/s/YaU20XkTSSYXZ4YTJ22PWg六、开源开放LongCat-AudioDiT以极简的架构、纯粹的波形潜空间建模证明了绕开中间表征的扩散TTS路线不仅能走通更能达到业界最佳水平。我们相信这套“波形隐空间直通”的设计范式将为高保真语音合成与多模态音频生成提供新的思路。今天我们将LongCat-AudioDiT 模型1B / 3.5B全部开源期待与社区同仁共同推动语音生成技术的边界。开源平台链接Paperhttps://arxiv.org/abs/2603.29339v1GitHub:https://github.com/meituan-longcat/LongCat-AudioDiTHuggingFace:https://huggingface.co/meituan-longcat/LongCat-AudioDiT我们也期待这套技术能帮助更多开发者和研究者构建出更自然、更富表现力的语音交互体验。