几十年来，语音识别系统都是先“听懂”再“回答”——中间必须经过文字这道关卡。但现在，Block 旗下的 Dessa 团队给出了一个截然不同的答案：一个完全跳过文字、直接从原始语音到语音训练的对话模型。这条路，OpenAI、Google 都曾绕开，Dessa 却一头扎了进去。

一、一个反直觉的选择

2025 年，Block（Square 的母公司，Jack Dorsey 执掌的金融科技公司）通过其研究团队 Dessa（曾被收购后并入 Block，以复现 DeepMind 的 Real-Time Voice Cloning 系统而闻名）发布了新进展：一个仅使用语音数据训练的对话模型。

这听起来像是一个工程细节，实际上是一次范式挑战。

当今主流的语音对话系统——无论是智能音箱、客服机器人还是 ChatGPT 的语音模式——架构上基本都是这样的：

用户语音 → ASR（语音转文字）→ LLM（文字推理）→ TTS（文字转语音）→ 回复

这条级联管线（Cascade）成熟、可控、易调试，但代价也很明显：

• 信息丢失：语气、情绪、停顿、方言口音，在转成文字的那一刻全部被抹掉
• 延迟累积：三个模型串联，每一环都要等待上一环完成
• 错误传播：ASR 识别错一个词，后面的 LLM 就会答非所问

而 Dessa 走的是所谓的 Speech-to-Speech（S2S）原生路线：让模型直接在连续的语音表征上学习和生成，文字根本不存在于训练管线中。

二、纯语音训练，难在哪？

为什么这条路线人迹罕至？核心问题在于语音信号的连续性和长度。

文字是离散的 token，一句话不过几十个符号；而 16kHz 采样的音频，一秒钟就是 16000 个采样点。如果直接在原始波形上训练，序列长度会爆炸。业界的通用解法是把音频量化成离散 token（如 Google 的 SoundStream、Meta 的 EnCodec），但语音 token 有个致命特点：分层结构——

• 低码本层承载语义（“说什么”）
• 高码本层承载声学细节（“谁在说”、“用什么情绪说”）

一个典型的做法是用 RVQ（残差向量量化）编码器处理：

import torchaudio

# 语音 → 离散 token 的典型流程（类似 EnCodec/SoundStream）
wav, sr = torchaudio.load("user_utterance.wav")
wav = torchaudio.functional.resample(wav, sr, 24000)

codec = torchaudio.models.HuBERTPretrainModel(hparams=None)  # 示意
# 实际中常用 RVQ 编码器，输出多层 token：
# codes.shape = [num_codebooks, seq_len]
# codes[0]  → 语义层：模型主要在这一层学习"对话逻辑"
# codes[1:] → 声学层：负责音色、韵律、副语言信息

纯语音训练的难点在于：没有文字作为“锚点”，模型必须完全靠语音信号本身学会对话的语义结构——什么时候该轮到你说话、对方问的是陈述句还是疑问句、需要给出事实性回答还是情感安抚。这相当于让一个孩子不听任何语言讲解，纯靠“听”学会对话。

Dessa 团队的研究（源于其在 Block 内部推动的语音优先方向）表明，在大规模语音语料 + 高容量 Transformer 的组合下，模型确实能从语音 token 中自发学到这种对话结构。这与 Meta 的 Spirit-LM、Kyutai 的 Moshi、OpenAI 未公开细节的实时语音模型所探索的方向不谋而合——但 Dessa 强调的是完全不含文本监督的极端版本。

三、两种路线的分野

值得强调的是 Dessa 路线的一个独特社会价值：对文盲和低文字素养人群的包容性。Jack Dorsey 多次表达过对“以语音优先”服务全球用户（尤其是美国本土服务不足群体）的兴趣。Block 的客户是大量小微商户——他们中的很多人更习惯“说话”而非“打字”。一个纯语音对话模型可以直接为他们提供口语化的商业助手，而无需依赖读写能力。

四、Dessa 的来路：从语音克隆到语音对话

Dessa 并非无名之辈。这家多伦多公司曾因两件事在圈内成名：

1. 复现 Real-Time Voice Cloning：2019 年，Dessa 公开演示了接近实时克隆人声的系统（对应 Corentin Jemine 的开源项目），效果震惊业界

2. 被 Square（现 Block）收购：随后团队并入 Block，研究方向转向金融科技场景下的语音交互

这条轨迹很清晰：语音克隆 → 语音生成 → 语音对话。纯语音训练的对话模型，是这一路线的自然终点——也是起点。

从技术栈上看，此类系统的典型推理逻辑可以这样抽象：

class PureSpeechDialogueModel:
    """纯语音对话模型的推理循环（示意）"""

    def listen_and_respond(self, audio_stream):
        # 1. 流式编码：音频 → 多层离散 token
        codes = self.codec.encode_streaming(audio_stream)

        # 2. 在语音 token 空间中直接自回归生成
        #    无 ASR、无文本、无 TTS
        for semantic_tokens in self.transformer.generate_stream(
            codes,
            # 关键：同时预测语义层和声学层 token，
            # 语义层决定"说什么"，声学层决定"怎么说"
            split_predict_heads=("semantic", "acoustic"),
        ):
            # 3. 流式解码回音频，实现 <300ms 级响应
            yield self.codec.decode_streaming(semantic_tokens)

五、冷思考：纯语音路线的天花板

作为观察者，我们也需要泼一点冷水。

但方向本身无疑是正确的终局：人类对话本来就不经过文字。当算力和数据不再是瓶颈，“语音进、语音出”一定是语音交互的终极形态。Dessa 的价值在于，它证明了一条最“纯粹”的路径是走得通的——这对整个行业来说，比做出一个产品更有意义。

语音 AI 的下一个五年，可能就取决于今天有多少团队敢走这条没有文字的路。