当所有人都在纠结“扩散模型能不能写代码”时，一支研究团队却提出了一个更根本的问题：我们给扩散语言模型用的Transformer，可能从一开始就装错了引擎。他们没有沿用因果LLM的架构，也没有照搬DiT，而是从头设计了一套专属于连续扩散范式的骨架。
一个被忽视的架构错配
过去一年，扩散语言模型（Diffusion Language Models, dLLM）赛道异常火热。从商业产品到开源模型，大家都看到了并行生成、可编辑输出、打破自回归序列依赖的巨大潜力。
但一个耐人寻味的细节是：几乎所有扩散语言模型的骨干网络，都是直接借用现成的Transformer架构——要么直接拿来GPT风格的因果LLM架构去掉因果掩码，要么照搬图像领域大获成功的DiT（Diffusion Transformer）。
这看似合理的“拿来主义”，实际上存在根本性的架构错配。图像扩散模型处理的是高度冗余的像素空间，每个patch之间的信息密度低、相关性高；而离散化后的文本token序列，信息密度极高，每个token的语义贡献远超一个图像patch。更重要的是，扩散语言模型的去噪过程与图像扩散的去噪过程在数学结构和信息流动模式上有着本质差异。
一项最新发表于arXiv的研究（arXiv:2610.22330）正面回应了这个问题：为连续扩散语言模型从头设计专用的Transformer架构，而不是直接沿用因果LLM或DiT。
为什么“随便套个Transformer”行不通？
要理解这篇论文的动机，需要先看清两种范式下模型到底在做什么。
自回归LLM的Transformer是“因果”的：第 i 个token只看前 i-1 个token，注意力矩阵是下三角的，信息单向流动，逐token生成。这套架构与训练目标（next token prediction）严丝合缝地耦合了几十年。
而连续扩散语言模型的工作方式完全不同。模型接收的是一段被噪声（或嵌入空间的扰动）污染的“软”序列——注意，是连续向量而非离散token——然后在每一步去噪时，对整个序列做全局预测。注意力需要同时捕捉：
- 噪声程度不同的位置之间的依赖
- 当前时间步 t 的条件信息
- 连续嵌入空间的几何结构
这三种需求，因果LLM的架构只满足第一种的一半，DiT则完全没有为文本语义密度做优化。论文的核心论点正是：架构应该服从于生成范式，而不是反过来。
我们可以用一个简化的代码片段来对比因果LLM注意力与扩散LM所需注意力在掩码逻辑上的差异：
import torch
def causal_mask(seq_len):
"""自回归LLM：下三角掩码，信息只能向后流动"""
mask = torch.tril(torch.ones(seq_len, seq_len, dtype=torch.bool))
return ~mask # True 表示被屏蔽
def diffusion_mask(seq_len, noise_levels):
"""扩散LM：全局注意力 + 噪声感知的加权
所有位置互相可见，但需要感知各位置的噪声水平"""
mask = torch.zeros(seq_len, seq_len, dtype=torch.bool) # 全局可见
# 噪声水平作为额外条件参与注意力偏置
bias = -torch.abs(noise_levels[:, None] - noise_levels[None, :])
return mask, bias
区别不止于掩码。在连续扩散范式中，输入是嵌入空间中的连续点，去噪网络需要估计的是“该连续向量应被拉向哪个干净嵌入”，这与离散token预测的输出头设计、损失函数、位置编码方式都有连锁影响。
架构设计的核心思路
论文的系统方法论值得所有做生成模型的人细读：作者没有拍脑袋改架构，而是先分析连续扩散语言模型去噪过程的计算特性，再据此推导出各组件的设计决策，最后通过系统性的消融实验验证。
从摘要披露的信息看，这项工作的贡献可以概括为三点：
第一，问题诊断。 论文明确指出，直接沿用因果LLM或DiT的做法，对连续扩散语言模型而言是次优的。这本身就是一个重要的community提醒——很多dLLM的“性能瓶颈”可能不是扩散范式本身的问题，而是宿主架构不适配。 第二，系统性设计。 围绕连续扩散去噪的需求，作者对Transformer的关键组件进行了针对性改造，使架构与扩散训练目标形成正向耦合。 第三，实证验证。 通过消融实验逐一验证各设计决策的贡献，证明专用架构在扩散语言建模任务上带来了系统性提升——而不是靠堆数据、堆参数换来的表面收益。更大的图景：生成范式之争远未结束
这篇论文的出现时机很有意思。当前关于“自回归 vs 扩散”谁是文本生成终点的争论仍然悬而未决：自回归模型凭借成熟生态和KV cache推理优势占据主流；扩散路线则许诺并行解码、可控编辑、任意顺序生成的独特能力。
但这场争论中有一个隐含的不公平：自回归架构被数十年的研究打磨到了极致，而扩散语言模型用的却是“别人的”架构。 因果LLM的每一层设计——RMSNorm的位置、RoPE的引入、SwiGLU的选择——都是为了next token prediction优化的。要求扩散模型骑着自回归的自行车参加F1比赛，然后宣布扩散不行，这个逻辑链条本身就有问题。
从这个角度看，这篇论文的价值可能不在于某个具体的架构trick，而在于它开创了一种正确的研究姿势：为范式定制架构，而不是让范式迁就架构。 就像当年ViT证明了“纯Transformer也能吃图像”，但之后的Swin、ConvNeXt们又证明了针对视觉特性的改造依然必要——扩散语言模型大概率也会走同样的路。
对于从业者，还有一层实用启示：如果你正在训练自己的扩散语言模型，仔细审视骨干网络中的每个组件是否还有自回归时代的“肌肉记忆”，可能比多喂几个epoch的数据收益更大。
写在最后
深度学习的历史一再证明，架构创新往往在范式切换的窗口期爆发。CNN之于图像分类、Transformer之于NLP、DiT之于图像扩散，皆是如此。连续扩散语言模型或许正处于自己的“窗口期”，而这篇论文给出了一个信号：认真为这个范式造引擎的人，已经上路了。
至于这套专用架构能否成为扩散语言模型的“ResNet时刻”，我们拭目以待。
