ViT编辑飞机上也要读的改进版Transformer论文，花2小时详细解读

see122

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

ViT核心编辑Lucas Beyer，长文分析了一篇改进Transformer架构的论文，引起推荐围观。

他前不久从GOOGLE跳槽到OpenAI，这次是在飞机上阅读论文并写下了分析。

这篇论文被他简写为DiffTranformer，不过不是Sora底层架构的那个Diffusion Transformer，而是不久前来自MicroSoft的Differencial Transformer。

论文中先容，整体思路类似差分放大电路或降噪耳机，用两个信号的差值来滤除共模噪声，解决Transformer模型信噪比低的问题。

这篇论文发布时引起大量关注，但也面对一些质疑，在弹幕版alphaXiv上编辑与读者进行了很多讨论。

Beyer起初也对这篇文章持保留态度，觉得“难道MHA中的两个注意力头不能学习到这些吗？”。

但经过近期和同行的一些互动，觉得不应该轻易下定论，重新看了一遍论文后，他改变了看法

我的最初印象被团队的实验彻底打破了，他们的实验非常公平和谨慎。

此外还有一个彩蛋：

大佬通常会用坐飞机的时间来打4把Dota 2游戏快速模式。

现在写这个帖子也不能当论文评审工作写进简历，是纯纯的贡献个人时间了，以后也不会常写。

总之先给大佬点赞。

大佬解读热点论文

Beyer评价这篇论文的核心创新非常simple和nice，可以用一句话概括。

将两个注意力头配对，然后实行(softmax(Q1K1) - λ*softmax(Q2K2)) V，其中λ是一个可学习的标量。

他认为这项研究的动机非常充分：随着上下文变长，（微小的）对不相关token的注意力之和可能超过对少数相关token的注意力，从而淹没它们。

这一洞见表明，随着输入长度的增加，经典Transformer可能越来越难以捕捉到关键信息。DIFF Transformer试图解决这一问题。

但他仍不确定对于训练充分的模型来说这是个多大的问题，希翼在DIFF Transformer论文中有一些关于attention分布/熵的图表，以实际证明这个插图的合理性。

接下来，他指出了几个容易被忽视的细节：

• 与Figure1不同，DiffAttn实际上并没有对差值重新归一化。那么它究竟如何放大”相关”的分数呢？

Beyer建议论文中能提供更多实际训练的DIFF Transformer的分析图表。

• λ的计算相当复杂，涉及两个可学习的指数函数之差，加上一些基线λ_init，在早期的层是0.1，后面又是0.8。

Beyer认为λ不一定需要是正值，并建议提供更多对可学习λ参数的分析。

• 每个注意力头的输出都经过了层归一化并乘以(1-λ_init)，然后再concat并乘以WO，这里也需要更多图表来证明。

接下来看论文中大量的实验。研究者基本上分叉了了StableLM-3B-4E1T，称之为Diff-3B，作为基线模型进行比较。

可惜的是，基线模型只在其中3个数据集上报告了结果，其中2个Diff-3B的表现都相当好。

Beyer怀疑这个StableLM-3B是否真的是一个强基线。

在参数量和token数的缩放曲线上，DIFF Transformer乍一看很有前景。但仔细观察后，Beyer提出了两点质疑：

• 缩放曲线明显分为两组，在它们之间画一条线有点牵强。查看附录可知，研究者为较大的两个模型降低了学习率。这是否意味着他们遇到了不稳定性问题？

• 每次实验只用了10B个token训练，这个数量非常小。Beyer理解其中的计算资源限制，但仍然感到有点不安。

这些实验表明，在相同大小的情况下，DIFF Transformer性能会更好一些，并且训练时间相同。

然而，它的的推理速度也会慢一些(慢5-10%)。

Beyer提出最好能看到以计算量或实际时间为横轴的缩放曲线。

在长文本评测和对输入样本顺序的鲁棒性方面，DIFF Transformer表现出了明显的优势。

特别是在上下文学习的鲁棒性实验中，DIFF Transformer在不同的样本排列顺序下，性能方差远小于经典Transformer。

这表明它更不容易被输入的细微变化扰乱，而经典Transformer容易受到样本顺序的影响，在最好和最坏情况下表现相差很大。

总的来说，Beyer对这篇论文的看法有所改观：

研究者的实验非常全面和谨慎，的确展现了DIFF Transformer比单纯的”两个注意力头相减”更多的潜力。

这项工作展现了一些有前景的火花。它在其他人的训练任务中能否很好地复现、或带来帮助，还有待进一步观察。

Lucas Beyer是谁

12月初，Lucas Beyer与Xiaohua Zhai、Alexander Kolesnikov集体从GOOGLE被挖到OpenAI。

他们曾共同提出Vision Transformer，开创了Transformer在CV领域应用的先河。

据他个人官网中先容，他在比利时长大，曾梦想制作电子游戏以及从事AI研究。

他在德国亚琛工业大学学习机械工程，并在那里获得了机器人感知和计算机视觉博士学位，2018年加入GOOGLE。

除了这次长文分析DIFF Transformer之外，他还经常对新研究发表一些短的评论，比如最近火爆的DeepSeek v3，他也提出自己的建议。

总之是一位非常值得关注的学者。

DIFF Transformer论文：
https://arxiv.org/abs/2410.05258

参考链接：
[1]https://x.com/giffmana/status/1873869654252544079


来源：网易