糗百网上有个成人版 谷歌新架构终结Transformer，长序列处理王者出身？清华姚班学友新作

新智元报说念糗百网上有个成人版

裁剪：泽正 英智

【新智元导读】团队建议的Titans架构通过引入神经恒久追想模块，冲破了传统Transformer架构在长序列处理中的局限。该架构通过转变的追想整合和淡忘机制，在谈话建模、知识推理、时候序列臆度等任务中展现了权贵的性能提高，在长高下文任务中的上风凸起。

Transformer后继者终于现身！

2017年，Attention Is All You Need初次引入提防力机制，成为当代LLM出身标志。

诚然Transformer照旧大行其说念，但其架构的劣势却饱受诟病，尤其是无法膨胀更长高下文。

正所谓，「风波越大，鱼越贵！」

近日，谷歌磋磨团队砥柱中流，建议撑握200K高下文处理窗口的新架构——Titans。

最伏击的是，松驰膨胀到2M高下文的Titans架构，要比Transformer和线性RNN愈加灵验。

论文纠合：https://arxiv.org/abs/2501.00663

Titans是什么

磋磨者合计大多半现存架构将追想视为由输入引起的神经更新，并将学习界说为在给定目标的情况下灵验获取有用追想的过程。

从这个角度来看，（RNN）不错被界说为具有向量值追想模块ℳ（也称为荫藏气象）的模子，其主要时代包括：在时候t给定新输入时，

（1）使用函数更新追想（带有压缩）；

（2）使用函数检索输入的相应追想。

雷同地，Transformer不错被视为具有连续增长的追想和两个相似时代的架构。即：

（1）通过将键和值附加到追想中来更新追想（无压缩）；

（2）通过查找查询向量与键向量的相似性来检索查询向量的相应追想，然后将其用于加权值向量以生成输出。

由于追想分为短期追想、职责追想和恒久追想，而其中每个部分齐互相独迅速办事于不同的场景，也具有不同的神经结构。

受此启发，磋磨者建议了两个问题：

1. 奈何想象一个高效架构，将不同且互联系联的追想模块整合起来？

2. 是否需要一个深度追想模块，以灵验存储和记着恒久历史信息？

本磋磨旨在通过想象一个恒久神经追想模块来不断上述问题，神经恒久追想模块的想象受到东说念主类恒久追想系统的启发，能存储和检索畴昔的信息。

该模块不是无诀别地记着总共信息，而是和会过「讶异度」来选用性地记着那些伏击或令东说念主讶异的信息。

况且其追想不是静态的，不错把柄新的信息动态更新。这种动态更新机制雷同于东说念主类的学习过程，使得模子大略连续符合新的数据和任务需求。

为了更好地不断有限的内存，模块引入了衰减机制。该机制把柄追想的大小和数据的讶异进度来调度追想的权重，从而优化内存不断。

恒久神经追想模块想象完成后，濒临的一个枢纽问题是奈何把追想高效地整合进深度学习架构。磋磨者建议了Titans架构，由三个模块组成：

1. 中枢模块（Core）：包含短期追想，精采主要的数据处理过程，采工具有有限窗口大小的提防力机制。

2. 恒久追想模块（Long-term Memory）：此模块是磋磨者想象的神经恒久追想模块糗百网上有个成人版，精采存储和记着远距离的历史信息。

3.握久追想模块（Persistent Memory）：这是一组可学习但与数据无关的参数，主要用于对任务知识进行编码，为模子提供先验知识储备。

在此基础上，磋磨者建议了Titans架构的三种变体：

追想看成高下文（MAC）架构

中枢分支把对应的恒久追想、握久追想和现时输入信息拼接在一齐，然后用提防力机制来处理高下文，并决定哪些信息应存储在恒久追想中。

在测试时，与高下文追想对应的参数仍在学习，与中枢分支对应的参数精采高下文体习，而握久追想的参数则精采存储任务联系知识，因此是固定的。

追想看成门控（MAG）架构

在此架构中，一个分支用输入数据更新恒久追想，另一个分支使用滑动窗口提防力（SWA），临了将两者终结通过门控机制组合。

在此想象中，滑动窗口提防力充任精准的短期追想，而神经追想模块则看成模子的衰减追想。这种架构想象也可视为一种多头架构，其中头的结构各不一样。

与MAC架构不同的是，MAG架构仅将握久追想融入高下文，并通过门控机制将追想与中枢分支联结。门控机制决定了来自握久追想的信息在多猛进度上影响中枢分支的处理终结。

追想看成层（MAL）架构

将神经追想模块看成深度神经鸠集的一层，联结滑动窗口提防力机制。追想层的中枢功能是对畴昔和现时的高下文信息进行压缩处理，之后将处理终结传递给提防力模块。

在测试时去学习追想

神经恒久追想模块

关于神经鸠集来讲，追想智商通常反而会铁心模子的泛化智商，并可能激发隐痛问题，导致在测试时性能着落。

此外，由于测试数据可能属于漫衍外数据，考试数据的追想在测试时可能就并莫得什么效率。

因此，磋磨者合计，考试恒久追想的枢纽想想是将其考试视为一个在线学习问题，学会在测试时奈何记着或健忘数据。在这种缔造中，模子学习的是一个大略追想的函数，但不会过拟合考试数据，从而在测试时终结更好的泛化。

学习过程与目标函数：由于令东说念主讶异的事件对东说念主类来说更易记着。受此启发，作家将「讶异度」界说为联系于输入的梯度。梯度越大，输入数据与畴昔数据的各异就越大。因此，运用这个讶异度，咱们不错更新追想如下：

如斯就能将畴昔的信息压缩到恒久神经追想模块的参数中。

然则，这种讶异度的度量法子也可能会导致错过一些伏击信息。也即是说，在若干个讶异时代之后，梯度可能变得尽头小，从而导致堕入平坦区域（即局部最小值），错失序列中的某些信息。

而从东说念主类追想的角度来看，某个事件诚然值得记着，但可能不会在很永劫候内一直让咱们感到讶异。

因此为了改造上述讶异度度量，作家将讶异度度量分为两部分：（1）畴昔的讶异，臆度最近畴昔的讶异度；（2）瞬时讶异，臆度行将到来的数据的讶异度。

在此公式中，项是数据依赖的惊喜衰减，戒指着惊喜随时候奈何衰减；而项 θt 则戒指着应以数据依赖的形貌将几许瞬时惊喜纳入最终的惊喜度量中。

这种数据依赖性在此想象中尤为伏击：诚然前一个象征的惊喜可能影响下一个象征的惊喜，但这主要在总共象征联系且处于合并高下文时才灵验。

因此，数据依赖的η不错戒指追想是否需要：

（1）通过缔造→0忽略上一次的惊喜（可能由于高下文的变化）

（2）通过缔造→1十足纳入上一次的惊喜（可能因为该象征与其最近的畴昔象征高度联系）。

在本职责中，作家专注于关联追想，旨在将畴昔的数据存储为键值对。即给定，雷同于Transformers，使用两个线性层将其投影为键和值：

接着，作家但愿追想模块大略学习键和值之间的关联。为此，界说示寂函数如下：

通过在元模子的内轮回中优化上述示寂函数，模子就不错学会如安在测试时追想键与值之间的映射。

淡忘机制：在处理尽头大的序列（举例，数百万个象征）时，明确哪些畴昔信息应该被淡忘至关伏击。为此，作家使用了一种自符合淡忘机制，允许内存淡忘不再需要的信息，从而更好地不断内存的有限容量。也即是说，给定下一个象征，然后将更新端正修改为：

其中是生动戒指追想的门控机制；即决定应淡忘几许信息。举例，它不错通过让来更新追想而不影响畴昔的轮廓，并不错通过让来拆除总共这个词追想。

检索追想：作家简便地使用不更新权重的前向传递（即推理）来检索与查询对应的追想。样式上，给定输入，使用线性层 WQ 来投影输入，即，并通过以下形貌从追想中检索相应（或有用的）信息：

推行终结

在谈话建模及知识推理任务中，对340M、400M、760M等不同参数边界下的Titans变体与多种基线模子进行对比。非搀和模子里，Titans (LMM) 在困惑度和准确率上说明优异。

搀和模子对比中，Titans的三个变体均比基线模子更好。MAC和MAG举座性能高于MAL，能更好地整合提防力和追想模块。

在S-NIAH任务里，基于RULER基准测试，对2K、4K、8K 和 16K长度序列赐与评估。神经追想模块相较基线模子上风权贵。在Titans变体中，MAC性能最好。

在BABILong基准测试中，Titans (MAC) 展现了超卓的性能，大略灵验膨胀到跳动200万的高下文窗口，卓越了GPT-4、Llama3+RAG和Llama3-70B等大模子。

Titans (MAC) 的参数目远少于基线模子，展现出在长序列推理方面的高效性和精深智商。在微调缔造关节，Titans（MAC）的说明更为出色。

磋磨发现，加多追想深度可提高模子在较长序列上的性能，并改善困惑度，但考试速率会因此裁汰，呈现出性能与成果之间的衡量。

通过在Simba框架中替换Mamba模块，并在ETT、ECL、Traffic和Weather等基准数据集上测试，神经追想模块卓越了总共的基线模子。这标明其在处理时候序列任务中的潜在上风。

在DNA建模任务中，Titans架构也展示了其精深的长序列处聪敏商。推行终结标明，Titans架构在这些任务中大略灵验地运用历史信息，从而提高模子的性能。

消融磋磨标明，神经追想模块的总共组件对模子性能均有积极孝顺，尽头是权重衰减和动量。MAC和MAG在谈话建模和知识推理上说明周边，但MAC在长高下文任务中说明最好。

Titans架构通过引入神经恒久追想模块，权贵提高了模子在处理长序列数据时的性能和成果。

推行终结标明，Titans架构在谈话建模、知识推理、时候序列臆度和DNA建模等任务中均说明出色，尽头是在处理超200万高下文窗口任务中，大略灵验地运用历史信息，提高模子的准确性。

作家先容

Ali Behrouz

Ali Behrouz当今是康奈尔大学野神思科学系的二年岁博士生，同期亦然Google Research的磋磨实习生。在加入康奈尔之前，他在哥伦比亚大学师从Margo Seltzer教育，取得野神思科学硕士学位。

他对万般化的磋磨主题感羡慕，当今正致力于于于深度学习架构、图暗示学习、医疗保健中的机器学习以及野心神经科学等边界的磋磨。

Peilin Zhong

Peilin Zhong现为谷歌纽约市算法与优化团队的磋磨科学家，该团队由Vahab Mirrokni换取。他在哥伦比亚大学得到博士学位（导师为Alex Andoni、Cliff Stein和Mihalis Yannakakis）。此前，他是清华大学交叉信息磋磨院（姚班）的本科生。2016年，他以第一作家发表的论文被顶会STOC 2016接管，创下初次有中国脉科生在STOC上发表一作论文的记载。

他对表面野神思科学有浅近的羡慕，主要集结在算法的想象与分析上。一些尽头感羡慕的边界包括并行和大边界并行算法、隐痛算法、草图算法、流算法、图算法、机器学习、高维几何、度量镶嵌、数值线性代数、聚类以过甚他与大边界数据野心联系的算法。

Vahab Mirrokni

Vahab Mirrokni在纽约的谷歌磋磨院换取算法与优化团队。团队包括商场算法、图挖掘和大边界优化小组。此外，他还在纽约大学库朗磋磨所担任兼职副教育，老师互联网算法与经济学。

参考贵寓：

https://arxiv.org/abs/2501.00663

https://x.com/behrouz_ali/status/1878859086227255347