比如明星大模子GPT-4支持32ktoken，异常于50页的翰墨；OpenAI前成员创立的Anthropic更是将Claude处理token才调进步到100k，约75000个单词，粗犷异常于一键回首《哈利波特》第一部。在微软最新的一项商榷中，他们此次径直将Transformer扩张到10亿token。

这为建模相等长的序列开发了新的可能性，举例将扫数这个词语料库以至扫数这个词互联网视为一个序列。

算作比较，粗犷东说念主不错在5小时傍边的时分里阅读100,000个token，并可能需要更长的时分来消化、顾虑和分析这些信息。

Claude不错在不到1分钟的时分里完成这些。若是换算成微软的这项商榷，将会是一个惊东说念主的数字。

https://arxiv.org/pdf/2307.02486.pdf

https://github.com/microsoft/unilm/tree/master

具体而言，该商榷建议了LONGNET，这是一种Transformer变体，不错将序列长度扩张到超越10亿个token，而不会葬送对较短序列的性能。

文中还建议了dilatedattention，它能指数级扩张模子感知领域。

LONGNET具有以下上风：

1）它具有线性筹商复杂性；

2）它不错算作较长序列的诀别式历练器；

近日，有关费玉清病危插管治疗的爆料传得沸沸扬扬，还有人说他有私生子争夺财产。

3）dilatedattention不错无缝替代法式注重力，并不错与现存基于Transformer的优化体式无缝集成。

实验收尾标明，LONGNET在长序列建模和一般说话任务上齐推崇出很强的性能。在商榷动机方面，论文暗示，最近几年，扩张神经收集依然成为一种趋势，好多性能精熟的收集被商榷出来。

在这当中，序列长度算作神经收集的一部分，理思情况下，其长度应该是无尽的。但执行却往往相背，因而冲破序列长度的限度将会带来显赫的上风：

然则，扩张序列长度濒临的主要挑战是在筹商复杂性和模子抒发才调之间找到合适的均衡。

举例RNN作风的模子主要用于加多序列长度。然则，其序列特色限度了历练经过中的并行化，而并行化在长序列建模中是至关进军的。最近，状态空间模子对序列建模相等有引诱力，它不错在历练经过中算作CNN启动，并在测试时转机为高效的RNN。

然则这类模子在成例长度上的推崇不如Transformer。另一种扩张序列长度的体式是镌汰Transformer的复杂性，即自注重力的二次复杂性。现阶段，一些高效的基于Transformer的变体被建议，包括低秩注重力、基于核的体式、下采样体式、基于检索的体式。

然则，这些体式尚未将Transformer扩张到10亿token的限度（参见图1）。

下表为不同筹商体式的筹商复杂度比较。N为序列长度，d为瞒哄维数。

该商榷的处置决议LONGNET生效地将序列长度扩张到10亿个token。具体来说，该商榷建议一种名为dilatedattention的新组件，并用dilatedattention取代了VanillaTransformer的注重力机制。

通用的遐想原则是注重力的分派跟着token和token之间距离的加多而呈指数级下落。该商榷标明这种遐想体式获取了线性筹商复杂度和token之间的对数依赖性。

这就处置了注重力资源有限和可走访每个token之间的矛盾。在竣事经过中，LONGNET不错窜改成一个密集Transformer，以无缝地支持针对Transformer的现存优化体式（举例内核交融（kernelfusion）、量化和诀别式历练）。

皇冠体育hg86a

愚弄线性复杂度的上风，LONGNET不错跨节点并行历练，用诀别式算法冲破筹商和内存的拘谨。最终，该商榷灵验地将序列长度扩大到1B个token，而且启动时（runtime）险些是恒定的，如下图所示。

比拟之下，VanillaTransformer的启动时则会受到二次复杂度的影响。

该商榷进一步引入了多头dilatedattention机制。

如下图3所示，该商榷通过对查询-键-值对的不同部分进行衰竭化，在不同的头之间进行不同的筹商。

天然dilatedattention的筹商复杂度依然大幅镌汰到，但由于筹商和内存的限度，在单个GPU设立上将序列长度扩张到百万级别是不能行的。有一些用于大限度模子历练的诀别式历练算法，如模子并行[SPP+19]、序列并行[LXLY21,KCL+22]和pipeline并行[HCB+19]，然则这些体式对于LONGNET来说是不够的，极端是当序列维度相等大时。

该商榷愚弄LONGNET的线性筹商复杂度来进行序列维度的诀别式历练。

下图4展示了在两个GPU上的诀别式算法，还不错进一步扩张到纵情数目的设立。

该商榷将LONGNET与vanillaTransformer和衰竭Transformer进行了比较。架构之间的各异是注重力层，而其他层保抓不变。

商榷东说念主员将这些模子的序列长度从2K扩张到32K，与此同期减小batch大小，以保证每个batch的token数目不变。

表2回首了这些模子在Stack数据集上的收尾。商榷使用复杂度算作评估缱绻。

这些模子使用不同的序列长度进行测试，领域从2k到32k不等。当输入长度超越模子支持的最大长度时，商榷竣事了分块因果注重力（blockwisecausalattention，BCA）[SDP+22]，这是一种来源进的用于说话模子推理的外推体式。此外，商榷删除了十足位置编码。

领先，收尾标明，在历练经过中加多序列长度一般会得到更好的说话模子。其次，在长度深广于模子支持的情况下，推理中的序列长度外推法并不适用。

临了，LONGNET一直优于基线模子，讲明了其在说话建模中的灵验性。

图6绘图了vanillatransformer和LONGNET的序列长度扩张弧线。该商榷通过筹商矩阵乘法的总flops来预计筹商量。

收尾标明，vanillatransformer和LONGNET齐能从历练中获取更大的高下文长度。

然则，LONGNET不错更灵验地扩张高下文长度，以较小的筹商量竣事较低的测试耗费。这讲明了较长的历练输入比外推法更具有上风。实验标明，LONGNET是一种更灵验的扩张说话模子中高下文长度的体式。这是因为LONGNET不错更灵验地学习较长的依赖关联。

大型说话模子的一个进军属性是：耗费跟着筹商量的加多呈幂律扩张。为了考证LONGNET是否仍然革职访佛的扩张规则，该商榷用不同的模子限度（从1.25亿到27亿个参数）历练了一系列模子。

27亿的模子是用300B的token历练的，而其余的模子则用到了大要400B的token。图7(a)绘图了LONGNET对于筹商的扩张弧线。该商榷在疏通的测试集上筹商了复杂度。

这讲明了LONGNET仍然不错革职幂律。这也就意味着denseTransformer不是扩张说话模子的先决条件。此外，可扩张性和后果齐是由LONGNET获取的。

Prompt是教授说话模子并为其提供特别信息的进军体式。

该商榷通过实验来考证LONGNET是否能从较长的高下文领导窗口中获益。

该商榷保留了一段前缀（prefixes）算作prompt，并测试后来缀（suffixes）的困惑度。

而况，商榷经过中，逐步将prompt从2K扩张到32K。为了进行公说念的比较，保抓后缀的长度不变，而将前缀的长度加多到模子的最大长度。

图7(b)阐明了测试集上的收尾。它标明，跟着高下文窗口的加多，LONGNET的测试耗费逐步减少。这讲明了LONGNET在充分愚弄长语境来纠正说话模子方面的优胜性。

本文来源：机器学习商榷组订阅亚新娱乐城，原标题：《微软新出热乎论文：Transformer扩张到10亿token》