比如明星大模子GPT-4补助32ktoken，十分于50页的翰墨；OpenAI前成员创立的Anthropic更是将Claude处理token智商种植到100k，约75000个单词，约略十分于一键追想《哈利波特》第一部。在微软最新的一项商榷中，他们此次平直将Transformer延迟到10亿token。

这为建模相等长的序列开发了新的可能性，举例将悉数语料库甚而悉数互联网视为一个序列。

行为比较，平日东说念主不错在5小时控制的时分里阅读100,000个token，并可能需要更长的时分来消化、记念和分析这些信息。

Claude不错在不到1分钟的时分里完成这些。淌若换算成微软的这项商榷，将会是一个惊东说念主的数字。

皇冠客服飞机：@seo3687

https://arxiv.org/pdf/2307.02486.pdf

https://github.com/microsoft/unilm/tree/master

具体而言，该商榷建议了LONGNET，这是一种Transformer变体，不错将序列长度延迟到启航点10亿个token，而不会糟跶对较短序列的性能。

文中还建议了dilatedattention，它能指数级延迟模子感知范畴。

LONGNET具有以下上风：

1）它具有线性贪图复杂性；

2）它不错行为较长序列的区别式纯属器；

3）dilatedattention不错无缝替代范例注眼光，并不错与现存基于Transformer的优化关节无缝集成。

实验结果标明，LONGNET在长序列建模和一般言语任务上齐发达出很强的性能。在商榷动机方面，论文暗示，最近几年，延迟神经汇集还是成为一种趋势，好多性能精熟的汇集被商榷出来。

在这当中，序列长度行为神经汇集的一部分，理念念情况下，其长度应该是无穷的。但推行却时时相悖，因而突破序列长度的戒指将会带来显赫的上风：

关联词，延迟序列长度濒临的主要挑战是在贪图复杂性和模子抒发智商之间找到合适的均衡。

举例RNN立场的模子主要用于加多序列长度。关联词，其序列特色戒指了纯属流程中的并行化，而并行化在长序列建模中是至关迫切的。最近，状态空间模子对序列建模相等有眩惑力，它不错在纯属流程中行为CNN开动，并在测试时诊治为高效的RNN。

关联词这类模子在老例长度上的发达不如Transformer。另一种延迟序列长度的关节是缩小Transformer的复杂性，即自注眼光的二次复杂性。现阶段，一些高效的基于Transformer的变体被建议，包括低秩注眼光、基于核的关节、下采样关节、基于检索的关节。

关联词，这些关节尚未将Transformer延迟到10亿token的限制（参见图1）。

下表为不同贪图关节的贪图复杂度比较。N为序列长度，d为遮掩维数。

该商榷的束缚决策LONGNET收效地将序列长度延迟到10亿个token。具体来说，该商榷建议一种名为dilatedattention的新组件，并用dilatedattention取代了VanillaTransformer的注眼光机制。

通用的想象原则是注眼光的分派跟着token和token之间距离的加多而呈指数级着落。该商榷标明这种想象关节获取了线性贪图复杂度和token之间的对数依赖性。

这就束缚了注眼光资源有限和可拜谒每个token之间的矛盾。在竣事流程中，LONGNET不错升沉成一个密集Transformer，以无缝地补助针对Transformer的现存优化关节（举例内核交融（kernelfusion）、量化和区别式纯属）。

欺诈线性复杂度的上风，LONGNET不错跨节点并行纯属，用区别式算法突破贪图和内存的抑止。最终，该商榷灵验地将序列长度扩大到1B个token，而且开动时（runtime）的确是恒定的，如下图所示。

比较之下，VanillaTransformer的开动时则会受到二次复杂度的影响。

该商榷进一步引入了多头dilatedattention机制。

如下图3所示，该商榷通过对查询-键-值对的不同部分进行寥落化，在不同的头之间进行不同的贪图。

天然dilatedattention的贪图复杂度还是大幅缩小到，但由于贪图和内存的戒指，在单个GPU建筑上将序列长度延迟到百万级别是不能行的。有一些用于大限制模子纯属的区别式纯属算法，如模子并行[SPP+19]、序列并行[LXLY21,KCL+22]和pipeline并行[HCB+19]，关联词这些关节对于LONGNET来说是不够的，卓越是当序列维度相等大时。

该商榷欺诈LONGNET的线性贪图复杂度来进行序列维度的区别式纯属。

下图4展示了在两个GPU上的区别式算法，还不错进一步延迟到纵情数目的建筑。

8月10日，记者来到静安宾馆。前台工作人员表示，目前客房入住到8月23日左右为止。

该商榷将LONGNET与vanillaTransformer和寥落Transformer进行了比较。架构之间的互异是注眼光层，而其他层保握不变。

商榷东说念主员将这些模子的序列长度从2K延迟到32K，与此同期减小batch大小，以保证每个batch的token数目不变。

表2追想了这些模子在Stack数据集上的结果。商榷使用复杂度行为评估筹画。

这些模子使用不同的序列长度进行测试，范畴从2k到32k不等。当输入长度启航点模子补助的最大长度时，商榷竣事了分块因果注眼光（blockwisecausalattention，BCA）[SDP+22]，这是一种首先进的用于言语模子推理的外推关节。此外，商榷删除了齐备位置编码。

皇冠hg86a

启航点，结果标明，在纯属流程中加多序列长度一般会得到更好的言语模子。其次，在长度远大于模子补助的情况下，推理中的序列长度外推法并不适用。

临了，LONGNET一直优于基线模子，讲授了其在言语建模中的灵验性。

图6绘画了vanillatransformer和LONGNET的序列长度延迟弧线。该商榷通过贪图矩阵乘法的总flops来揣摸贪图量。

结果标明，vanillatransformer和LONGNET齐能从纯属中获取更大的陡立文长度。

关联词，LONGNET不错更灵验地延迟陡立文长度，以较小的贪图量竣事较低的测试亏蚀。这讲授了较长的纯属输入比外推法更具有上风。实验标明，LONGNET是一种更灵验的延迟言语模子中陡立文长度的关节。这是因为LONGNET不错更灵验地学习较长的依赖联系。

大型言语模子的一个迫切属性是：亏蚀跟着贪图量的加多呈幂律延迟。为了考据LONGNET是否仍然解雇肖似的延迟礼貌，该商榷用不同的模子限制（从1.25亿到27亿个参数）纯属了一系列模子。

27亿的模子是用300B的token纯属的，而其余的模子则用到了大要400B的token。图7(a)绘画了LONGNET对于贪图的延迟弧线。该商榷在疏导的测试集上贪图了复杂度。

这讲授了LONGNET仍然不错解雇幂律。这也就意味着denseTransformer不是延迟言语模子的先决条件。此外，可延迟性和效果齐是由LONGNET获取的。

Prompt是率领言语模子并为其提供迥殊信息的迫切关节。

该商榷通过实验来考据LONGNET是否能从较长的陡立文提醒窗口中获益。

该商榷保留了一段前缀（prefixes）行为prompt，并测试自后缀（suffixes）的困惑度。

况兼，商榷流程中，逐渐将prompt从2K延迟到32K。为了进行平允的比较，保握后缀的长度不变，而将前缀的长度加多到模子的最大长度。

图7(b)论说了测试集上的结果。它标明，跟着陡立文窗口的加多，LONGNET的测试亏蚀逐渐减少。这讲授了LONGNET在充分欺诈长语境来校阅言语模子方面的优胜性。

本文开首：机器学习商榷组订阅葡京娱乐场，原标题：《微软新出热乎论文：Transformer延迟到10亿token》