DeepMind最新研究：如何将「大自然语言模型」 训练到最优？

Transformer的明确指出半径我们现在有5年的间隔时间，随着假设为数的不断激增，性能指标提升也慢慢出现边际效益衰减的情况。如何操练出均值性能指标的大假设？

最近，DeepMind认真了一项调查报告，想弄清AI词汇假设的为数和token密切关系的关联。这个的小组操练了极限过400个假设，为数从7000万常量到160亿常量平均，token存量从50亿到5000亿平均。

该的小组推测，假设常量较小和token的存量成正之外，换句话说，当假设为数加倍的时候，token也确实加倍。

目前确实是大假设时代，自从1750亿常量的GPT-3横空出世时，想起了研究工作员的兴趣。近两年的间隔时间，出版圈内陆续推出了好几个假设，且一个比一个大，并且在多数战斗任务上赢得了令人令人可贵的性能指标。

但这种极限越理解的性能指标展现出，是以巨大的推算和能源能量消耗为牺牲，出版圈内也长期以来在发表意见这种牺牲是不是很多人。例如前搜索引擎研究工作员Timnit Gebru就曾撰写论文发表意见“AI 词汇假设是不是实在太大以及科技母公司在降高于潜在风险之外认真得是不是足够。”她也因为该论文被搜索引擎停职。

大假设的操练总预算一般是原定开发计划好的，毕竟操练一次开发成本实在太大。因此，在也就是说总预算的必须下，准确估计最佳假设极限常量趋于十分极为重要。之前，也有史家现在解析常量的存量和自重归词汇假设（autoregressive language model）的性能指标密切关系实际上幂律关联。

例如之前的研究工作确实，10倍推算总预算相同增加5.5倍假设为数，以及1.8倍的token存量。但这项研究工作确实：假设较小和token的存量确实成等分之一激增。

此外，研究工作员还预测，对于操练Gopher（2800亿个常量的词汇假设），最佳假设确实小4倍，并且确实在大4倍的token上顺利完成操练。这一预测，在涵盖1.4万亿个token的 Chinchilla中的操练得到解析。Chincilla的性能指标优于Gopher，由于假设为数减小，推理小说开发成本也愈来愈高于。

大假设只有在大原始数据集上才能发挥仅有的效力，同时，DeepMind也了解到，执行大原始数据集时只能格外小心，操练集和解析集的充分分成，才能最小化词汇机器学习损失惨重以及均值赋能下游战斗任务。

研究工作圈内必须考虑与此类大型假设之外的道德观和隐私情况。正如过去所发表意见：从网路上采集的大型原始数据集涵盖有毒的词汇、偏见和私人信息。

关于大假设如何愈来愈高效的情况，已对，南京大学王建从假设架构各个领域也明确指出了看法《清华王建：大假设「十问」，寻找新的范式下的研究工作路径》，他表示：

随着大假设越变越大，对推算和存储开发成本的能量消耗自然也越发大。最近有人明确指出GreenAI的方法论，即只能考虑推算能耗的情况来综合设计和操练人工智能假设。一个中心这个情况，我们看来，随着假设变大，AI都会越发只能跟推算机系统顺利完成结合，从而明确指出一个愈来愈高效一个中心大假设的赞同体系。一之外，我们只能去建设变得高效分布式操练的线性，在这之外国内外都有十分多的之外探究，包括国际上比较驰名的DeepSpeed 以及悟道团队在开发的一些减慢线性。

另一个之外，大假设一旦操练好去采用时，假设的“大”都会让推理小说过程趋于十分缓慢，因此另外一个最前沿路径就是如何高效将假设顺利完成尽可能的缓冲器，在减慢推理小说的同时保持它的功效。这之外的主要新科技路线包括剪枝、蒸馏、举例来说等等。同时最近我们推测，大假设里面较强十分强劲的细小补发的震荡，这对于假设的高效缓冲器和推算都有著十分大的鼓励，这之外只能一些专门线性的赞同。

雷峰网