NVIDIA最新推出的nGPT模型，基于超球面进行表示学习，能够显著提升训练速度同时保持原有精度。这一创新技术的出现，对于AI领域尤其是大型语言模型（LLM）的训练来说，是一个重大突破。NVIDIA全新nGPT使训练速度暴增20倍。
- 架构创新：
nGPT通过将所有向量归一化为单位范数，使得输入后的token在超球面表面上移动，每一层都通过「位移」来贡献最终的输出预测。
这种设计不仅优化了网络参数，还在超球面上执行多步优化，其中注意力和MLP更新的每一步，都由特征学习率控制，这些都是可学习的可变度量矩阵的对角线元素。
- 效率提升：
实验表明，nGPT达到相同精度所需的训练步骤减少了4-20倍，具体取决于序列长度。例如，1k上下文时训练速度提高4倍，而8k上下文时提高20倍。
这种效率的提升意味着原本需要一个月完成的训练，在未来可能只需1-2天的时间就能搞定，这对于资源密集型的AI模型训练来说是一个巨大的进步。
- 性能保持：
尽管训练速度大幅提升，nGPT还能维持原有的模型精度。这是因为所有的向量都被归一化，从而消除了对权重衰减的需求，并且将矩阵-向量乘法转化为余弦相似度的计算。
为了在训练过程中调整置信度，nGPT引入了一个可学习的缩放参数sz，通过逐元素地缩放logits，模型可以更灵活地预测置信度。
- 未来展望：
如果nGPT能在更长的上下文中大幅扩展，这意味着像o1这样的模型将会获得显著的训练速度优势。
英伟达团队的这一研究成果为通向AGI终极目标注入了一针强心剂，预示着AI领域的未来发展将更加迅速和高效。
NVIDIA的nGPT模型通过其创新的架构设计和优化方法，实现了训练速度的显著提升，同时保持了高精度。这一技术的推出不仅提高了AI模型训练的效率，还为未来的AI发展开辟了新的道路。随着进一步的研究和应用，nGPT有望在AI领域发挥更大的作用，推动整个行业向前发展。
原创文章，作者：未希，如若转载，请注明出处：https://www.kdun.com/ask/1227662.html
