一个开源方案,极速预训练650亿参数LLaMA

在ai大模型领域，竞争日益激烈，aigc相关企业的融资和并购金额不断创下新高，全球科技巨头纷纷加入这一赛道。然而，ai大模型的高成本问题日益凸显，单次预训练的费用可能高达上千万元。基于现有开源模型如llama进行微调，已不足以满足企业在核心竞争力和多样化商业应用上的需求。因此，如何以低成本定制预训练基础大模型，成为ai大模型发展的关键挑战。

Colossal-AI作为全球最大、最活跃的大模型开发工具和社区，针对当前最常用的LLaMA模型，提供了一套开箱即用的650亿参数预训练方案。该方案可提升训练速度38%，为企业节省大量成本。

开源地址：https://www.php.cn/link/b9531e7d2a8f38fe8dcc73f58cae9530

LLaMA的开源激发了社区的热情

Meta开源的7B到65B参数的LLaMA模型，进一步激励了开发类似ChatGPT的热情，并催生了Alpaca、Vicuna、ColossalChat等微调项目。

然而，LLaMA仅开源了模型权重，且限制商业使用，微调能够增强的知识和能力也有限。对于真正投入大模型开发的企业来说，预训练自己的核心大模型仍是必要的。为此，开源社区进行了多项尝试：

RedPajama：开源可商用的类似LLaMA数据集，但无训练代码和模型OpenLLaMA：开源可商用的类似LLaMA 7B和13B模型，使用EasyLM基于JAX和TPU进行训练Falcon：开源可商用的类似LLaMA 7B和40B模型，但无训练代码然而，对于最主流的PyTorch和GPU生态，仍缺乏高效、可靠、易用的类似LLaMA基础大模型预训练方案。

最佳大模型预训练方案可提升速度38%

针对这一空白与需求，Colossal-AI首次开源了650亿参数的LLaMA低成本预训练方案。与业界其他主流方案相比，该方案可提升预训练速度38%，仅需32张A100/A800即可运行，并且不限制商业使用。

而原生PyTorch、FSDP等因显存溢出无法运行此任务。Hugging Face accelerate、DeepSpeed、Megatron-LM也未对LLaMA预训练提供官方支持。

开箱即用

1. 安装Colossal-AI

代码语言：javascript代码运行次数：0运行复制```javascriptgit clone -b example/llama https://www.php.cn/link/b9531e7d2a8f38fe8dcc73f58cae9530.gitcd ColossalAI# install and enable CUDA kernel fusionCUDA_EXT=1 pip install .

2\. 安装其他依赖
代码语言：javascript代码运行次数：0运行复制javascript cd examples/language/llama# install other dependenciespip install -r requirements.txt# use flash attentionpip install xformers