MiniMax-M3本地部署权威教程：HuggingFace权重下载与配置

部署MiniMax-M3到本地环境，绝非一键下载就能搞定。你必须手动处理约350GB的模型权重，搭建兼容的推理框架，并预先规避缓存填满系统盘的风险。整个流程涉及磁盘空间规划、环境变量重定向、vLLM版本锁定以及量化参数硬编码——任何环节出错都会导致失败。

下载MiniMax-M3权重文件至指定目录

启动终端，运行以下命令将模型完整克隆到本地 ./models/MiniMax-M3 目录：

huggingface-cli download MiniMaxAI/MiniMax-M3 --local-dir ./models/MiniMax-M3 --local-dir-use-symlinks False

此步骤需预留约350GB空闲磁盘。强烈建议目标分区容量不低于400GB，否则下载中途磁盘空间不足将导致任务中断，已下载的分片也难以自动清理。加入 --local-dir-use-symlinks False 参数可防止Windows系统符号链接权限冲突引发的文件损坏。

转移Hugging Face缓存目录（避免C盘溢出）

方案一：配置双环境变量强制指定缓存路径（推荐）

在Windows系统中，右键“此电脑”→“属性”→“高级系统设置”→“环境变量”，添加以下两个系统变量：

变量名：HUGGINGFACE_HUB_CACHE，变量值：G:huggingface_cache

变量名：HF_HOME，变量值：G:huggingface_cache

核心警告：两个变量必须同时声明且值完全相同。仅设置其一将导致 huggingface-cli 与 transformers 库缓存路径不一致，最终模型加载失败。

方案二：临时环境覆盖（适用于测试场景）

在运行下载命令前，直接在终端中执行：

set HUGGINGFACE_HUB_CACHE=G:huggingface_cache && set HF_HOME=G:huggingface_cache

优势在于无需重启系统，但每次新开终端均需重新执行，不适用于持久化部署。

安装vLLM并启动推理API服务

步骤一：安装特定版本的vLLM与PyTorch依赖

pip install vllm==0.5.0 torch>=2.3.0

步骤二：确认GPU驱动及CUDA版本兼容。vLLM 0.5.0需CUDA 12.1及以上版本。若通过 nvidia-smi 查看到的驱动版本低于535，则必须立即升级显卡驱动，否则服务启动时会出现 CUDA driver version is insufficient 错误。

步骤三：启动兼容OpenAI的API服务

python -m vllm.entrypoints.openai.api_server --model ./models/MiniMax-M3 --tensor-parallel-size 2 --dtype float16 --quantization awq --max-model-len 262144 --gpu-memory-utilization 0.95 --port 8000

需特别留意几个参数：--tensor-parallel-size 2 表示启用2张GPU并行推理，单卡部署请改为 1。--quantization awq 为必选项，因M3官方未提供GGUF或FP16原生权重，遗漏此参数模型将无法加载。--gpu-memory-utilization 0.95 是内存安全上限，超过0.97易触发OOM Killer，导致进程被强制终止。

来源：互联网