Windows本地Llama3部署指南：开源模型性能实测

Meta正式发布了Llama3模型，这无疑是近期AI领域最受瞩目的开源大语言模型里程碑。作为开源阵营的标杆之作，Llama系列持续引领社区生态，而Llama3则扛起了新一代开源旗舰的大旗。官方对比数据提供了直观参考：无论是与Google Gemma、法国Mistral开源版的同场竞技，还是70B版本与Gemini、Claude3闭源模型的正面对抗，表现均相当抢眼。

至于具体强在哪里，各路报道已经铺天盖地，我们不再赘述。直接切入最实用的命题——如何在自己的电脑上本地运行？这才是绝大多数用户关心的核心落地场景。

好在Llama3衍生模型极其丰富，生态成熟，配套工具繁多。完全不需要自行配置环境、编写代码或手动加载模型，现成的“即用型”基础设施比比皆是。今天要介绍的就是一款可视化GUI软件，操作门槛低到“有手就行”——LM Studio。

LM Studio基于llama.cpp，能够运行几乎所有主流大语言模型，且主要依赖CPU推理，因此几乎任何电脑都能胜任。

首次接触这款软件的朋友，跟随下方步骤操作，几分钟即可上手。

第一步：下载软件

访问官网 https://lmstudio.ai/，首页直接点击Windows版本下载。安装包体积不大，很快就能完成。注意版本必须为v0.2.20，只有这个最新版才完整支持Llama3。

第二步：下载模型

LM Studio本身是一个管理工具，需要先通过它下载模型。启动软件后，右下角第一个模型就是Llama3-8B，非常醒目，点击Download即可。底部会出现下载进度条。唯一需要留意的是：下载源为Hugging Face，部分区域可能需要稳定的网络条件才能顺利访问。

第三步：加载模型并开始对话

点击①处的聊天图标进入对话界面，在②处下拉列表选择刚下载的Llama3模型（新下载的模型默认排在最上方），然后在③处输入问题，按回车发送。

第四步：设置系统指令

Llama3是国外开源模型，默认以英语输出。即使你输入中文，它能理解语义，但回复依然采用英文。好在训练数据涵盖多语言，通过系统指令可以强制它输出中文。在System Prompt下方的输入框中填写“所有问题都用中文回答”，然后重新加载模型，即可实现全程中文交互。实际体验下来，中文能力大约在六七十分水平，虽不算顶尖，但日常沟通足够。有趣的是，它特别喜欢在回答末尾带上????表情。

至此，你已快速体验了最新开源大语言模型。可以随意测试各种类型的问题，探索它的能力边界。从实际感受来看，基础能力相当扎实，但中文对话表现中规中矩——不过Llama系列历来以微调套壳后效果出色著称，期待社区后续的优化成果。

目前运行的是8B量化版，属于该系列中的“小老弟”。往上还有70B版本，以及传闻中400B级别的“老大哥”——一旦问世，将成为参数规模最大的开源模型，远超马斯克3150亿参数的Grok。参数越大，涌现出的智能越强。

如果你不愿在本地安装软件，也可以选择在线体验。Meta官方提供了体验地址：https://www.meta.ai/。然而遗憾的是，大部分地区会显示“Meta AI isn't available yet in your country”。所以，老老实实本地部署吧——这也是我们推荐本地运行的根本原因。

来源：互联网