VS Code运行Llama 3模型指南：新手必看教程

Meta 正式发布了 Llama 3，这个最新的开源语言模型一出来就引起了不小的关注。既然开源，那直接下载到本地跑起来，是不是很香？

老实说，你八成会嘀咕：在我那台破笔记本上跑一个80亿参数的AI模型？这听起来像是技术极客才能干的事儿。别急，真的没那么玄乎。这篇指南就是来帮你打破这个错觉的，一步步带着你上手，让你在自己的电脑上把Llama 3跑起来。

先看看我这次用来演示的机器配置，算是给大家一个参考：

• 笔记本型号：Lenovo ThinkPad X1 Extreme
• 操作系统：Windows 11 Pro 版本 10.0.22631 构建 22631
• CPU：Intel(R) Core(TM) i7-9850H 处理器
• 内存：32 GB
• 硬盘空间：642 GB

实际上，你并不需要一块天价的GPU。只要CPU还不错，内存够用，手里的这台机器就能把这活儿干好。

准备工作

在开始之前，先把环境摸清楚。下面就是具体的操作步骤，一个坑都不让你踩。

第 1 步：下载并安装 Ollama

先去 Ollama 的官网，把最新版的安装程序下载下来。Ollama 这个工具，说白了就是帮你跨平台折腾大语言模型的，不管是下载、运行还是分享，它都能搞定。

安装完之后，确保它在后台跑着。你可以瞄一眼系统托盘或者任务管理器，看到 Ollama 的图标就对了。

怎么确认它到底好不好使？打开命令行，敲个版本号看看就知道了。

> ollama -v
ollama version is 0.1.32

我的版本是0.1.32，你的可能会更新一些，这不影响大局。

第 2 步：在 VS Code 中安装 CodeGPT 扩展

接下来，打开 Visual Studio Code，找到扩展商店，搜“CodeGPT”（来自codegpt.co的那个），点安装。这个扩展就像一个桥梁，让你可以直接在VS Code里头调用Llama 3。

装好之后，左边侧边栏里就会多出一个CodeGPT的图标，点它就能用了。

第 3 步：下载模型

模型从哪来？最简单的方法就是在VS Code的终端里，直接敲命令让它下载。

ollama pull llama3:8b

注意，这个模型包有4个多G，下载起来需要点耐心。得等它彻底下完，你会看到一个成功的提示消息，到这一步才算稳了。

第 4 步：选择 Llama 3 模型

在CodeGPT的仪表盘里，找到“提供者”那个下拉菜单，选“Ollama”。紧接着在“模型”下拉菜单里，找到或者手动输入“Llama3:8b”。

这一步千万别选错了，只有配对了，CodeGPT才会老老实实地用Llama 3来回答你的问题。

第 5 步：在VS Code上运行Llama 3

万事俱备，来测试一下能不能正常跑起来。顺手丢个问题进去：

Prompt: what is the distance of the moon from Earth?
Response: The a verage distance from the Earth to the Moon is approximately 384,400 kilometers (238,900 miles). This is called the “lunar distance” or “lunar mean distance.” However, the Moon’s orbit is not a perfect circle and its distance from Earth varies slightly due to the elliptical shape of its orbit. The closest point in this orbit, called “perigee,” is about 356,400 kilometers (221,500 miles), while the farthest point, called “apogee,” is about 405,500 kilometers (252,000 miles).

一切正常。既然能聊天了，不如试试更实用的功能——让它解释代码。在VS Code里打开任意的源代码文件，右键点击，选择“CodeGPT: 解释CodeGPT”。

代码会直接作为提示输入到CodeGPT的面板里，AI分析完之后，会给你吐出详细的解释。这才是真正的干货：你完全不需要把代码复制粘贴到ChatGPT或者其他外部聊天工具里了。而且整个过程都是本地的、免费的，既不用担心API费用，也不用依赖网络。

就这样！这是一份完全可操作的，在Visual Studio Code里运行Llama 3的完整指南。希望对你有用。在自己的机器上本地跑大模型，其实真没想象中那么复杂，对吧？

来源：互联网