Code Llama 70B API调用指南：从零到生产部署

先提炼几个关键点：Meta 最新发布的 Code Llama 70B 拥有 700 亿参数，是目前开源代码模型中的性能标杆。它在 HumanEval 基准测试中斩获 67.8 分，甚至超越了零样本设定下的 GPT-4。这意味着，在代码生成与智能编程辅助场景中，该模型的实际效用非常突出。

更值得关注的是：借助某平台提供的 API，仅需一行代码即可在云端完成部署。接下来，我们依次通过 Ja vaScript、Python 和 cURL 三种方式，演示如何高效调用 Code Llama 70B。

Code Llama 70B 的变体

Code Llama 70B 共提供三个变体，本文所有示例均基于 codellama-70b-instruct，但每个变体均可通过该平台直接调用：

• Code Llama 70B Base：基础模型，适用于通用的代码生成任务。
• Code Llama 70B Python：专为 Python 代码微调，处理 Python 相关任务更高效。
• Code Llama 70B Instruct：针对自然语言指令进行优化，能更精准理解用户意图。

使用 Ja vaScript 运行 Code Llama 70B

通过官方 Ja vaScript 客户端调用，流程直观。先安装依赖：

npm install replicate

接着配置环境变量：

export REPLICATE_API_TOKEN=

然后导入客户端并初始化：

import Replicate from "replicate";
const replicate = new Replicate({
  auth: process.env.REPLICATE_API_TOKEN,
});

最后调用 API 执行模型——以“如何在 Bash 中列出过去一个月修改过的文本文件”为例：

const output = await replicate.run(
  "meta/codellama-70b-instruct:a279116fe47a0f65701a8817188601e2fe8f4b9e04a518789655ea7b995851bf",
  {
    input: {
      prompt: "在 Bash 中，如何列出当前目录下（不包括子目录）在过去一个月内修改过的所有文本文件？",
    },
  }
);
console.log(output);

使用 Python 运行 Code Llama 70B

Python 客户端的操作方式相似，先安装包：

pip install replicate

同样设置环境变量：

export REPLICATE_API_TOKEN=

随即直接执行调用：

import replicate

output = replicate.run(
  "meta/codellama-70b-instruct:a279116fe47a0f65701a8817188601e2fe8f4b9e04a518789655ea7b995851bf",
  input={
    "prompt": "在 Bash 中，如何列出当前目录下（不包括子目录）在过去一个月内修改过的所有文本文件？",
  }
)
print("".join(output))

使用 cURL 运行 Code Llama 70B

若更倾向于直接操作 HTTP API，使用 cURL 即可完成。先配置环境变量：

export REPLICATE_API_TOKEN=

然后发送 POST 请求：

curl -s -X POST \
  -H "Authorization: Bearer $REPLICATE_API_TOKEN" \
  -H "Content-Type: application/json" \
  -H "Prefer: wait" \
  -d '{
    "version": "a279116fe47a0f65701a8817188601e2fe8f4b9e04a518789655ea7b995851bf",
    "input": {
      "top_k": 10,
      "top_p": 0.95,
      "prompt": "在 Bash 中，如何列出当前目录下（不包括子目录）在过去一个月内修改过的所有文本文件？",
      "max_tokens": 500,
      "temperature": 0.8,
      "system_prompt": "",
      "repeat_penalty": 1.1,
      "presence_penalty": 0,
      "frequency_penalty": 0
    }
  }' https://api.replicate.com/v1/predictions

除了上述三种方式，你还可以通过其他语言（如 Go、Swift）的客户端 SDK 调用 Code Llama 70B，原理完全相同。

保持关注

以上就是通过 API 调用 Code Llama 70B 的主流方法。这款 700 亿参数的模型在编程任务中表现亮眼，值得立即上手体验。

来源：互联网