概述DeepSeek-R1模型在各项指标上直逼甚至超越了OpenAI及同类产品,迅速成为业界关注的焦点。更
概述
DeepSeek-R1模型在各项指标上直逼甚至超越了OpenAI及同类产品,迅速成为业界关注的焦点。更令人惊喜的是,该模型基于MIT协议免费开源,允许任何公司或个人自由商用,无需任何授权限制,这在AI界引起了巨大轰动。
最近,由于DeepSeek服务遭受外海攻击,访问有时会受到影响。但由于DeepSeek-R1是开源的,我们可以选择部署自己的DeepSeek-R1模型。如果再结合Webman AI,效果将更加出色。
以下是关于如何在本地部署DeepSeek-R1服务的教程。
前提条件是您的电脑需要配备显卡,显卡性能越好,效果越佳。
一、安装ollama:请访问https://ollama.com/download进行下载和安装。
二、根据您的配置选择合适的版本:
参考量 | 显存需求 | 显卡推荐 | 命令 | 1.5B通常4GB左右GTX 1050ollama run deepseek-r1:1.5b8B一般8-10GBGTX 1660ollama run deepseek-r1:8b14B12GB以上,16GB以上运行流畅RTX 3060ollama run deepseek-r1:14b32B16GB以上,21GB以上运行流畅RTX 3060ollama run deepseek-r1:32b70B24GB以上,40GB以上运行流畅RTX 3090、RTX 4090ollama run deepseek-r1:70b671B1342GB16张NVIDIA A100 80GB显卡ollama run deepseek-r1:671b
---|
根据您的显存选择合适的版本。如果条件允许,建议使用32B或70B版本,效果非常好。如果显存不足,并且使用了高版本,系统会自动使用CPU+显存的方式来运行,但输出速度会很慢,每秒仅1-2个字。
三、对话:
安装完成后,您就可以直接在命令行进行对话。
以下内容为可选项,配合 Webman AI (可选):
如果您已经拥有Webman AI程序,可以接入自己的deepseek-r1,在提升用户体验的同时,您还可以从中获取收益。
ollama默认在命令行中进行对话,UI界面并不友好。如果配合Webman AI,可以获得更好的交互体验。
假设您已经部署了Webman AI程序,通过以下步骤接入DeepSeek-R1。
进入Webman AI管理后台,添加新模型:
设置对外模型名称:
新建角色:
测试:
菜鸟下载发布此文仅为传递信息,不代表菜鸟下载认同其观点或证实其描述。
版权投诉请发邮件到 cn486com#outlook.com (把#改成@),我们会尽快处理
Copyright © 2019-2020 菜鸟下载(www.cn486.com).All Reserved | 备案号:湘ICP备2023003002号-8
本站资源均收集整理于互联网,其著作权归原作者所有,如有侵犯你的版权,请来信告知,我们将及时下架删除相应资源