本地部署deepseek-R1对话模型
本地部署deepseek-R1对话模型
如愿前言
这是最近爆火的开源AI对话大模型———— DeepSeek，全称杭州深度求索人工智能基础技术研究有限公司。DeepSeek 是一家创新型科技公司，成立于2023年7月17日，使用数据蒸馏技术，得到更为精炼、有用的数据。由知名私募巨头幻方量化孕育而生，专注于开发先进的大语言模型（LLM）和相关技术。
2025年1月20日，DeepSeek正式发布 DeepSeek-R1 模型，并同步开源模型权重。DeepSeek-R1在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。DeepSeek-V3 和 DeepSeek-R1 两款大模型，成本价格低廉，性能与 OpenAI 相当，让硅谷震惊，甚至引发了Meta内部的恐慌，工程师们开始连夜尝试复制DeepSeek的成果，以至于现在的网站还在被 ddos 攻击
准备工作
任意一台操作系统的电脑 MacOS/Linux/Windows，运行内存尽可能的多即可，推荐带独立显卡的电脑
这里展示的配置是：
Windows操作系统- 运行内存：24GB
- CPU：13th Gen Intel(R) Core(TM) i7-13650HX
- 显卡：英伟达4060 laptop
开始部署
1.下载ollama安装包
打开就是这样子，自行选择你的操作系统下载
下载下来双击打开安装包，目前暂时无法部署到自定义盘，只能在C盘，占用不是很大
2.克隆大模型
搜索deepseek-r1
找不到我给你个传送门
打开就是这样，选择你合适的模型，在确保你配置够的情况下可以适当往下选择最好的模型资源，等级从下往上递减
对应的模型配置大概是这样：
1.5b：4GB显存
7b/8b：8GB显存（我是这个）
14b：12GB显存
32b：24GB显存（差不多4090的配置了）
显存不够他会调用CPU跑，且吃核心数，生成对话速度会慢很多，
使用Win+R键输入cmd打开终端
可以敲ollama看看环境是否生效，会提示ollama相关指令
1 | ollama |
下载大模型，我这里是7b
下载前先往下滑到拓展页编辑环境变量，里面包含了更改模型
默认下载路径！
1 | ollama run deepseek-r1:7b |
等待下载完成，会自动进入>>>命令行
这时候你就可以随心所欲进行对话了，敲/?提示常用命令
拓展-UI增强对话
终端难免会使用难受，所以可以使用ui的方式对话，参考了以下视频，使用的是ChatBox AI
首先检查下你的接口是否能访问，地址是<http://localhost:11434>
显示Ollama is running就是run成功了
配置系统环境变量，具体怎么在哪我不多说了哈，参数如下
| 变量 | 值 |
|---|---|
| OLLAMA_HOST | 0.0.0.0 |
| OLLAMA_MODELS | 路径 |
| OLLAMA_ORIGINS | * |
这里重点说下路径，因为ollama默认下载路径默认C盘，用户当然都不想要在C盘下载，所以可以进行更改存储路径
之后下载ChatBox AI，官网在这https://chatboxai.app/zh/，官网国内访问较慢，建议打开魔法食用（
下载完打开进行配置，点击右下角齿轮，模型提供方选择OLLAMA API，API域名填你本地域名，之后保存，就可以进行流畅对话啦~
