如何搭建本地Deepseek环境

依赖

模型

打开官网

官网

点击Models标签

模型列表

这里选择第一个deepseek-r1,进入模型详细页面

模型类型

选择左侧不同的参数,复制右侧的命令到终端运行,ollama会自动下载模型

1
2
3
(base) PS C:\Users\hyper\Desktop> ollama run deepseek-r1:1.5b
pulling manifest
pulling aabd4debf0c8... 3% ▕█ ▏ 30 MB/1.1 GB 3.0 MB/s 6m4s

运行

安装完成后就可以直接运行了,模型会缓存在本地,以便下次使用。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
(base) PS C:\Users\hyper\Desktop> ollama run deepseek-r1:1.5b
pulling manifest
pulling aabd4debf0c8... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 GB
pulling 369ca498f347... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 387 B
pulling 6e4c38e1172f... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 148 B
pulling a85fe2a2e58e... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
success
>>> 什么是ollama
<think>

</think>

Ollama 是一个基于 WebGL 的文本编辑器,旨在提供一个更高效和直观的用户界面。它支持在线编写、查看、编辑和验证代码,适合在没有本地服务器的情况下进行开发。

### 主要特点:
1. **无服务器模式**:无需本地服务器,直接在线运行。
2. **多语言支持**:支持多种编程语言的代码编辑和验证。
3. **实时编辑**:用户可以在命令提示符下直接编辑和提交代码。
4. **快速渲染**:使用 WebGL技术进行更快速的图形处理。

### 优势:
- **方便性**:无需安装任何软件,直观使用在线界面。
- **扩展性**:支持多种编程语言,适合各种开发需求。
- **实时效果**:代码被即时渲染并可见。

### 缺点:
- **社区和工具较少**:可能不如本地服务器版本灵活或广泛支持。
- **稳定性较低**:在一些平台上可能存在速度问题或不稳定。

### 使用场景:
- **快速测试代码**:用于在线验证脚本来执行请求。
- **学习和开发基础语言**:作为学习编程的工具,适合简单的项目开发。

总结来说,Ollama 是一个很好的无服务器编辑器,但在功能和社区支持上可能稍逊于基于本地服务器的版本。

>>> Send a message (/? for help)

显存

所需显存的计算公式[1]

显存 ≈ 参数量 × 数据类型大小 + 上下文缓存

例如,对于4-bits量化的7B模型,上下文token长度为4K,并假设每千token缓存系数为 0.8GB/k, 所需显存为:

(7e9×0.5)+(4×0.8GB)=3.5GB+3.2GB=6.7GB(7e9 \times 0.5 ) + (4 \times 0.8GB) = 3.5GB + 3.2GB = 6.7GB

以下是根据上述公式所计算出的不同DeepSeek模型及其对显卡配置的最低要求(非准确,仅供参考):

模型规模显存需求(以4-bit量化为例)硬盘空间需求
1.5B4.0 GB1.1 GB
7B6.7 GB4.7 GB
14B10.2 GB9.0 GB
32B19.2 GB20 GB
70B38.2 GB43 GB

参考资料


如何搭建本地Deepseek环境
https://blog.jackeylea.com/ai/how-to-setup-local-deepseek/
作者
JackeyLea
发布于
2025年2月19日
许可协议