依赖
模型
打开官网

点击Models
标签

这里选择第一个deepseek-r1
,进入模型详细页面

选择左侧不同的参数,复制右侧的命令到终端运行,ollama会自动下载模型
1 2 3
| (base) PS C:\Users\hyper\Desktop> ollama run deepseek-r1:1.5b pulling manifest pulling aabd4debf0c8... 3% ▕█ ▏ 30 MB/1.1 GB 3.0 MB/s 6m4s
|
运行
安装完成后就可以直接运行了,模型会缓存在本地,以便下次使用。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39
| (base) PS C:\Users\hyper\Desktop> ollama run deepseek-r1:1.5b pulling manifest pulling aabd4debf0c8... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 GB pulling 369ca498f347... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 387 B pulling 6e4c38e1172f... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 KB pulling f4d24e9138dd... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 148 B pulling a85fe2a2e58e... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 487 B verifying sha256 digest writing manifest success >>> 什么是ollama <think>
</think>
Ollama 是一个基于 WebGL 的文本编辑器,旨在提供一个更高效和直观的用户界面。它支持在线编写、查看、编辑和验证代码,适合在没有本地服务器的情况下进行开发。
1. **无服务器模式**:无需本地服务器,直接在线运行。 2. **多语言支持**:支持多种编程语言的代码编辑和验证。 3. **实时编辑**:用户可以在命令提示符下直接编辑和提交代码。 4. **快速渲染**:使用 WebGL技术进行更快速的图形处理。
- **方便性**:无需安装任何软件,直观使用在线界面。 - **扩展性**:支持多种编程语言,适合各种开发需求。 - **实时效果**:代码被即时渲染并可见。
- **社区和工具较少**:可能不如本地服务器版本灵活或广泛支持。 - **稳定性较低**:在一些平台上可能存在速度问题或不稳定。
- **快速测试代码**:用于在线验证脚本来执行请求。 - **学习和开发基础语言**:作为学习编程的工具,适合简单的项目开发。
总结来说,Ollama 是一个很好的无服务器编辑器,但在功能和社区支持上可能稍逊于基于本地服务器的版本。
>>> Send a message (/? for help)
|
显存
所需显存的计算公式:
显存 ≈ 参数量 × 数据类型大小 + 上下文缓存
例如,对于4-bits量化的7B模型,上下文token长度为4K,并假设每千token缓存系数为 0.8GB/k, 所需显存为:
(7e9×0.5)+(4×0.8GB)=3.5GB+3.2GB=6.7GB
以下是根据上述公式所计算出的不同DeepSeek模型及其对显卡配置的最低要求(非准确,仅供参考):
模型规模 | 显存需求(以4-bit量化为例) | 硬盘空间需求 |
---|
1.5B | 4.0 GB | 1.1 GB |
7B | 6.7 GB | 4.7 GB |
14B | 10.2 GB | 9.0 GB |
32B | 19.2 GB | 20 GB |
70B | 38.2 GB | 43 GB |
参考资料