DeepSeek-R1-Distill-Llama-70B大模型4bit量化版部署

模型下载

DeepSeek-R1-Distill-Llama-70B-4bit

此模型在魔搭网站上的下载地址：https://modelscope.cn/models/mlx-community/DeepSeek-R1-Distill-Llama-70B-4bit/files

image-20250208144242151

命令行下载

请先通过如下命令安装ModelScope

1
pip install modelscope

下载完整模型repo

1
modelscope download --model mlx-community/DeepSeek-R1-Distill-Llama-70B-4bit

下载单个文件到指定本地文件夹（以下载README.md到当前路径下“dir”目录为例）

1
modelscope download --model mlx-community/DeepSeek-R1-Distill-Llama-70B-4bit README.md --local_dir ./dir

完整的ModelScope命令行下载选项，可参见具体文档

DeepSeek-R1-Distill-Llama-70B-GGUF（优先尝试）

DeepSeek-R1-Distill-Llama-70B-GGUF模型中有4Bit量化模型GGUF文件：https://www.modelscope.cn/models/lmstudio-community/DeepSeek-R1-Distill-Llama-70B-GGUF/files

优先尝试，有现成的文档可用：Ollama导入从魔搭网站下载的大模型.GGUF文件，但相关GGUF文件40多G，准备在2025年2月8日（周六）晚上下载，下周一来上班时继续后续操作

魔搭与huggingface模型导入到Ollama中

Ollama导入从魔搭网站下载的大模型.GGUF文件：https://cloud.tencent.com/developer/article/2494213

Ollama导入大模型的.safatensors文件：http://www.360doc.com/content/24/0919/11/37846289_1134459888.shtml

模型部署

魔搭.GGUF文件导入到Ollama中

image-20250210094555761
image-20250210094631455 
1
2
#在魔搭网站下载4bit量化模型文件
root@controller01:/opt/code_repos/DeepSeek-R1-Distill-Llama-70B-GGUF# modelscope download --model lmstudio-community/DeepSeek-R1-Distill-Llama-70B-GGUF DeepSeek-R1-Distill-Llama-70B-Q4_K_M.gguf --local_dir ./   
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
#当前ollama管理的模型
root@controller01:/opt/code_repos/DeepSeek-R1-Distill-Llama-70B-GGUF# ollama list
NAME                                    ID              SIZE    MODIFIED     
deepseek-r1:7b                          0a8c26691023    4.7 GB  4 days ago  
deepseek-coder:1.3b                     3ddd2d3fc8d2    776 MB  3 months ago

#将GGUF文件导入到ollama时需要用到一个配置文件，命令名DeepSeek-R1-Distill-Llama-70B-Q4_config.txt，内容如下
root@controller01:/opt/code_repos/AI_models/DeepSeek-R1-Distill-Llama-70B-GGUF# tee DeepSeek-R1-Distill-Llama-70B-Q4_config.txt <<EOF
FROM "./dir/DeepSeek-R1-Distill-Llama-70B-Q4_K_M.gguf"

TEMPLATE """{{- if .System }}
<|im_start|>system {{ .System }}<|im_end|>
{{- end }}
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""

SYSTEM """"""

PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>
###关于Modelfile的编写与使用，参考官方文档：https://github.com/ollama/ollama、
#  https://github.com/ollama/ollama/blob/main/docs/modelfile.md

#将从魔搭网站下载的大模型.GGUF文件 导入到Ollama中
root@controller01:/opt/code_repos/DeepSeek-R1-Distill-Llama-70B-GGUF# ollama create DeepSeek-R1-Distill-Llama-70B-Q4 -f ./DeepSeek-R1-Distill-Llama-70B-Q4_config.txt
transferring model data 
using existing layer sha256:eb01fe3e90c4bd09b12f8d0849adf89a11a38174ecdaf56391267975d53e3bc9 
creating new layer sha256:ecf1d3ca1fb53d793cbaac0d1928dfa4cfea479cb9c746a09823ec5875cee90c 
creating new layer sha256:e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 
using existing layer sha256:f02dd72bb2423204352eabc5637b44d79d17f109fdb510a7c51455892aa2d216 
creating new layer sha256:737eec639e0b3d8bf80c36e83f59a9a7c0fa36f5712ee33d4c3d35fc1c195e0b 
writing manifest 
success 

#可以看到Ollama中管理的大模型新增了一个“DeepSeek-R1-Distill-Llama-70B-Q4:latest”
root@controller01:/opt# ollama list
NAME                                       ID              SIZE      MODIFIED     
DeepSeek-R1-Distill-Llama-70B-Q4:latest    573e09a767b2    42 GB     5 hours ago     
deepseek-r1:7b                             0a8c26691023    4.7 GB    4 days ago      
deepseek-coder:1.3b                        3ddd2d3fc8d2    776 MB    3 months ago

运行模型

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
root@controller01:/opt# ollama run DeepSeek-R1-Distill-Llama-70B-Q4:latest
>>> 你是谁
您好！我是由中国的深度求索（DeepSeek）公司开发的智能助手DeepSeek-R1。如您有任何任何问题，我会尽我所能为您提供帮助。


>>> 请证明勾股定理
好的，用户让我证明勾股定理，也就是毕达哥拉斯定理。我需要用清晰的步骤来解释。首先，我得确认用户是谁，看起来他可能是个学生或者对数学感兴趣的人。他想要的是一个经典的几何证明，所以我应该选择一种直观且容易理解的方法。

考虑到勾股定理的不同证明方式，比如毕达哥拉斯本人的面积相等法，或者使用相似三角形。我觉得用面积相等来证明可能更简单明了，因为它直接利用了几何图形的特性，容易被大多数人理解。

接下来，我要一步步分解这个过程。首先画一个直角三角形，然后构造一个正方形，这样可以比较斜边和两条直角边所对应的面积。然后通过移动两个小三角形到适当的位置，形成一个更大的直角三角形，从而展示出等式a² + b² = c²。

在解释的时候，我要确保每一步都清晰，让读者能够跟上思路。同时，使用公式和图示可能会有帮助，但如果没有图示，文字描述也需要足够详细。此外，还应该提到这个定理适用于所有直角三角形，不管边长是什么。

总的来说，我要确保我的解释既准确又易于理解，让用户能够轻松地掌握勾股定理的证明过程。
</think>

好的！我来为您详细讲解一下勾股定理（毕达哥拉斯定理）的证明过程。这个定理是几何学中的一个重要定理，适用于所有直角三角形。

**勾股定理内容：**
在任何一个直角三角形中，两条直角边的平方和等于斜边的平方。用数学表达式表示为：
\[ a^2 + b^2 = c^2 \]
其中，\(a\) 和 \(b\) 是直角边的长度，\(c\) 是斜边的长度。

---

### 证明过程：

1. **画一个直角三角形：**
   首先，画一个直角三角形 \(ABC\)，其中 \(∠C\) 为直角。设直角边 \(AC = b\)，\(BC = a\)，斜边 \(AB = c\)。

2. **构造与斜边相等的正方形：**
   在斜边 \(AB\) 的外侧构造一个大正方形，其边长为 \(c\)。这样，大正方形的一条边就是斜边 \(AB\)，其余两边延伸到直角三角形的外部。

3. **将直角三角形移动并组合：**
   将直角三角形 \(ABC\) 沿着斜边 \(AB\) 移动，将顶点 \(C\) 放置在大正方形的一个角落。这样，原来的两个较小的直角三角形会被重新排列。

4. **展示面积相等：**
   通过移动和组合，可以发现这两个小直角三角形恰好填补了一个边长为 \(a\) 和 \(b\) 的正方形中的空白区域。这样，原来的大正方形的面积被分解为两部分：
   \[ c^2 = a^2 + b^2 \]

5. **得出结论：**
   通过上述几何构造和面积分析，我们可以得到：
   \[ a^2 + b^2 = c^2 \]
   这就是勾股定理的证明。

---

**总结：**
这个证明利用了几何图形的面积特性，通过将直角三角形重新排列并结合正方形的面积关系，清晰地展示了两条直角边平方和等于斜边平方的关系。希望这个过程能帮助您理解勾股定理的基本原理！
>>>

部署openwebui

1
2
3
4
#下载容器镜像
docker pull ghcr.io/open-webui/open-webui:v0.5.10
#如果无法下载或下载速度太慢，也可以使用如下镜像，它们是同步的
docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:v0.5.10
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
#启动open-webui容器
(self-llm) root@controller01:~# docker run --name=open-webui \
        --hostname=open-webui \
        --user=0:0 \
        --volume=open-webui:/app/backend/data \
        --workdir=/app/backend \
        -p 18080:8080 \
        --restart=always \
        --log-opt max-size=50m \
        --log-opt max-file=5 \
        --add-host host.docker.internal:host-gateway \
        --runtime=nvidia \
        --detach=true \
        swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:v0.5.10 \
        bash start.sh

#等待两分钟直到其状态变为healthy
(self-llm) root@controller01:~# docker ps -a | grep open-webui
7954bc77bdd5   swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:v0.5.10   "bash start.sh"          6 minutes ago   Up 6 minutes (healthy)           0.0.0.0:18080->8080/tcp, :::18080->8080/tcp            open-webui

#浏览器地址栏中输入如下URL  http://172.20.0.21:18080/
#登录前需要进行注册。登录如下图
image-20250210155610560

open-webui中配置联网搜索

google开发者账号

访问 https://developers.google.com/custom-search 注册google开发者账号，如果有Google账号可以直接一键注册

可编程搜索引擎

访问 https://programmablesearchengine.google.com/controlpanel/all 即可编程搜索引擎(pse)控制面板里添加一个自定义搜索引擎

image-20250210160450279

上述最好指定“在特定网站或网页中搜索”，比如指定www.baidu.com

image-20250210165144110
image-20250210160533683 
1
2
3
4
5
6
7
<script async src="https://cse.google.com/cse.js?cx=b2ab2ea5c987a4eed">
</script>
<div class="gcse-search"></div>


记住搜索引擎 ID：
b2ab2ea5c987a4eed

谷歌开发者api密钥

访问 https://developers.google.com/custom-search/v1/introduction 获取谷歌开发者api密钥，需要将此密钥保存下来。

image-20250210160842494
image-20250210161054098
image-20250210161230162
image-20250210161247509 
1
AIzaSyB3E8VhYwYJDYAdFs68iMJrSbgM1SHaoYc

open-webui设置

image-20250210161537546
image-20250210163830474

使用“联网搜索”进行对话

image-20250210164015528

但回答的结果并不一定正确，且有时并不能正常使用

大模型
#大模型
DeepSeek-R1-Distill-Llama-70B大模型4bit量化版部署
https://jiangsanyin.github.io/2025/02/08/DeepSeek-R1-Distill-Llama-70B大模型4bit量化版部署/
作者
sanyinjiang
发布于
2025年2月8日
许可协议