dify1.4.1学习02-进行基础配置

一、配置语言与时区

从默认的西五区纽约时间改成东八区北京时间：

二、安装配置模型供应商

2.1 安装模型供应商

2.1.1 以在线方式安装模型供应商

以下尝试以在线方式安装国产的“深度求索”模型供应商。

2.1.2 以离线插件方式安装模型供应商

在 Dify 1.4.1 版本中，模型供应商可以通过插件的方式安装。此处以“本地插件”的方式来相关模型供应商。

2.1.2.1 下载deepseek相关模型供应商插件

访问 Dify插件市场（https://marketplace.dify.ai/），搜索 deepseek 并下载 .difypkg 文件。

点击上图中的代表“下载”的图标后，正常时可以下载得到一个文件langgenius-deepseek_0.0.5.difypkg，保存在本地备用。

2.1.2.2 本地插件方式安装插件

进入插件列表页面：

按照上图标注的文字，通过“本地插件”的方式安装插件（会提示用户选中本地保存的插件离线安装文件）：

安装成功时，如下：

同时在插件列表页面也可看到已经安装的插件：

2.1.2.3 安装常用本地模型供应商

我们本地开发产品或使用时，一般都是自己在自己的服务器上部署开源LLM。部署开源LLM时使用的推理服务常用的有ollama与vllm。所以此处把这两个模型供应商都安装上。

2.2 配置模型供应商

2.2.1 配置深度求索模型供应商

填写api key：

查看模型列表：

2.2.2 配置ollama模型供应商

#systemd管理ollama服务
(llamafactory) root@g406011748489384920:~# cat /etc/systemd/system/ollama.service 
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"
Environment="OLLAMA_HOST=0.0.0.0"

[Install]
WantedBy=default.target

#ollama服务监听端口是默认的11434，可从任意服务器访问
(llamafactory) root@g406011748489384920:~# ss -antlup | grep ollama
tcp   LISTEN 0      4096                   *:11434            *:*    users:(("ollama",pid=3455491,fd=3))          

#查看ollama当前管理的大模型
(llamafactory) root@g406011748489384920:~# ollama list
NAME              ID              SIZE      MODIFIED    
qwen2.5:1.5b      65ec06548149    986 MB    4 days ago       
qwen2.5:3b        357c53fb659c    1.9 GB    5 days ago     
deepseek-r1:7b    755ced02ce7b    4.7 GB    2 weeks ago

#创建新目录，假设/mnt/ 是一个新磁盘分区挂载的目录
mkdir /mnt/ollama/.ollama/models -p
systemctl status ollama
systemctl stop ollama
#/usr/share/ollama/.ollama/models 是ollama存储模型文件的默认目录
mv /usr/share/ollama/.ollama/models /mnt/ollama/.ollama/

vi /etc/systemd/system/ollama.service
#在[Service]下面添加如下内容：Environment="OLLAMA_MODELS=/mnt/ollama/.ollama/models"

systemctl daemon-reload && systemctl restart ollama && systemctl enable ollama
ollama list

2.2.3 配置vllm模型供应商

#以容器方式启动vllm进程
docker run --runtime nvidia --name vllm --gpus all \
  -v /root/.cache/modelscope/hub/models/Qwen/Qwen3-0.6B:/model \
  -p 8000:8000 \
  --ipc=host \
  swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/vllm/vllm-openai:v0.9.1 \
  --model /model \
  --served-model-name qwen3-0.6b
#vLLM 当前一次仅支持加载并运行一个大模型。如果要支持多个模型，可以运行多个 Docker 容器，每个容器加载不同模型，监听不同端口

#查看所有模型
curl http://localhost:8000/v1/models

#模型名： qwen3-0.6b
#vllm服务base url： http://10.11.15.190:8000/v1