一、前言 随着DeepSeek-V3与R1的持续爆火，国内各个厂商掀起了一场接入或适配DeepSeek模型的浪潮，这无疑是一件好事。同时，也有越来越多的用户或公司想要在本地部署DeepSeek模型，体验其带来的便捷功能或二次开发，但DeepSeek模型部署时对硬件有一定要不，以下这DeepSeek-R1的基础模型及蒸馏模型的部署硬件要求进行整理汇总。 二、DeepSeek-R1基础模型本地部署

1 部署环境准备 1.1 节点规划 主机名 用途 IP root用户密码 规格 系统盘 OS 备注 controller01 master + worker 172.20.0.21 cloud@2020 8c16g 400G Ubuntu 20.04.3 LTS-amd64 联网 目前只准备这一个amd64构架服务器，

模型下载 DeepSeek-R1-Distill-Llama-70B-4bit 此模型在魔搭网站上的下载地址：https://modelscope.cn/models/mlx-community/DeepSeek-R1-Distill-Llama-70B-4bit/files image-20250208144242151 命令行下载 请先通过如下命令安装ModelScope

1 官方文档 根据kubeflow1.6官网发行记录，与k8s 1.22适配的kubeflow版本是kubeflow-1.6。当前最新版本是Kubeflow1.9，官方推荐使用的k8s版本是1.29。 部署步骤参考：部署kubeflow1.6的官方文档 以下操作来自笔者刚开始接触k8s时所做的操作，使用kubekey部署了k8s+ksp，一些操作也都依赖于图形化界面。经过一两个月的鼓捣研究

环境信息 主机名 IP 操作系统 规格 GPU情况 备注 controller01 172.20.0.21 Ubuntu 20.04.3 LTS -amd64 16c64g+400G NVIDIA A40*2 安装配置Ollama 自动安装 官网地址：https://ollama.com/ 下载地址：https://ol

一、DeepSeek公司 DeepSeek公司 成立于2023年7月17日，中文名字全称是 杭州深度求索人工智能基础技术研究有限公司 ，由知名量化基金公司 幻方量化 创立（注册总资本1000万，幻方量化的创始人梁文锋占了1%的持股比例）。DeepSeek 作为一家创新型科技公司，成立以来专注于开发先进的大语言模型（LLM）和相关技术，作为大厂外唯一一家储备万张 A100 芯片的公司，

一、写在前面 本文章总结了在Docker环境使用“NVIDIA GPU”，它的效率与直接在物理服务器启动进程使用物理服务器上的NVIDIA GPU效率差不多，所以是一种高效与常用的NVIDIA GPU云原生场景下的使用方式。能够在Docker环境使用“NVIDIA GPU”后，只需要在Docker环境所在的服务器上再部署 Kubernetes 环境、安装nvidia-device-pl

一、介绍 HAMi-WebUI项目官网：https://github.com/Project-HAMi/HAMi-WebUI 根据官网的介绍，它是一个基于开源项目HAMi的另一开源项目，主要用来管理与监视GPU等加速设备资源的。它通过提供一个可视化的web接口扩展了HAMi的功能与可用性，这个web接口可以查看与管理跨节点的GPU资源分配与使用情况。HAMi-WebUI支持针对任务与GPU使用

Debian10 amd64 1 arm64 1234567891011121314root@debian10:~/ cat /etc/apt/sources.listdeb https://mirrors.huaweicloud.com/debian/ buster main contrib non-free#deb-src https://mirrors.huaweicloud.com