一、文档说明与服务器准备 1.1 文档说明 本文已经将相关问题如下载模型大文件、操作过程中相关python库版本问题、wandb认证问题等解决，并记录在此文档中。 这是一篇保姆级别的"微调DeepSeek-R1-Distill-Llama-8B模型"的操作文章，只要稍微懂点计算机软件知识就可以成功复现此文章中所述内容。 此文档中使用到了NVIDIA A40，如果GPU显存或算力更低，可以

参考资料 参考英文文档：Fine-Tuning DeepSeek R1 (Reasoning Model) 参考教学视频：如何快速微调DeepSeek-R1-8b模型，并且可视化训练过程，赶紧行动起来。

一、前言 随着DeepSeek-V3与R1的持续爆火，国内各个厂商掀起了一场接入或适配DeepSeek模型的浪潮，这无疑是一件好事。同时，也有越来越多的用户或公司想要在本地部署DeepSeek模型，体验其带来的便捷功能或二次开发，但DeepSeek模型部署时对硬件有一定要不，以下这DeepSeek-R1的基础模型及蒸馏模型的部署硬件要求进行整理汇总。 二、DeepSeek-R1基础模型本地部署

1 部署环境准备 1.1 节点规划 主机名 用途 IP root用户密码 规格 系统盘 OS 备注 controller01 master + worker 172.20.0.21 cloud@2020 8c16g 400G Ubuntu 20.04.3 LTS-amd64 联网 目前只准备这一个amd64构架服务器，

模型下载 DeepSeek-R1-Distill-Llama-70B-4bit 此模型在魔搭网站上的下载地址：https://modelscope.cn/models/mlx-community/DeepSeek-R1-Distill-Llama-70B-4bit/files image-20250208144242151 命令行下载 请先通过如下命令安装ModelScope

1 官方文档 根据kubeflow1.6官网发行记录，与k8s 1.22适配的kubeflow版本是kubeflow-1.6。当前最新版本是Kubeflow1.9，官方推荐使用的k8s版本是1.29。 部署步骤参考：部署kubeflow1.6的官方文档 以下操作来自笔者刚开始接触k8s时所做的操作，使用kubekey部署了k8s+ksp，一些操作也都依赖于图形化界面。经过一两个月的鼓捣研究

环境信息 主机名 IP 操作系统 规格 GPU情况 备注 controller01 172.20.0.21 Ubuntu 20.04.3 LTS -amd64 16c64g+400G NVIDIA A40*2 安装配置Ollama 自动安装 官网地址：https://ollama.com/ 下载地址：https://ol

一、DeepSeek公司 DeepSeek公司 成立于2023年7月17日，中文名字全称是 杭州深度求索人工智能基础技术研究有限公司 ，由知名量化基金公司 幻方量化 创立（注册总资本1000万，幻方量化的创始人梁文锋占了1%的持股比例）。DeepSeek 作为一家创新型科技公司，成立以来专注于开发先进的大语言模型（LLM）和相关技术，作为大厂外唯一一家储备万张 A100 芯片的公司，

一、写在前面 本文章总结了在Docker环境使用“NVIDIA GPU”，它的效率与直接在物理服务器启动进程使用物理服务器上的NVIDIA GPU效率差不多，所以是一种高效与常用的NVIDIA GPU云原生场景下的使用方式。能够在Docker环境使用“NVIDIA GPU”后，只需要在Docker环境所在的服务器上再部署 Kubernetes 环境、安装nvidia-device-pl