一、可承接咨询或部署业务 声明 本人成功在4台服务器成功部署满血版DeepSeek-R1-671B，相关信息简介如下，现可承接咨询指导或部署业务订单，部署过程正在逐步优化完善，大家可相互一起学习。以下有部署成功后的相关内容展示。 满血版DeepSeek-R1-671B内容展示 Ray集群状态 image-20250226093654893 Production Metric

安装Cuda之前需要保证NVIDIA驱动安装好。Cuda安装可参考NVIDIA官方文档：cuda-installation-guide-linux 123456789101112#服务器拿到手时，发现已经安装了Cuda11.5.119###如果要使用apt安装nvcc（此方式在Ubuntu22.04LTS上安装的是Cuda11.5.119）：sudo apt install nvidia-cud

一、产品说明与计费 1.1 产品说明 腾讯云提供高性能应用服务（HAI）和云服务器（CVM）两种类型算力以应用部署的形式来部署算力，但上面腾讯也同时提供了使用此算力其他应用，可以在上面使用云服务器部署自己DeepSeek服务、使用用算力进行软件研发等，算是SaaS产品。 目前，腾讯云已提供Cloud Studio、云原生构建、HAI、API接口、知识引擎等多种接入方式。本着体验高速稳定De

一、文档说明与服务器准备 1.1 文档说明 本文已经将相关问题如下载模型大文件、操作过程中相关python库版本问题、wandb认证问题等解决，并记录在此文档中。 这是一篇保姆级别的"微调DeepSeek-R1-Distill-Llama-8B模型"的操作文章，只要稍微懂点计算机软件知识就可以成功复现此文章中所述内容。 此文档中使用到了NVIDIA A40，如果GPU显存或算力更低，可以

参考资料 参考英文文档：Fine-Tuning DeepSeek R1 (Reasoning Model) 参考教学视频：如何快速微调DeepSeek-R1-8b模型，并且可视化训练过程，赶紧行动起来。

一、前言 随着DeepSeek-V3与R1的持续爆火，国内各个厂商掀起了一场接入或适配DeepSeek模型的浪潮，这无疑是一件好事。同时，也有越来越多的用户或公司想要在本地部署DeepSeek模型，体验其带来的便捷功能或二次开发，但DeepSeek模型部署时对硬件有一定要不，以下这DeepSeek-R1的基础模型及蒸馏模型的部署硬件要求进行整理汇总。 二、DeepSeek-R1基础模型本地部署

1 部署环境准备 1.1 节点规划 主机名 用途 IP root用户密码 规格 系统盘 OS 备注 controller01 master + worker 172.20.0.21 cloud@2020 8c16g 400G Ubuntu 20.04.3 LTS-amd64 联网 目前只准备这一个amd64构架服务器，

模型下载 DeepSeek-R1-Distill-Llama-70B-4bit 此模型在魔搭网站上的下载地址：https://modelscope.cn/models/mlx-community/DeepSeek-R1-Distill-Llama-70B-4bit/files image-20250208144242151 命令行下载 请先通过如下命令安装ModelScope

1 官方文档 根据kubeflow1.6官网发行记录，与k8s 1.22适配的kubeflow版本是kubeflow-1.6。当前最新版本是Kubeflow1.9，官方推荐使用的k8s版本是1.29。 部署步骤参考：部署kubeflow1.6的官方文档 以下操作来自笔者刚开始接触k8s时所做的操作，使用kubekey部署了k8s+ksp，一些操作也都依赖于图形化界面。经过一两个月的鼓捣研究

环境信息 主机名 IP 操作系统 规格 GPU情况 备注 controller01 172.20.0.21 Ubuntu 20.04.3 LTS -amd64 16c64g+400G NVIDIA A40*2 安装配置Ollama 自动安装 官网地址：https://ollama.com/ 下载地址：https://ol