一、大模型是什么 将以国产大模型阿里巴巴公司推出的“通义千问”为例子进行演示。它需要提前注册账号（其实用支付宝或淘宝账号也能登录）比如用手机号进行注册登录。 image-20250225120223430 1.1 大模型的定义 起源：大语言模型（Large language Models，LLMs），围绕自然语言处理任务而创建的一系列模型。 发展：基础模型（Foundati

一、构建tensor 1234#一、构建tensor###PyTorch常用数据类型#官方教程： https://pytorch.org/tutorials/beginner/basics/tensorqs_tutorial.html#官方API文档： https://pytorch.org/docs/stable/index.html 12345678###张量（Tensor）：PyTorc

一、可承接咨询或部署业务 声明 本人成功在4台服务器成功部署满血版DeepSeek-R1-671B，相关信息简介如下，现可承接咨询指导或部署业务订单，部署过程正在逐步优化完善，大家可相互一起学习。以下有部署成功后的相关内容展示。 满血版DeepSeek-R1-671B内容展示 Ray集群状态 image-20250226093654893 Production Metric

安装Cuda之前需要保证NVIDIA驱动安装好。Cuda安装可参考NVIDIA官方文档：cuda-installation-guide-linux 123456789101112#服务器拿到手时，发现已经安装了Cuda11.5.119###如果要使用apt安装nvcc（此方式在Ubuntu22.04LTS上安装的是Cuda11.5.119）：sudo apt install nvidia-cud

一、产品说明与计费 1.1 产品说明 腾讯云提供高性能应用服务（HAI）和云服务器（CVM）两种类型算力以应用部署的形式来部署算力，但上面腾讯也同时提供了使用此算力其他应用，可以在上面使用云服务器部署自己DeepSeek服务、使用用算力进行软件研发等，算是SaaS产品。 目前，腾讯云已提供Cloud Studio、云原生构建、HAI、API接口、知识引擎等多种接入方式。本着体验高速稳定De

一、文档说明与服务器准备 1.1 文档说明 本文已经将相关问题如下载模型大文件、操作过程中相关python库版本问题、wandb认证问题等解决，并记录在此文档中。 这是一篇保姆级别的"微调DeepSeek-R1-Distill-Llama-8B模型"的操作文章，只要稍微懂点计算机软件知识就可以成功复现此文章中所述内容。 此文档中使用到了NVIDIA A40，如果GPU显存或算力更低，可以

参考资料 参考英文文档：Fine-Tuning DeepSeek R1 (Reasoning Model) 参考教学视频：如何快速微调DeepSeek-R1-8b模型，并且可视化训练过程，赶紧行动起来。

一、前言 随着DeepSeek-V3与R1的持续爆火，国内各个厂商掀起了一场接入或适配DeepSeek模型的浪潮，这无疑是一件好事。同时，也有越来越多的用户或公司想要在本地部署DeepSeek模型，体验其带来的便捷功能或二次开发，但DeepSeek模型部署时对硬件有一定要不，以下这DeepSeek-R1的基础模型及蒸馏模型的部署硬件要求进行整理汇总。 二、DeepSeek-R1基础模型本地部署

1 部署环境准备 1.1 节点规划 主机名 用途 IP root用户密码 规格 系统盘 OS 备注 controller01 master + worker 172.20.0.21 cloud@2020 8c16g 400G Ubuntu 20.04.3 LTS-amd64 联网 目前只准备这一个amd64构架服务器，

模型下载 DeepSeek-R1-Distill-Llama-70B-4bit 此模型在魔搭网站上的下载地址：https://modelscope.cn/models/mlx-community/DeepSeek-R1-Distill-Llama-70B-4bit/files image-20250208144242151 命令行下载 请先通过如下命令安装ModelScope