一、说明 由于一些原因，遇到了在centos8上使用nvidia-docker，以前基本上没使用过，将自己的安装、配置、使用过程记录一下。 二、步骤 123456789101112131415161718192021222324252627282930313233343536#1.卸载已有组件yum remove docker \ docker-client \ docker-clien

一、服务器及配置信息 1.1 服务器列表 此次用来部署满血版DeepSeek-R1-671B，用到4个物理服务器。每个物理服务器上有8个NVIDIA A800，相关具体硬件信息如下。 主机名 IP CPU 内存 硬盘 GPU情况 IB网卡 万兆网卡 其他信息 deepseek1 10.119.165.139(万兆内网)10.119.85.

一、参考文档与信息说明 KTransformers 是由清华大学发起的一个项目，它利用 DeepSeek 模型的 MoE 架构特性，将专家模型的权重加载到内存上，并分配 CPU 完成相关计算，同时将 ML/KV Cache 加载到 GPU 上，从而实现 CPU+GPU 混合推理。这种方法能够在最大化降低显存占用的同时，保持一定的推理速度。KTransformers 项目旨在解决大模型本地

一、课程学习内容与打卡要求 https://www.datawhale.cn/learn/summary/107 二、正式课程内容 2.1 第一课 初识大模型 2.1.1 语言模型的发展 ChatPGT于2022年11月底上线，引爆全球关注。 image-20250311222953477 语言模型通常是指能够建模自然语言文本生成概率的模型 从语言建模到任务求解

一、参考文章 （1）RAG & 微调，我们应该如何选择？ 二、什么时候需要使用RAG，什么时候使用微调 要求/使用对象 RAG 微调 （1）要构建一个需要访问外部数据源的 LLM 应用程序 Y （2）应用程序需要专门的写作与回答风格（如客服）或与特定领域的语言和惯例深度一致 Y （3）抑制幻觉 Y

以下列举出了DeepSeek相关的、暂时需要较专业命令或专业操作的相关描述。常用的如文生普通的文字、图生成，不再列举。 其他的如文生视频、视频生文、视频生视频等自己暂时还未接触到，后续知道再补充。 一、文生思维导图 1.1 访问DeepSeek生成mk格式内容 image-20250308181858148 1.2 创建一个.txt文件 image-20250308

一、 微调本质 模型微调是从英文翻译过来的词语，原英文是”Fine-tuning“。 模型微调就是：通过特定领域数据对预训练模型进行针对性优化，以提升其在特定任务上的性能。 用通俗比方解释就是就是，如果预训练模型是一个厨艺不错的厨师，它已经有了大量的烹饪经验，掌握了很多知识和技能，但可能并不擅长做某个菜系（如湘菜）的菜，而只是会一些普通的家常菜。此时我们这个厨师提供了专门做湘菜的教程与训练（

一、文档说明与服务器准备 1.1 文档说明 这是一篇保姆级别的"微调DeepSeek-R1-Distill-Llama-8B模型"的操作文章，只要稍微懂点计算机软件知识就可以成功复现此文章中所述内容。 此文档中尝试微调DeepSeek-R1蒸馏模型比如1.5B，它仅靠CPU就能运行。 1.2 服务器与GPU准备 此次使用的服务器是一个x86_64构架的Hygon C86 5380物理服

2025年3月2日，今天白天天气不错。今天发点不一样的，因为这几天学习已经快抑郁了，趁着天气好出去放放风。前两天就听说长沙市几个地方的樱花已经盛开，比如望月公园。下午4点左右赶到望月公园，人流量挺大的。几乎所有人手里都着手机在拍照，拍摄对象主要是拍樱花与美女，拍摄方式有商拍、随拍、自拍。 很多人拿着相机在拍照，特别是随拍的美女，很多人直接就拍上了，看到被拍乐意被拍，我也成为拍摄对方中的一员。其中

一、PyTorch简介 1.1 PyTorch是什么 Ø 开源的机器学习/深度学习框架（ https://pytorch.org/ ） Ø 2017年1月，FAIR(Facebook AI Research)发布了PyTorch 0.1 Ø 它强调易用性和灵活性，并允许用深度学习领域惯用的 Python 来表示深度学习模型 Ø PyTorch 提供了一个核心数据结构—张量（Tensor