一、参考文章 （1）RAG & 微调，我们应该如何选择？ 二、什么时候需要使用RAG，什么时候使用微调 要求/使用对象 RAG 微调 （1）要构建一个需要访问外部数据源的 LLM 应用程序 Y （2）应用程序需要专门的写作与回答风格（如客服）或与特定领域的语言和惯例深度一致 Y （3）抑制幻觉 Y （4）数据集有限时，微调效果有限，但RAG仍能保持一定知情

以下列举出了DeepSeek相关的、暂时需要较专业命令或专业操作的相关描述。常用的如文生普通的文字、图生成，不再列举。 其他的如文生视频、视频生文、视频生视频等自己暂时还未接触到，后续知道再补充。 一、文生思维导图 1.1 访问DeepSeek生成mk格式内容 image-20250308181858148 1.2 创建一个.txt文件 image-20250308182114534

一、 微调本质 模型微调是从英文翻译过来的词语，原英文是”Fine-tuning“。 模型微调就是：通过特定领域数据对预训练模型进行针对性优化，以提升其在特定任务上的性能。 用通俗比方解释就是就是，如果预训练模型是一个厨艺不错的厨师，它已经有了大量的烹饪经验，掌握了很多知识和技能，但可能并不擅长做某个菜系（如湘菜）的菜，而只是会一些普通的家常菜。此时我们这个厨师提供了专门做湘菜的教程与训练（一些特

一、文档说明与服务器准备 1.1 文档说明 这是一篇保姆级别的"微调DeepSeek-R1-Distill-Llama-8B模型"的操作文章，只要稍微懂点计算机软件知识就可以成功复现此文章中所述内容。 此文档中尝试微调DeepSeek-R1蒸馏模型比如1.5B，它仅靠CPU就能运行。 1.2 服务器与GPU准备 此次使用的服务器是一个x86_64构架的Hygon C86 5380物理服务器，具体信

2025年3月2日，今天白天天气不错。今天发点不一样的，因为这几天学习已经快抑郁了，趁着天气好出去放放风。前两天就听说长沙市几个地方的樱花已经盛开，比如望月公园。下午4点左右赶到望月公园，人流量挺大的。几乎所有人手里都着手机在拍照，拍摄对象主要是拍樱花与美女，拍摄方式有商拍、随拍、自拍。 很多人拿着相机在拍照，特别是随拍的美女，很多人直接就拍上了，看到被拍乐意被拍，我也成为拍摄对方中的一员。其中两

一、PyTorch简介 1.1 PyTorch是什么 Ø 开源的机器学习/深度学习框架（ https://pytorch.org/ ） Ø 2017年1月，FAIR(Facebook AI Research)发布了PyTorch 0.1 Ø 它强调易用性和灵活性，并允许用深度学习领域惯用的 Python 来表示深度学习模型 Ø PyTorch 提供了一个核心数据结构—张量（Tensor） Ø 类似

一、大模型是什么 将以国产大模型阿里巴巴公司推出的“通义千问”为例子进行演示。它需要提前注册账号（其实用支付宝或淘宝账号也能登录）比如用手机号进行注册登录。 image-20250225120223430 1.1 大模型的定义 起源：大语言模型（Large language Models，LLMs），围绕自然语言处理任务而创建的一系列模型。 发展：基础模型（Foundation Models

一、构建tensor 1234#一、构建tensor###PyTorch常用数据类型#官方教程： https://pytorch.org/tutorials/beginner/basics/tensorqs_tutorial.html#官方API文档： https://pytorch.org/docs/stable/index.html 12345678###张量（Tensor）：PyTorch网

一、可承接咨询或部署业务 声明 本人成功在4台服务器成功部署满血版DeepSeek-R1-671B，相关信息简介如下，现可承接咨询指导或部署业务订单，部署过程正在逐步优化完善，大家可相互一起学习。以下有部署成功后的相关内容展示。 满血版DeepSeek-R1-671B内容展示 Ray集群状态 image-20250226093654893 Production Metrics 1234567

安装Cuda之前需要保证NVIDIA驱动安装好。Cuda安装可参考NVIDIA官方文档：cuda-installation-guide-linux 123456789101112#服务器拿到手时，发现已经安装了Cuda11.5.119###如果要使用apt安装nvcc（此方式在Ubuntu22.04LTS上安装的是Cuda11.5.119）：sudo apt install nvidia-cuda