DeepSeek 本地部署教程3
安装 Ollama:访问Ollama 官网,依据电脑操作系统类型,如 Windows、MacOS 或 Linux,选择对应的安装包下载并安装。安装完成后,打开电脑的命令提示符(CMD),输入 “ollama help” 验证安装是否成功。
下载并部署 DeepSeek 模型:再次访问 Ollama 官网,在搜索框中输入 “Deepseek-r1” 搜索,根据电脑硬件配置,参考模型大小配置参考表格,选择合适的模型规模,复制对应的下载命令。回到命令提示符窗口,粘贴命令并按下回车键开始下载。
配置可视化图文交互界面 Chatbox:打开浏览器,访问Chatbox 官网,可选择本地客户端和网页版两种使用方式,以网页版为例,点击 “使用自己的 API Key 或本地模型”,选择 “Ollama API”,根据教程配置 Ollama 远程链接,重启 Ollama 程序后,在 Chatbox 设置界面选择 DeepSeek 模型并保存,新建对话即可使用。
基于 DeepSeek 搭建 RAG 系统教程6
导入工具包:使用 Python 编写代码,导入 LangChain 用于处理文档和检索,Streamlit 用于做简单的网页界面等相关工具包。
上传 PDF:用 Streamlit 做上传按钮上传 PDF,然后用工具提取里面的文字。
把 PDF 切成小块:将 PDF 内容通过 SemanticChunker 进行切割,方便 AI 理解。
建 “知识库”:把切好的文字块转换成向量,存到 FAISS 数据库里,方便 AI 快速找到相关内容。
设置 AI 模型:使用 DeepSeek R1 模型来生成答案,设置只根据 PDF 内容回答,不知道就说 “我不知道”。
把整个流程串起来:将上传、切块、检索和生成答案的步骤整合为一个完整的系统。
做网页界面:用 Streamlit 做一个简单网页,用户可输入问题,系统实时返回答案。
DeepSeek 与 LLM 相关内容
DeepSeek 本身就是一种大型语言模型(LLM)。使用时,可通过其网页版或本地部署后的终端等进行交互,输入自然语言指令,让它完成文本生成、知识问答、推理计算、阅读理解等多种自然语言处理任务4。如在网页版输入问题,它会根据训练的知识和算法给出回答,在本地部署后通过命令行工具或第三方客户端软件与它进行交互对话,获取所需的信息和帮助。
DeepSeek 大模型微调教程11
环境设置和身份验证:安装依赖项,使用具有 GPU 访问权限的环境,运行pip install unsloth等命令安装 Unsloth 框架。登录 Hugging Face 和 Weights & Biases,安全检索 API Token 并进行初始化。
加载 Model 和 Tokenizer:使用具有 4 位量化的 Unsloth 加载蒸馏的 14B 模型 DeepSeek - R1 - Distill - Qwen - 14B,配置好相关参数。
预微调推理:使用法律推理提示等测试模型的基准性能,定义 Prompt 并运行推理,生成包含模型思路链和最终答案的响应。
准备训练数据:加载并格式化自定义的数据集,更新提示模板。
微调模型:使用准备好的数据对模型进行微调,可根据具体需求和框架设置相应的训练参数,如学习率、训练轮数等。
保存和部署微调后的模型:微调完成后,保存模型以便后续使用,可将微调后的模型部署到相应的环境中,如本地服务器或云端,供实际应用调用。
如何在基于DeepSeek搭建的RAG系统中微调大模型?DeepSeek模型可以应用在哪些领域?推荐一些其他的AI大模型教程
课程目录:
0.DeepSeek + RAGFlow 构建个人知识库The most popular courses