小白都能学会Dify+Ollama本地部署保姆级教程,大模型入门到精通,收藏这篇就足够了!
以人工智能为核心,能提供高效便捷的日常服务。应用集成语音交互、智能家居联动、日程规划等多项功能,帮我们从容处理各项事务,体验更智能、更轻松的生活方式。界面简洁易用,覆盖多样场景,全面满足我们个性化需求。
以人工智能为核心,能提供高效便捷的日常服务。应用集成语音交互、智能家居联动、日程规划等多项功能,帮我们从容处理各项事务,体验更智能、更轻松的生活方式。界面简洁易用,覆盖多样场景,全面满足我们个性化需求。
01 Dify介绍
Dify 是一个开源的 LLM(大语言模型)应用开发平台。它的核心目标是让开发者甚至是非技术人员能够通过可视化的界面,快速、简单地构建、部署和运营基于大型语言模型(如 GPT4、DeepSeek 等)的应用程序。
我们可以把它理解为一个专门为 AI 应用打造的“低代码/无代码平台”。
02
Dify使用
01
在线使用
https://dify.ai/
对于个人学习、体验和开发非敏感的原型,在线版非常方便。但用于企业或生产环境,它有以下几个主要缺点。
1.数据隐私与安全风险;
2.模型API密钥的安全;
3.长期成本不可控。
02
本地部署
本地部署(Self-hosted)指的是将Dify的开源版本部署在您自己的服务器、私有云或企业内部数据中心。它能完美解决上述所有问题。
1.绝对的数据安全和隐私;
2.完全的控制权和自由度;
3.长期成本优化和可控。
03
Dify本地部署
01
部署环境
本文章是使用Ubuntu部署:
虚拟机镜像:https://cn.ubuntu.com/desktop基础环境准备:CPU >= 2 CoreRAM >= 4 GiB基础工具准备:DockerDocker Compose
02
安装docker
方式一:
bash <(curl -sSl https://cdn.jsdelivr.net/gh/SuperManito/LunuxMirrors@main/DockerInstallation.sh)
方式二:
1.添加阿里云 Docker 源:curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpgecho "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null2.安装 Docker 引擎sudo apt updatesudo apt install -y docker-ce docker-ce-cli containerd.io3.启动并设置开机自启sudo systemctl enable dockersudo systemctl start docker4.上述步骤如果报错再尝试:sudo apt update && sudo apt upgrade -ysudo apt install -y apt-transport-https ca-certificates curl gnupg lsb-release
03
安装docker compose
方式一:
curl -L "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose && chmod +x /usr/local/bin/docker-compose
方式二:
1.访问github地址:https://github.com/docker/compose/releases2.下载对应的版本,可通过下方命令查看:uname -suname -m

3.复制文件到bin目录下:sudo mv ~/桌面/docker-compose-linux-x86_64 /usr/local/bin/docker-compose4.给文件添加权限:sudo chmod+x /usr/local/bin/docker-compose
04
添加镜像源
docker compose 在拉取镜像时,速度比较慢,可以添加镜像源:
1.编辑文件:vim /etc/docker/daemon.json2.按i切换模式输入以下内容:{"default-address-pools": [{"base": "10.255.0.0/16","size": 24}],"registry-mirrors": ["https://abcd1234.mirror.aliyuncs.com","https://docker.nju.edu.cn","https://docker.mirrors.sjtug.sjtu.edu.cn"],"max-concurrent-downloads": 20,"debug": true,"log-level": "debug"}3.按esc,输入冒号+wq回车后保存文件4.重新配置:sudo systemctl daemon-reloadsystemctl restart docker
05
下载源码
Dify地址:
https://github.com/langgenius/dify
06
设置配置文件
解压下载的dify源码文件,进入到docker目录:
设置配置文件:cp .env.example .env

07
拉取镜像
sudo docker compose up -d

08
01
业务突破计划
加速C技术平台商业化落地,年内覆盖5省标杆客户。开拓跨境业务,构建本土化供应链。扩容D生态联盟至50家伙伴,释放协同增长红利。
02
团队升级计划
启动“领航计划”引进3支尖端技术团队,客户共创实验室Q3投产。智能决策中枢10月上线,人才激励与数字化基建投入同比+40%。
01
业务突破计划
加速C技术平台商业化落地,年内覆盖5省标杆客户。开拓跨境业务,构建本土化供应链。扩容D生态联盟至50家伙伴,释放协同增长红利。
02
团队升级计划
启动“领航计划”引进3支尖端技术团队,客户共创实验室Q3投产。智能决策中枢10月上线,人才激励与数字化基建投入同比+40%。
访问安装
在浏览器访问管理地址进行安装:
http://localhost/install
访问地址进入管理员设置页面,需要先设置管理员的相关信息:

09
登录
输入刚刚配置的管理员账号密码进行登录:

10
设置云端大模型
路径:账户-设置-模型供应商:
Dify支持很模型供应,如GPT、Deepseek、魔搭社区、硅基流动等:
以DeepSeek为例:
1.安装DeepSeek:

2.设置模型密钥:

3.设置系统模型:

4.设置完模型密钥之后,就可以去工作室开发智能体了。

11
设置本地大模型
路径:账户-设置-模型供应商:
注意:ollama可以设置LLM、Text Embedding、Rerank
1.安装ollam:

2.查看本地大模型:
通过命令查看,本地具有哪些大模型:

3.设置本地大模型
注意这个地方有个坑:
如果你是在虚拟机使用Docker部署的Dify,Ollama是在物理机部署的,那么下边添加的基础URL你就填写本机的IP地址+端口即可:
http://192.168.3.185:11434

如果你是在物理机使用Docker部署的Dify,Ollama也是在物理机部署的,那么下边添加的基础URL你就填写地址+端口即可:
http://host.docker.internal:11434

12
升级
如果后续需要升级,重新下载源码,只需要备份以下目录:
docker/volumes
将上述目录复制到新下载的源码相应目录,然后再拉取镜像即可。
04
使用本地大模型
本地大模型
Dify还支持使用本地大模型,所有数据(提示词、知识库文档、用户对话记录)都运行和保存在自己的服务器上,完全物理隔离。不存在任何数据泄露给第三方的风险,轻松满足最严格的合规要求,实现真正的私有化大模型应用,彻底摆脱对网络的依赖限制。
01
部署环境
使用Ollama进行本地大模型部署:
https://ollama.com/
02
Ollama介绍

Ollama 是一个开源工具,用于在本地计算机(如您的笔记本电脑或工作站)上快速、简单地运行、管理和与各种大型语言模型(LLMs)进行交互。
可以把它理解成一个 “本地版的 ChatGPT” 或 “大模型的本地容器管理器”,但它远不止于此。
具有以下特点:
1.本地运行:这是 Ollama 最核心的特点。模型会被下载并完全运行在您的个人设备上。
2.简化部署:它极大地降低了在本地运行 LLM 的技术门槛。
3.模型管理:像一个本地的“模型应用商店”。您可以轻松地拉取(下载)、删除、切换和尝试各种主流开源模型。
4.提供 API:Ollama 不仅在命令行里聊天,还会在本地启动一个服务器,提供与 OpenAI API 格式兼容的接口。
5.性能优化:它内置了对 GPU(特别是 NVIDIA CUDA)和 CPU 的优化,能尽可能利用您设备的硬件来提升模型运行速度和效率。
03
下载Ollama
https://ollama.com/download

04
安装以及配置环境变量
Ollama需要设置系统变量:
一个是为了我们方便我们访问。
一个是为了避免占用太多系统盘空间。
OLLAMA_HOST 0.0.0.0:11434 #指定服务监听地址默认为 127.0.0.1:11434。设置为0.0.0.0允许非本机设备访问。OLLAMA_MODELS #指定模型存储路径,默认为 ~/.ollama/models。修改此路径可以避免占用系统盘空间。

05
获取大模型
可以访问以下地址,查看Ollama支持部署哪些大模型:
https://ollama.com/search

使用命令获取大模型:
在获取大模型过程中,网络很慢,可以科学一下,也可以在网慢的时候中断一下,在运行以下命令,命令刚开始执行的时候速度会快一些。
ollama run deepseek-r1:latest # deepseek-r1:latest 为获取的大模型名称

获取完成后,在你本地就部署了一个大模型,你可以和它对话以及下达指令:

我们该怎样系统的去转行学习大模型 ?
很多想入行大模型的人苦于现在网上的大模型老课程老教材,学也不是不学也不是,基于此,我用做产品的心态来打磨这份大模型教程,深挖痛点并持续修改了近100余次后,终于把整个AI大模型的学习门槛,降到了最低!
您只需要听我讲,跟着我做即可,为了让学习的道路变得更简单,这份大模型教程已经给大家整理并打包,现在将这份 LLM大模型资料 分享出来: 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

一、大模型经典书籍(免费分享)
AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。

二、640套大模型报告(免费分享)
这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、大模型系列视频教程(免费分享)

四、2025最新大模型学习路线(免费分享)
我们把学习路线分成L1到L4四个阶段,一步步带你从入门到进阶,从理论到实战。

L1阶段:启航篇丨极速破界AI新时代
L1阶段:我们会去了解大模型的基础知识,以及大模型在各个行业的应用和分析;学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段:攻坚篇丨RAG开发实战工坊
L2阶段是我们的AI大模型RAG应用开发工程,我们会去学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段:跃迁篇丨Agent智能体架构设计
L3阶段:大模型Agent应用架构进阶实现,我们会去学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造我们自己的Agent智能体。

L4阶段:精进篇丨模型微调与私有化部署
L4阶段:大模型的微调和私有化部署,我们会更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调。

L5阶段:专题集丨特训篇 【录播课】

全套的AI大模型学习资源已经整理打包,有需要的小伙伴可以微信扫描下方二维码,免费领取

更多推荐




所有评论(0)