写点什么

Dify 入门篇(3)| 配置你的第一个 LLM:OpenAI/Claude/Ollama

  • 2025-08-13
    黑龙江
  • 本文字数:1602 字

    阅读完需:约 5 分钟

Dify 入门准备篇:配置你的第一个 LLM:OpenAI/Claude/Ollama

无需代码基础,3 种方案任选,5 分钟让大模型为你所用!本文手把手教你打通 Dify 的“模型网关”,无论是云端 API 还是本地私有模型,从此无缝调用。


一、配置前必知:Dify 的模型网关设计

Dify 通过统一接口层屏蔽底层模型差异,无论接入何种模型,上层应用无需修改:


graph LR    A[你的应用] --> B(Dify模型网关)    B --> C1(OpenAI-Cloud)    B --> C2(Claude-Cloud)    B --> C3(Ollama-Local)
复制代码


测试开发全景图:人工智能测试、智能驱动、自动化、测试开发、左移右移与DevOps的持续交付

二、方案 1:接入 OpenAI(云端 API)

适合场景:快速验证 · 需要 GPT-4 等高级模型

操作步骤:

  1. 获取 API Key

  2. 👉 登录 OpenAI平台 → 点击「Create new secret key」

  3. Dify 控制台配置


   路径:设置 → 模型供应商 → OpenAI → 填写:   - 模型类型:OpenAI   - API Key:sk-xxx(粘贴刚才复制的密钥)   - 模型名称:gpt-4-turbo(按需选择)
复制代码



  1. 测试连通性

  2. 点击「测试」 → 看到绿色 ✅ 即成功


三、方案 2:接入 Anthropic Claude(云端 API)

适合场景:处理超长文本(200K 上下文)

关键步骤:

  1. 申请 Claude 访问权限

  2. 👉 登录 Anthropic控制台 → 创建 Key

  3. Dify 特殊配置


   模型类型:Anthropic   API Key:sk-ant-xxx   模型:claude-3-haiku-20240307(性价比首选)   # 必填高级参数:   Custom Model Name:claude-3-haiku(自定义名称)
复制代码


四、方案 3:接入 Ollama 本地模型(私有部署)

适合场景:数据敏感 · 零成本调用开源模型

操作流程:

步骤 1:部署 Ollama 服务
# 在Dify同一服务器安装Ollamacurl -fsSL https://ollama.com/install.sh | sh
# 下载中文优化版Qwen1.5(4B量化版)ollama pull qwen:4b-chat
复制代码
步骤 2:修改 Dify 的 docker-compose.yaml
# 添加Ollama服务services:  ollama:    image: ollama/ollama    ports:      - "11434:11434"    volumes:      - ollama:/root/.ollama
# 确保dify-ai与ollama同网络networks: default: name: dify-network
复制代码
步骤 3:重启服务并配置
docker-compose down && docker-compose up -d
复制代码


控制台配置


模型类型:OpenAI(兼容协议)  API Base:http://ollama:11434/v1  # 关键!容器内通信模型名称:qwen:4b-chat  # 与Ollama拉取名称一致API Key:留空
复制代码


五、避坑指南:高频问题解决方案

❌ 错误 1:Error: Incorrect API key provided

  • 检查点

  • OpenAI/Claude 密钥是否过期

  • Claude 需在高级参数填写Custom Model Name

❌ 错误 2:Connection refused to http://ollama:11434

  • 排查步骤

  • 执行 docker network inspect dify-network 查看容器互通状态

  • 在 dify-ai 容器内测试:


     docker exec -it dify-ai curl http://ollama:11434     # 应返回 {"status":"success"}  
复制代码

❌ 错误 3:模型列表为空

  • 解决方案

  • 在「模型供应商」页面 → 点击「同步模型」按钮


六、模型性能实测对比(RTX 3060 12GB)


提示:日常测试推荐 Haiku,生产环境用本地 Qwen 更安全


七、进阶技巧:自由切换多模型

场景:根据请求自动选择最优模型

graph TD    A[用户请求] --> B{问题类型}    B -->|简单问答| C[调用本地qwen:4b]    B -->|复杂推理| D[调用GPT-4]    B -->|长文档| E[调用Claude]
复制代码


配置方法


  1. 工作流中添加「路由节点」

  2. 设置条件规则:


   if "总结" in input_text:         use_model = "claude-3-haiku"   elif "代码" in input_text:        use_model = "gpt-4-turbo"   else:        use_model = "qwen:4b-chat"
复制代码


测试开发全景图:人工智能测试、智能驱动、自动化、测试开发、左移右移与DevOps的持续交付

结语:从此告别模型绑定

通过 Dify 的模型网关,你可以:


随时切换:GPT/Claude/本地模型一键替换


动态路由:根据场景智能调度最优模型


成本可控:混合使用云端与本地资源


下一步行动


  1. 尝试在「提示词工坊」测试不同模型效果

  2. 为客服机器人绑定 Qwen 本地模型

  3. 探索模型市场 的 100+预置方案


用户头像

社区:ceshiren.com 微信:ceshiren2023 2022-08-29 加入

微信公众号:霍格沃兹测试开发 提供性能测试、自动化测试、测试开发等资料、实事更新一线互联网大厂测试岗位内推需求,共享测试行业动态及资讯,更可零距离接触众多业内大佬

评论

发布
暂无评论
Dify入门篇(3)| 配置你的第一个LLM:OpenAI/Claude/Ollama_人工智能_测吧(北京)科技有限公司_InfoQ写作社区