Phi-3-vision-128k-instruct 低代码集成在Dify中快速构建视觉AI工作流1. 开篇为什么选择Dify搭建视觉AI应用如果你正在寻找一种简单高效的方式来构建视觉AI应用但又不想陷入复杂的代码开发中那么Dify可能是你的理想选择。这个流行的AI应用开发平台让不懂编程的用户也能快速搭建智能工作流。今天我们要介绍的是如何在Dify中集成Phi-3-vision-128k-instruct模型——这是一个强大的视觉理解模型能够处理高分辨率图像并生成详细描述。通过本教程你将学会在Dify中配置模型API连接器构建接收图片输入并返回描述的工作流添加条件判断和后续处理节点整个过程不需要编写复杂代码只需要简单的拖拽和配置就能完成。让我们开始吧2. 准备工作部署模型与获取API2.1 模型部署首先你需要在星图GPU平台上部署Phi-3-vision-128k-instruct模型。这个步骤通常由IT团队完成如果你已经有部署好的模型实例可以直接跳到下一步。部署完成后你会获得一个API端点地址类似这样https://your-deployment-name.star-gpu.com/v12.2 获取API密钥大多数部署都需要认证才能访问API。你需要从部署平台获取API密钥通常是一串字母数字组合模型名称如phi-3-vision-128k-instruct把这些信息准备好我们将在下一步使用它们。3. 在Dify中配置模型连接器3.1 创建新应用登录Dify平台后点击新建应用选择工作流类型给你的应用取个名字比如图片描述生成器3.2 添加模型连接器在工作流编辑界面从左侧菜单找到模型连接器点击添加连接器选择自定义API类型在配置表单中填写连接器名称Phi-3-vision基础URL你的API端点地址模型名称phi-3-vision-128k-instruct认证方式Bearer TokenAPI密钥你获取的密钥保存后Dify会测试连接是否成功。如果一切正常你就可以在工作流中使用这个模型了。4. 构建图片描述工作流4.1 设置输入节点我们从最简单的流程开始——接收图片并返回描述从左侧拖拽输入节点到画布配置输入参数参数名image类型文件描述上传需要描述的图片4.2 添加模型调用节点拖拽模型调用节点到画布连接到输入节点选择我们之前配置的Phi-3-vision连接器配置调用参数{ messages: [ { role: user, content: [ { type: image_url, image_url: {{inputs.image}} }, { type: text, text: 请描述这张图片的内容 } ] } ] }4.3 添加输出节点拖拽输出节点到画布连接到模型调用节点配置输出格式{ description: {{model_output.choices[0].message.content}} }现在你已经完成了一个基本工作流点击测试按钮上传一张图片看看效果。5. 进阶添加条件判断与后续处理5.1 判断图片内容假设我们想根据图片内容决定不同的处理方式在模型调用节点后添加条件判断节点配置判断条件# 检查描述中是否包含人 if 人 in model_output.choices[0].message.content: return {contains_person: True} else: return {contains_person: False}5.2 添加分支处理从条件节点拖出两个分支为每个分支添加不同的处理节点例如对于包含人物的图片添加文本处理节点配置为生成更详细的人物描述{ messages: [ { role: user, content: 请详细描述图片中的人物特征{{model_output.choices[0].message.content}} } ] }对于其他图片添加文本处理节点配置为生成简短的标签{ messages: [ { role: user, content: 用3-5个关键词总结这张图片{{model_output.choices[0].message.content}} } ] }5.3 合并输出最后你可以添加合并节点将不同分支的结果统一配置最终输出格式6. 测试与部署6.1 全面测试工作流在发布前建议用不同类型的图片测试人物照片风景图片物体特写复杂场景检查每个分支是否按预期工作输出是否符合要求。6.2 部署应用测试通过后点击发布按钮选择部署环境开发/测试/生产设置访问权限Dify会生成一个应用URL你可以直接分享给用户嵌入到其他系统中通过API调用7. 总结与建议通过这个教程我们完成了一个完整的视觉AI工作流构建过程。从配置模型连接到设计复杂条件分支Dify的低代码方式让这一切变得非常简单。实际使用中你可能会发现更多优化空间。比如添加输入验证确保图片质量设计更精细的条件分支逻辑集成其他模型进行后续处理Dify的强大之处在于它的灵活性——你可以不断迭代和改进工作流而无需重写大量代码。对于想要快速构建AI应用但又缺乏开发资源的团队来说这无疑是一个高效的选择。如果你刚开始接触视觉AI应用开发建议先从简单的工作流开始逐步增加复杂度。Phi-3-vision模型的强大能力加上Dify的易用性应该能帮你快速实现各种创意想法。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。