SmallThinker-3B-Preview一键部署教程基于Dify打造企业级AI应用平台想快速搭建一个属于自己公司的智能助手但又担心技术门槛太高、流程太复杂今天咱们就来聊聊一个特别省事的方案。你不用懂复杂的模型训练也不用写大段的后端代码只需要跟着几个简单的步骤就能把强大的SmallThinker-3B-Preview模型通过Dify这个平台变成一个能对话、能查资料、能写文案的智能应用。整个过程就像搭积木核心是利用星图GPU平台提供的一键镜像把模型服务先跑起来然后再用Dify这个“可视化操作台”把服务连接起来做成一个完整的应用。无论是想做个内部知识库问答机器人还是想搞个自动化的内容创作工具这个方法都能帮你快速实现。下面我就手把手带你走一遍。1. 准备工作与环境搭建在开始“搭积木”之前咱们得先把“积木块”准备好。这里主要需要两个东西一个能运行模型的后端服务和一个能编排应用的前端平台。1.1 理解核心组件咱们先花一分钟搞清楚要用的几个东西分别是干嘛的这样后面操作起来心里更有谱。SmallThinker-3B-Preview这是今天要用的“大脑”。它是一个参数规模为30亿的预览版大语言模型虽然在绝对能力上比不过那些动辄千亿参数的巨无霸但它在理解指令、生成文本、进行对话方面已经相当不错了关键是它对计算资源的要求友好得多部署和运行成本都更低特别适合中小企业或者想快速验证想法的团队。星图GPU平台的一键镜像这是给“大脑”准备的“身体”和“运行环境”。通常部署一个模型需要自己配置Python环境、安装各种依赖库、处理CUDA驱动等等非常麻烦。一键镜像把这些繁琐的步骤全都打包好了你只需要在平台上点一下一个已经配置好模型和API接口的服务就直接跑起来了省时省力。Dify这是咱们的“智能应用组装车间”。它是一个开源的LLM应用开发平台最大的特点就是可视化和低代码。你不需要写代码去调用模型的API只需要在网页上拖拖拽拽配置一下工作流程比如“用户提问 - 去知识库搜索 - 把搜索结果交给模型总结 - 返回答案”一个智能应用就搭建好了。它负责和前端的用户界面交互并调用后端的模型服务。简单来说流程就是用一键镜像启动模型服务提供API - 在Dify里配置这个API - 在Dify里用可视化方式搭建应用。1.2 启动模型服务获取API这是第一步也是最关键的一步。我们需要让SmallThinker模型作为一个网络服务运行起来并提供一个可以被Dify调用的API地址。登录星图GPU平台访问星图GPU平台使用你的账号登录。选择并创建实例在控制台找到“镜像”或“应用市场”相关区域搜索“SmallThinker-3B-Preview”。你应该能看到一个预置好的镜像。点击“部署”或“创建实例”。配置实例通常只需要选择一下合适的GPU机型对于3B模型中等配置的GPU就足够了然后设置一个实例名称。其他高级配置保持默认即可。一键部署点击确认或创建按钮。平台会自动为你创建一台云服务器并将包含SmallThinker模型及其API服务的镜像部署上去。这个过程可能需要几分钟。获取API地址实例创建并运行成功后在实例详情页你会找到一个访问地址或Endpoint。这个地址通常格式是http://你的实例IP:端口号/v1。请务必复制保存好这个地址比如http://123.45.67.89:8000/v1等下在Dify里就要用到它。到这里你的模型大脑已经在云端“活”过来了并准备好接收指令。2. 在Dify中配置模型供应商现在“大脑”已经在线了我们需要告诉Dify这个“组装车间”去哪里找到这个大脑。这一步就是在Dify里添加一个自定义的模型供应商。登录Dify访问你自己部署的Dify平台社区版可以自行部署也有云服务版用管理员账号登录。进入模型配置在左侧导航栏找到“模型供应商”或“Model Providers”并点击。然后点击页面上的“添加模型供应商”或“Add Model Provider”按钮。选择自定义类型在供应商列表中找到并选择“自定义”或“Custom (OpenAI-Compatible)”这一类。因为很多开源模型包括我们部署的SmallThinker都兼容OpenAI的API格式这样配置起来最简单。填写连接信息供应商名称可以起个容易识别的名字比如“SmallThinker-3B”。API Base URL这里粘贴你刚才从星图平台复制到的API地址例如http://123.45.67.89:8000/v1。API Key由于我们部署的简易服务通常没有严格的鉴权这里可以留空或者随意填写一个非空字符串如sk-dify。具体需要看你部署的镜像是否要求API Key一般基础镜像不需要。保存并测试填写完毕后点击保存。Dify通常会立即测试一下这个连接是否有效。如果看到“连接成功”或类似的提示那就说明Dify已经能够和你部署的模型服务对话了。3. 构建你的第一个可视化工作流配置好模型供应商好戏才算真正开场。现在我们可以在Dify里像搭积木一样构建智能应用了。这里以构建一个“知识库问答助手”为例。3.1 创建应用与选择类型创建新应用在Dify首页或应用列表页点击“创建新应用”。选择工作流在应用类型中选择“工作流”。这是Dify最强大的功能允许你通过可视化编排来实现复杂逻辑。命名应用给你的助手起个名字比如“产品知识小助手”然后点击创建。3.2 设计问答工作流你会进入一个画布界面左侧是工具节点区中间是编排画布。添加开始节点画布上通常已有一个“开始”节点。从左侧拖拽一个“知识库检索”节点到画布上并将其连接到“开始”节点之后。配置知识库点击“知识库检索”节点在右侧面板中你需要先关联一个知识库。点击“选择知识库”可以新建或选择一个已有的。新建知识库点击“创建知识库”输入名称如“产品手册”然后就可以上传文件了。支持TXT、PDF、Word、PPT等多种格式。上传后Dify会自动进行文本分割和向量化处理以便后续检索。在节点配置中可以设置检索模式如“向量检索”、返回的最相关片段数量等。接入大模型从左侧拖拽一个“LLM”节点到画布连接到“知识库检索”节点之后。配置LLM节点点击LLM节点在右侧面板的“模型”下拉框中你应该能看到之前配置的供应商“SmallThinker-3B”。选择它并选择一个具体的模型通常只有一个选项。在“提示词”区域编写系统指令。这是告诉模型如何扮演角色的关键。例如你是一个专业的产品支持助手。请严格根据用户的问题和提供的知识库上下文来回答问题。 如果上下文中有明确答案请用友好、清晰的语言总结并回答。 如果上下文中没有相关信息请如实告知用户你不知道不要编造信息。 上下文{context} 问题{question}注意{context}和{question}是变量它们会自动从上游节点知识库检索和用户输入传递过来。连接变量确保节点之间的连线正确。通常“知识库检索”节点的“内容”输出会作为变量{context}输入给LLM节点“开始”节点的“query”输出会作为变量{question}输入给“知识库检索”和LLM节点。添加输出最后从左侧拖拽一个“回答”节点连接到LLM节点之后用于将模型的回复最终返回给用户。至此一个最简单的“检索-增强生成”流水线就搭建好了用户提问 - 从知识库找相关段落 - 把问题和段落一起交给SmallThinker模型 - 模型生成答案 - 返回给用户。3.3 测试与调试保存工作流点击右上角的“保存”。对话测试在画布右上角点击“对话测试”或“预览”。在右侧弹出的聊天窗口输入一个问题比如“你们产品的高级版有什么功能”。系统会运行整个工作流并返回答案。调试如果答案不理想你可以检查几个地方知识库文档是否上传并处理成功检索出的上下文是否相关提示词的指令是否清晰明确。你可以调整检索参数、优化提示词直到获得满意的效果。4. 发布应用与进阶玩法工作流测试通过后就可以把它变成一个真正的应用了。发布应用在应用概览页找到“发布”选项。你可以选择发布为Web网页应用生成一个可分享的链接也可以集成到你的企业微信、飞书等办公软件中还可以通过API的方式被你自己的业务系统调用。进阶工作流示例文本创作助手除了知识库问答Dify工作流还能做很多事。比如我们可以构建一个“多轮润色”的文本创作助手。工作流设计开始 - LLM根据简短指令生成初稿- 人工审核或条件判断- LLM根据反馈进行润色/扩写/缩写- 回答。在这个流程中你可以配置两个LLM节点第一个用于“创作”第二个用于“修改”。你甚至可以在中间加入一个“变量赋值”节点让用户选择是“扩写”还是“翻译成英文”从而实现更灵活的功能。整个流程走下来你会发现最复杂的模型部署部分被“一键镜像”解决了最需要编程能力的应用逻辑编排部分被Dify的“可视化工作流”解决了。你只需要专注于两件事准备你的业务数据比如知识库文档以及设计符合业务需求的交互逻辑通过提示词和工作流。5. 总结通过星图GPU平台的一键镜像和Dify的低代码平台部署和集成一个像SmallThinker-3B-Preview这样的企业级AI应用已经变得非常直观和高效。这种方法的核心优势在于解耦和可视化模型服务独立部署、稳定运行应用逻辑通过图形界面灵活编排、快速迭代。对于企业来说这意味着可以更低的成本、更快的速度将AI能力落地到实际业务场景中无论是内部效率工具还是对外客户服务都有了可行的技术路径。当然这只是一个起点你可以基于这个框架去探索更复杂的工作流、集成更多的工具如联网搜索、数据库查询打造出真正贴合你业务需求的智能体。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。