场景案例

评估一个场景时先看什么

为业务场景设计 Modelink 接入方案时,建议先确认以下信息:

  1. 业务背景
  2. 输入与输出
  3. 推荐模型与能力
  4. 接入架构
  5. 权限与数据安全
  6. 成本估算
  7. 评估指标
  8. 常见风险与降级方案

常见场景

场景推荐能力评估指标
智能客服对话、知识库、工具调用命中率、转人工率、满意度、响应时间
知识库问答长上下文、检索增强、引用正确率、引用准确率、幻觉率
文档自动生成写作、摘要、模板化输出可读性、格式合规、人工修改量
数据分析助手工具调用、代码、结构化输出分析准确率、执行成功率、耗时
AI 写作与营销创意生成、多版本改写转化率、审核通过率、品牌一致性
教育与培训讲解、练习生成、个性化反馈学习完成率、答疑准确率
研发辅助代码生成、代码审查、调试采纳率、缺陷减少、测试覆盖
技术文档生成结构化写作、摘要、示例生成文档覆盖率、人工修改量、发布周期
智能搜索检索增强、重排、摘要命中率、点击率、答案满意度
短视频与内容生产脚本生成、字幕翻译、素材说明生产效率、审核通过率、播放转化
虚拟主播与陪伴助手对话、多模态、人格设定留存率、响应延迟、安全命中率
法律、医疗、金融辅助专业问答、文档分析、风险提示人工复核通过率、合规事件数、引用准确率
游戏 NPC角色对话、剧情生成、任务规划沉浸感、内容安全、生成稳定性
多 Agent 工作流工具调用、任务规划、审计任务完成率、人工接管率、可追踪性

实时数据场景

模型本身不一定掌握最新信息。需要实时数据时,可通过以下方式补充上下文:

  • 联网搜索获取新闻、政策、行情等公开信息。
  • MCP 工具连接业务数据库、工单、CRM 或文件系统。
  • 业务后端先获取实时数据,再将摘要提供给模型。
  • 对关键事实输出要求引用来源或人工确认。

示例:知识库问答链路

一个典型的知识库问答流程可以拆成:

用户问题
  -> 查询向量库或全文检索
  -> 取回 Top K 文档片段
  -> 拼接系统规则、用户问题和引用片段
  -> 调用 Modelink 模型生成答案
  -> 校验是否包含引用、是否命中安全规则
  -> 返回答案或转人工

评估时建议准备一组固定问题集,覆盖高频问题、边界问题、无答案问题和敏感问题。每次更换模型、Prompt、检索策略或知识库内容后,都用同一组问题回归。

示例:客服助手降级策略

优先级 1:命中知识库并生成可信答案
优先级 2:答案置信度不足时追问用户补充信息
优先级 3:模型超时或限流时返回兜底话术
优先级 4:涉及退款、投诉、隐私或合规问题时转人工

这种分层可以避免把所有问题都交给模型直接回答,也便于记录每个环节的命中率、转人工率和用户满意度。