背景与机会
直播场景中,用户需要更低成本地获取赛程、赛况、球员与内容推荐信息;现有入口割裂,模型回答也缺少稳定的意图路由与结果口径。
产品与模型决策
先把问题拆成主动触达、推荐问题、自由问答和赛报,再为快速问答、赛事查询、内容推荐配置不同能力路由。对可规则化的问题优先走稳定链路,对开放问题交给模型并提供异常兜底。
评测与风险控制
构建覆盖 8 大领域、20+ 细分意图的评测集,基于 10,000+ 条用户数据构建基础评测集;推动 Trace 诊断链路建设,定位意图识别与知识回答问题,优化 Prompt,并协助算法优化 Skill 和 MCP 调用。
推进与个人贡献
负责完整 PRD、交互承接、数据埋点和多角色协同;将 Prompt、Workflow、知识库召回与 Skill/MCP 调用链路纳入同一迭代闭环。
结果与复盘
问答准确率提升 12%,推荐问点击率提升 15%,基础评测集知识回答达到率达到 90%。核心经验是:AI 产品指标必须能定位到具体链路,而不是停留在整体满意度。