AI 服务可靠性：SLI、SLO 与错误预算

从用户体验定义好事件

SLI 是测量方式，SLO 是规定窗口内的目标。先定义哪些请求有资格计入，什么算好事件，数据来自哪里，再谈百分比。服务返回 200 但流中途失败，不能自动视为一次成功完成。

指标与口径

目标	可测指标	注意事项
请求可用	完成的好请求 / 有资格请求	取消、客户端错误和服务错误的计数约定需明确
响应速度	TTFT、完成延迟、符合阈值的比例	首字快不保证完成快；分位数和流量需一起看
检索时效	更新到可查的时间、旧版本命中	撤权/删除的阻断目标与普通更新可不同
工具可靠	经验证的成功动作 / 有资格动作	预览、尝试和真正完成分开
答案质量	固定或抽样评估的正确/证据支持率	质量指标不是单靠 HTTP 日志可测
恢复能力	故障检测、回滚、恢复数据的过程	目标需要演练，不能仅写配置承诺

“成功”“快速”“准确”可以分开设目标，必要时另测同时满足的比例。不要直接相乘它们，除非能支持独立性等假设。

原创错误预算手算

假设窗口内有 100,000 个有资格请求，完成率目标为 99.9%，允许 100 个坏请求；实际已有 80 个，则用了预算的 80%，剩 20 个。这里按请求计数，不能直接换成可停机分钟数。

若另外选择按时间计的可用性目标，分母和允许故障时长要独立定义；不能拿空闲时段的低失败数掩盖用户高峰故障。

告警与处置

关注用户影响及错误预算消耗，结合短/长窗口减少对瞬时波动的误判。一次告警应能关联发布、负载、依赖和版本。高负载时考虑限流、排队上限、取消或明确降级；返回仅检索资料的降级结果时标明状态，不能冒充完整生成答案。

发布冻结、回滚和恢复动作按事先约定的职责与门槛执行。复盘记录触发、影响、检测、恢复和改进，不把“增加一条监控”当作根因修复。

练习与完成标准

为自制知识助手定义两项 SLO，填写分子、分母、窗口、数据源、告警条件和处理负责人。设计断流、模型超时、索引延迟及错误发布四次演练；真实成绩留待实际执行。

复习问题

1. HTTP 成功为什么不一定是用户任务成功？
2. 请求错误预算与时间可用性预算能直接换算吗？
3. 为什么需要同时看短窗口和长窗口？

阅读依据

• 官方章节
• 官方章节
• 官方章节

2026-10-08：AI 助手协助原创组织知识点、手算和练习，核对原始资料；假设例子不作为性能或费用实测。