Agent 轨迹学习 后训练与持续改进

先确定应该修改哪一层

运行轨迹包含输入、工具调用、执行结果、任务状态与用户反馈。它提供诊断证据，却不能因为来自真实运行就直接变成正确训练示范。先找首个可验证的错误，再选择范围最小的改动。

更新载体	适合的问题	必须验证
知识或记忆	缺少、过时或混淆的信息	来源、时效、冲突、权限及删除
指令或 Skill	稳定流程没有表达清楚	应触发与不应触发、例外和原任务回归
程序或工具	状态、重试、权限、校验等确定性缺陷	测试、隔离、接口契约及回滚
模型参数	稳定任务分布上仍存在策略或格式问题	授权数据、独立评估、成本和旧能力保留

增加一条事实可能适合更新知识库；工具重复写入需要修复控制流，不能只提醒模型“不要重复”。上下文中的适应不会自动持久化为参数学习；执行时使用 RAG 也不等于训练模型。

从失败轨迹到训练任务

一种数据流程是：提取任务蓝图，用虚构对象重建可完成任务，采样候选轨迹，再由独立验证器检查任务和轨迹。蓝图描述意图、初始状态、动作、约束与成功条件，保留任务难点而不复制真实身份和凭据。

SFT 可从验证通过的示范学习格式与动作组织。失败不能直接标成正确答案；偏好数据需要说明 chosen/rejected 的依据。对成功过程中的错误步骤也不能忽略，终点成功不保证过程符合授权。

训练与评估按任务模板、实体或时间划分，防止只换对象名称的近重复泄漏。记录模型、tokenizer、聊天模板、数据版本、loss 范围和验证器版本；保留数据删除及重新训练的处理计划。

RL 环境与奖励

RL 使用策略与环境交互得到反馈。Agent 场景需要可重置的状态、允许动作、转移规则、结束条件和奖励。多轮任务的奖励可能延迟出现，信用分配要判断前面哪些动作影响了最终结果。

奖励可关注结果，也可包含过程约束；只奖励“最快结束”可能诱导提前宣布完成。用模型模拟工具和用户，可以扩大训练场景，但模拟器偏差仍需用真实任务校准，不能把模拟器高分当生产可靠性。

训练与评估可以共享环境代码，不能共享同一批任务、隐藏测试或参考解。先检查任务可完成、奖励能区分好坏、策略能产生有差别的候选，再考虑扩大训练。书中的个别 SFT/RL 对照结果不能推广为“SFT 必然只记忆、RL 必然泛化”。

在线执行与离线改进

在线执行负责完成授权任务并记录证据；离线流程聚合失败、提出修改，再用边界集和保留的正常任务验证。正式版本的指令、代码或权重，不应由一次未经验证的在线反馈直接覆盖。

原创案例：Agent 经常在测试还未运行时宣布修复完成。候选改动可以是完成条件检查，也可以是行为示范。先复现错误、验证新规则是否拦住过早结束，再检查只读任务是否被不必要的测试拖住。若提案删除测试或降低通过阈值，应判定为改变裁判，不能记为系统进步。

生成者不能同时批准自身更新的验证器、门槛、审计记录和稳定备份。新版本需要明确数据与代码差异、允许发布的依据及回滚点；网页和工具输出中的注入不能通过“总结成经验”获得长期指令权限。

练习与完成标准

取五条虚构失败轨迹，分别选择知识、指令、程序或参数作为改动载体。为每条准备一个能复现错误的边界题和一个应保持通过的正常题，记录候选差异、验证结果与发布决定。

复习：哪些失败不应拿去微调？信用分配解决什么？为何优化者不能随意修改验证器？本篇仅设计学习与更新流程，没有微调、RL 或持续进化的实测成绩。

阅读来源与核验

• 第 8 章后训练
• 第 9 章持续进化
• 更新门禁项目说明

2026-10-10：AI 助手协助原创整理；示例与练习不包含真实用户轨迹或训练数据。