机器学习工作流：任务、数据与泛化

先定义要预测什么

监督学习使用输入与标签学习映射：回归预测连续值，分类预测类别。无监督学习寻找没有标签的数据结构，例如聚类。强化学习则根据行动后的奖励学习策略，不能与分类训练混为一谈。

以虚构工单为例，“预测处理时长”是回归，“是否需要升级”是分类，“按描述发现相似问题群”是聚类。先定义目标与错误成本，再选择模型。

工作流知识点

阶段	必须做的事	常见失败
定义任务	写输入、标签、决策时点与评价指标	训练目标与实际用途不同
检查数据	看缺失、重复、类别分布和标签来源	标签含噪或训练样本偏向某类
划分数据	区分训练、验证、最终测试	同一实体或未来信息泄漏到训练
处理特征	只在训练数据上拟合统计量，再变换验证/测试	全量数据标准化后才切分
建立基线	比较常量预测、简单规则或简单模型	没有参照就宣称复杂模型有效
选择与验证	在验证集调参，最终测试留到决策后	反复试测试集，结果过于乐观
错误分析	按场景、群体与错误类型拆分	平均分掩盖少数重要失败

时间相关任务优先按时间划分；同一用户、文档或设备有多个样本时，应检查是否需要按实体分组。划分方式是为了模拟真实使用条件，不是机械地随机切成三个比例。

指标示例

假设 100 条工单有 90 条普通、10 条需升级。始终预测普通的模型准确率为 90%，但升级类召回率为 0。准确率看起来不错，却完全漏掉需要处理的目标。

分类需理解 precision、recall、F1、混淆矩阵；回归需区分 MAE 与 MSE 对大误差的惩罚；聚类需结合稳定性和业务可解释性。不存在适合所有任务的单一指标。

练习与完成标准

为一个虚构工单任务写数据字典、划分理由与简单基线。列出一个泄漏字段，例如仅在结案后才知道的处理结果。手算上述多数类基线，并提出比准确率更适合升级任务的指标。这里是设计练习，未训练模型。

复习问题

1. 验证集和测试集分别支持什么决策？
2. 为什么同一文档的相邻片段可能导致数据泄漏？
3. 训练误差低而验证误差高时，应先检查什么？

阅读依据与核验范围

• 回归入门
• 分类入门
• 模型选择与泛化

2026-10-07：AI 助手协助原创整理，核对以上 GitHub 章节；示例与练习为本站设计，未执行的任务不作为实验结论。