模型训练与对齐：从梯度到微调评估
理解训练、注意力、强化学习、SFT、LoRA 和偏好对齐，先建立数据和评估方案再考虑运行。
TOPIC / llm
大语言模型
从相关笔记、实验和原始资料开始，建立自己的理解。
学习路径
笔记与实验
Agent 轨迹学习 后训练与持续改进
从可验证失败定位改动，区分知识、指令、程序和参数更新，构造训练任务并使用独立回归与发布门禁。
已核验
LLM 训练与适配：预训练、SFT、LoRA 与对齐
把知识输入、任务学习和偏好优化分开，理解聊天模板、数据质量与微调评估。
已核验
AI 模型选型：先看任务，再比较模型
区分产品、模型、权重和服务；用任务、版本、数据边界与固定样本建立可复查的选型表。
已核验
NLP 任务建模：分类、标注、问答与生成
按任务区分文本表示、标签对齐和评价口径，不把所有语言任务都简化为聊天生成。
已核验
Transformer：注意力、位置与生成
看懂 Q、K、V 的作用、因果掩码与三类架构，并把训练并行和生成顺序分开理解。
已核验
Token 与上下文：先分清计量单位
Token 的切分由分词器决定。设计输入预算时，先确认模型与分词器，再把输入、历史和输出需求一起列出来。
已核验
原始资料
Hugging Face LLM 课程
Transformer、tokenizer、数据、语义检索、聊天模板、LLM 训练。选取具体章节作为学习依据，保留 GitHub 快照与复用边界。
huggingface 及课程/项目贡献者
Hugging Face 小模型微调与对齐课程
SFT、LoRA/PEFT、DPO、视觉语言模型。选取具体章节作为学习依据，保留 GitHub 快照与复用边界。
huggingface 及课程/项目贡献者
Hugging Face：文本怎样变成 token
从词、字符到子词，理解分词器与模型输入之间的关系。适合先建立 token 的概念，再阅读模型文档。
Hugging Face