面试官问：预训练和微调的区别？什么是 LoRA？

📚 参考：预训练与微调 | 模型量化

场景：面试官问"公司想定制一个客服模型，应该走预训练还是微调？LoRA 是什么？"

考察点：预训练与微调的区别、LoRA 原理、参数高效微调

详细信息

核心回答

大模型的训练分为两个阶段：

阶段	数据量	计算量	产出	类比
预训练	海量（TB 级）	极大（万卡 GPU）	基座模型	通识教育（小学到大学）
微调	少量（KB/MB 级）	较小	领域模型	职业技能培训

微调方式：
├── Full Fine-Tuning：更新全部参数（贵，需大量 GPU）
├── SFT（有监督微调）：用问答对训练，让模型学会"对话"
└── PEFT（参数高效微调）：只更新少量参数
    ├── LoRA：插入低秩矩阵，只训练这些小矩阵（最流行）
    └── QLoRA：LoRA + 量化，单张消费级 GPU 可微调 70B

LoRA 原理（简化）：

原始权重矩阵 W 冻结，在旁边插入 A×B（低秩矩阵），只训练 A 和 B
原始输出: h = Wx
LoRA输出: h = Wx + ABx

优势：训练参数量减少 ~99%，内存需求降低 ~90%

前端不需要微调模型，但需要理解这个概念，因为：

• 公司可能用 LoRA 微调私有模型做客服/代码审查
• 前端调用微调后的模型 API 做特定任务

面试回答要点

• 区分预训练（通识）和微调（专业）
• 知道 LoRA 是"冻结大模型，只加小插件训练"
• 能说出 QLoRA 让普通 GPU 也能微调大模型

来源：预训练与微调概念讲解