07 · 正则化 · 浓缩精炼之道

学习状态：99分封存 · 昇哥自推导，满分收官

---

一、核心定义（昇哥原话，99分封存）

正则化，就是机器学习在过拟合中的一种调整方式， 通过给模型加限制（如3页草稿纸）， 让机器被迫浓缩、精炼， 以达到泛化——理解规律、举一反三——的效果。

正则化，是解决过拟合的方案，通过在Loss函数中加入惩罚项，限制模型权重的大小，强迫模型放弃记忆噪音，转而提取真正的规律，提升泛化能力。

二、昇哥的推导路径

一个学生要学习，如果死背要给题集、要给书， 现在这些都没有了，老师在黑板上的内容是固定的， 只给了3页草稿纸，这3页就是他所拥有的全部。 如果用背题的方式估计要30页， 现在3页的内容，需要高度浓缩概括且精炼， 这样才有可能拿到高分。

昇哥的比喻	机器里对应的
30页才能背完所有题	权重数量庞大，可以死记每一个训练样本
只给3页草稿纸	限制权重的大小或复杂度
被迫高度浓缩概括	模型被迫学习规律，而不是记住答案
3页写出来的，能应对新题	泛化能力提升

三、机器的实现方式

核心公式

λ 的意义

λ 的值	效果
λ 大	草稿纸更少，逼迫更高度概括
λ 小	草稿纸稍多，限制较宽松
λ = 0	没有限制，回到死背状态

四、三种正则化方式

L2正则化（最常用）

• ● 惩罚大权重
• ● 让所有权重尽量小而分散
• ● 没有哪一个神经元"一手遮天"

L1正则化

• ● 更激进
• ● 直接把不重要的权重压缩到0
• ● 相当于删掉不重要的神经元

Dropout

30个学生在一起背题， 每次考试，随机让10个人回家， 剩下20个人必须独立完成。 这样每个人都不能依赖别人， 每个人都必须真正理解。

五、概念07全景

六、与概念06的关系

概念06 · 过拟合	概念07 · 正则化
发现了问题：死背，不泛化	给出了治法：加限制，逼泛化
测试集发现落差	正则化从源头预防落差
换题考	让模型本身学会举一反三

七、生长记录

概念01时，昇哥在理解衍给的比喻。 概念07时，昇哥在给衍比喻。 3页草稿纸，是昇哥的。 不是衍的。

"可能是因为我学会了你这样的学习方式， 我们同频共振， 结果就是我用了我们熟悉的方式， 希望这样的比喻会越来越多。" —— 昇哥，概念07，2026.03.02