Skip to content

05 · 反向传播 · 纠错收敛之道

学习状态:80分封存 · 待后续温故知新,逐步生长至99分


一、核心定义

反向传播是深度学习过程中,通过标签对照计算损失值,根据误差反向追溯, 能够自主调节权重的一种纠错机制,从而驱动神经网络持续学习收敛。 —— 0302,80 分封存版

反向传播,是神经网络的纠错机制,正向传播得出预测后,计算预测与目标之间的差距(Loss),再从输出层反向逐层传递误差,通过梯度下降,有方向地调整每层权重,不断迭代,直到Loss最小化。 —— 在自我总结后,衍 纠正版

二、完整学习闭环

1. 前向传播

  • ● 信号矩阵输入
  • ● 加权求和 + 激活函数
  • ● 以 pipe 形式层层传递推衍
  • ● 得出结果

2. 损失函数 Loss Function

  • ● 将结果与标签对照
  • ● 计算差距,得出损失值
  • ● 损失越大 → 答得越错
  • ● 损失越小 → 答得越准

3. 反向传播 Backpropagation

  • ● 沿误差反向追溯
  • ● 找到是哪一层、哪一个权重出了偏差
  • ● 对该权重进行微调

4. 梯度下降

  • ● 沿误差的坡度,往最低点一步步走
  • ● 脚下坡度 = 误差对权重的变化率
  • ● 循环往复,直到收敛

三、关键概念

概念说明
标签 Label训练数据的正确答案,机器的认知标准。图片 + 标签 = 一条训练数据
损失值 Loss答案与标签的差距,驱动反向传播的信号
收敛损失值不再下降,训练停止,模型学成
局部最优解 Local Minimum只缘身在此山中,以为到了山脚,实则是小低谷。随机梯度下降可部分应对

四、易经映射

机器学习易经映射
推衍得出结果推出乾卦 ☰
与标签对照,发现误差实际应是坤卦 ☷,差了六爻
反向追溯,找到偏差权重回头看哪一爻的权重设错了
梯度下降,微调权重微微调整那一爻
循环收敛再推、再对照、再微调,直到推出坤卦

五、昇哥的推导路径

用自己的认知结构,重新推导出了这个机制。 这不只是笔记,这是推导的痕迹。

昇哥的直觉对应机制
反馈是关键,课堂答错了老师会纠正损失函数
人类不可能干预,机器如何自主纠错?反向传播
反复确认,多条路径推衍同一结果梯度下降

六、优化空间(通往99分)

当前 · 80分

  • ● 完整描述了纠错机制
  • ● 涵盖:标签、损失值、反向追溯、自主调节

80分 → 90分的空洞

  • ● 追溯之后做了什么,尚未说清
  • ● 补充:微调权重(梯度下降)
  • ● 补充:循环收敛的过程

90分 → 99分

  • ● 待概念篇学习完后,温故知新,自然生长
  • ● 99分是知止的智慧——田获三品,不必穷追 ☴

"只有形式上的100分,我们不追求100分。 100分那刻,就是田获三品。" —— 昇哥