笃行
首页
个人 & 心法
互联网/硬件后台
游戏基础架构
UE 引擎
游戏业务
AI / 大模型
数据结构与算法
机器学习数学
通用基础
GitHub
首页
个人 & 心法
互联网/硬件后台
游戏基础架构
UE 引擎
游戏业务
AI / 大模型
数据结构与算法
机器学习数学
通用基础
GitHub
  • 向量入门

    • 看得见的机器学习数学
    • 向量是什么
    • 向量的加减与数乘
    • 线性组合与张成
  • 矩阵与变换

    • 矩阵是一次变换
    • 矩阵乘法
  • 度量与求解

    • 行列式与面积
    • 解方程组就是倒着走回去
    • 特征向量的直觉
    • 点积与相似度
  • 高维与结构

    • 高维空间的直觉
    • 正交基与投影
    • 秩与低秩
    • 长度与归一化
    • 线性与非线性
  • 概率与信息

    • 概率分布与采样
    • 期望与方差
    • 指数与 softmax
    • 对数与信息量
    • 交叉熵
  • 学习与优化

    • 导数就是坡度
    • 梯度下降
    • 链式法则与反向传播

站在山坡上:往前迈一小步,是上坡还是下坡

你被蒙住眼睛放在山坡上。看不见山谷在哪,但你能做一件事:用脚往前探一小步,感觉一下地面是抬起来了还是沉下去了,抬沉得厉害不厉害。

🧠 一句话结论

导数就是坡度:往前挪一丁点,高度变了多少,两者一除就是这一点的陡峭程度。往上是正,往下是负,平地是 0。它描述的是"在这一点上地势往哪边斜、斜得多厉害",跟这一点本身有多高完全没关系。


场景问题

学校组织爬山,你和同学在半山腰走散了。天黑下来,雾也起来了,你什么都看不见。

手机没信号,但你知道一件事:营地在山谷底下。所以只要一路往低处走,早晚能走到。

问题是,伸手不见五指,怎么知道哪边是低处?

你想了个办法:用脚往前探一小步。

  • 脚落下去感觉抬高了——前面是上坡,方向不对
  • 脚落下去感觉沉下去了——前面是下坡,就往这边走
  • 而且沉得越猛,说明坡越陡,走起来越快下到谷底

这个"往前探一小步,看高度变多少"的动作,就是这一篇的全部内容。它有个正式名字叫导数,但你脑子里可以一直管它叫坡度。

实现方案

坡度 = 高度变化 ÷ 前进距离

先把"探一步"这件事量化。

你往前走了 2 米,地势升高了 1 米。这段路有多陡?

升高 1 米 ÷ 前进 2 米 = 0.5。 每往前走 1 米,抬高半米。

换一段路:往前 2 米,升高 4 米。那就是 4 ÷ 2 = 2,每往前 1 米抬高 2 米——陡多了,得手脚并用。

坡度=高度变化前进距离\text{坡度} = \frac{\text{高度变化}}{\text{前进距离}} 坡度=前进距离高度变化​

这行的意思是:往前走一段,看看高度变了多少,两个数一除,就是这段路的陡峭程度。

这个数有正有负,含义很直接:

坡度意思
正数,越大越大上坡,数越大越陡
0平地
负数,越小越小下坡,数越负越陡

蒙眼下山的你要找的,就是坡度为负、而且负得最多的那个方向。

把那一步缩得很短

上面那个算法有个不精确的地方:它算的是"这一段路"的平均陡峭程度,不是"你脚下这一点"的陡峭程度。

山坡是弯的。你往前走 2 米,这 2 米里可能前半段平缓、后半段陡峭,算出来的 0.5 是个平均值,跟你脚下那一点到底多陡,可能差不少。

怎么办?把那一步缩短。

紫色点不断向橙色点靠拢,那条直线越来越贴住曲线两点挨得够近时,这条直线的斜度就是橙点这一处的坡度你站的位置

盯住这个动画:紫色点一路向橙色点靠拢,两点连成的那条直线越来越贴住曲线。等两点挨得足够近,这条直线就正好"贴"在橙点这一处——它的斜度,就是你脚下那一点真正的坡度。

导数就是这么来的:把那一步缩得非常短,短到"这一段的平均陡峭"和"这一点的陡峭"没差别为止。

这里不需要任何复杂的说法。就一句话:步子迈得越小,量出来的坡度就越接近你脚下这一点的真实情况。

同一条山坡,不同位置坡度不同

一条山坡不是从头到尾一个陡峭程度。坡度是"每个位置各有一个"的东西,走到哪儿算哪儿。

陡上坡坡度是正的、很大山顶:坡度 = 0陡下坡坡度是负的同一条山坡,三个位置三种坡度

同一条曲线上:左边那点是陡上坡(坡度是个较大的正数),山顶那点是平的(坡度 0),右边那点是陡下坡(坡度是负数)。

所以"这条曲线的坡度是多少"这个问题问得不对,得问"这条曲线在哪一点的坡度是多少"。

坡度 0 不一定是山顶

上图里山顶那点坡度是 0,很容易顺手记成"坡度 0 = 到顶了"。

不对。坡度 0 只说明"这一点是平的",平的地方有好几种:

山顶谷底半山腰的平台这三处坡度都是 0,含义完全不同"脚下是平的"只说明这一点平,说明不了你在整座山的哪儿

三处坡度都是 0:山顶、谷底、半山腰上一小段平台。"脚下是平的"只说明这一点平,说明不了你在整座山的什么位置。

这件事在下一篇会变成一个很实际的麻烦:蒙眼下山的人走到一处平地就没方向了——他分不清自己是到了谷底,还是只是踩在半山腰的一块平台上。

为什么这么做

为什么要用"往前一小步"来定义坡度,而不是直接看这一点?

因为单看一个点,什么坡度也看不出来。坡度描述的是"变化",而变化必须有两个位置才能比较。你站着不动,感觉不到地是斜的;往前挪一挪,高度差才显出来。

为什么要把那一步缩得很短?

因为山坡是弯的,一大段路的平均陡峭程度跟你脚下那一点可能差很远。步子缩得越短,量出来的越贴近这一点的真实情况。短到差别可以忽略,那就是这一点的坡度。

为什么坡度这么有用?

因为它把一个抽象的问题——"我该往哪走"——变成了一个能在原地测出来的数。蒙着眼睛看不见谷底在哪,但脚下的坡度随时可以探出来。不用看清全局,也能走对下一步。 这正是下一篇整套办法的立足点。

为什么别的选择不行

错误直觉一:把坡度当成高度

"这一点海拔 800 米,那坡度也该挺大吧?"

这两件事毫无关系。 高原上一片平地,海拔 4000 米,坡度是 0;一个小土坡才 3 米高,侧面陡得能滑下来,坡度大得很。

高度说的是"你在哪儿",坡度说的是"往哪边斜、斜得多厉害"。 混在一起的后果很具体:你会以为"损失值很大"就等于"改进空间很大",其实损失大也可能卡在一片平地上,动都动不了。

错误直觉二:以为坡度为 0 就是到顶或到底

坡度 0 只说明这一点是平的。山顶是平的、谷底是平的、半山腰的一块平台也是平的——三种情况坡度全是 0,处境天差地别。

这个混淆在下一篇会变成实实在在的麻烦:一个蒙眼下山的人走到平地就不动了,可他压根不知道自己是真到谷底了,还是只是站在半山腰的一块石板上。

错误直觉三:以为曲线位置越高,坡度就越大

想想登山道就明白了:越接近山顶,路往往越平缓;反而是半山腰那段,海拔不算高,坡陡得让人腿软。

坡度只跟"这一点附近往哪边斜"有关,跟这一点绝对高度多少毫无关系。 同一个高度可以对应陡上坡、陡下坡或者平地,取决于你站在山的哪一侧。

沉淀结论

  1. 坡度 = 高度变化 ÷ 前进距离——往前挪一段,看高度变多少,两个数一除
  2. 把那一步缩得很短,量出来的就是脚下这一点的坡度;步子越短越准。这个东西正式名字叫导数
  3. 坡度有正有负:正是上坡,负是下坡,0 是平地;负得越多,下得越猛
  4. 同一条曲线不同位置坡度不同——所以要问"在哪一点的坡度",不能问"这条曲线的坡度"
  5. 坡度和高度完全无关:坡度 0 可能是山顶、谷底,也可能只是半山腰的一块平台

记忆口诀

坡度 = 高度变化 ÷ 前进距离。
步子缩到很短,量的就是脚下这一点。
正是上坡,负是下坡,0 是平地。
每个位置各有各的坡度。
坡度说往哪斜,高度说在哪儿 —— 两回事。

延伸阅读

  • 损失函数也是一条山坡:上一篇的罚分,随着参数变动而高高低低,画出来就是一片起伏的地形。模型要做的就是在这片地形上往低处走——而它唯一能依靠的信息,就是脚下的坡度。具体怎么走,见下一篇。

自测:合上资料能说清楚吗?

  1. 往前走 2 米、地势升高 4 米,坡度是多少?这个数是什么意思?
参考答案

坡度是 2(4 ÷ 2)。意思是每往前走 1 米,地势抬高 2 米——相当陡,得手脚并用。

坡度就是高度变化除以前进距离,正数是上坡,负数是下坡,0 是平地。

  1. 为什么要把"往前那一步"缩得很短?
参考答案

因为山坡是弯的。走一大段路算出来的是这一整段的平均陡峭程度,前半段平缓后半段陡峭都被平均掉了,跟你脚下那一点的真实情况可能差很远。

步子缩得越短,量出来的越贴近这一点。短到差别可以忽略时,那就是这一点的坡度。

  1. 一个地方海拔 4000 米,它的坡度一定很大吗?
参考答案

毫无关系。 高原上一片平地海拔 4000 米,坡度是 0;一个 3 米高的小土坡侧面陡得能滑下来,坡度很大。

高度说的是"你在哪儿",坡度说的是"往哪边斜、斜得多厉害"——两件完全独立的事。

  1. 坡度是 0,能说明你到山顶了吗?
参考答案

不能。 坡度 0 只说明这一点是平的,而平的地方至少有三种:山顶、谷底、半山腰上的一块平台。

三处坡度全是 0,处境却天差地别。这个混淆在下一篇会变成实际麻烦:蒙眼下山的人走到平地就停了,可他分不清自己是真到谷底,还是只是踩在一块石板上。

  1. 为什么"坡度"这个东西对蒙着眼睛下山的人特别有用?
参考答案

因为它把"我该往哪走"这个需要看清全局的问题,变成了一个能在原地测出来的数。

看不见谷底在哪没关系,用脚探一探,脚下的坡度随时能测出来。不用看清全局,也能走对下一步——这正是下一篇整套办法的立足点。

最近更新: 2026/9/10 11:38
Next
梯度下降