笃行
首页
个人 & 心法
互联网/硬件后台
游戏基础架构
UE 引擎
游戏业务
AI / 大模型
数据结构与算法
机器学习数学
通用基础
GitHub
首页
个人 & 心法
互联网/硬件后台
游戏基础架构
UE 引擎
游戏业务
AI / 大模型
数据结构与算法
机器学习数学
通用基础
GitHub
  • 向量入门

    • 看得见的机器学习数学
    • 向量是什么
    • 向量的加减与数乘
    • 线性组合与张成
  • 矩阵与变换

    • 矩阵是一次变换
    • 矩阵乘法
  • 度量与求解

    • 行列式与面积
    • 解方程组就是倒着走回去
    • 特征向量的直觉
    • 点积与相似度
  • 高维与结构

    • 高维空间的直觉
    • 正交基与投影
    • 秩与低秩
    • 长度与归一化
    • 线性与非线性
  • 概率与信息

    • 概率分布与采样
    • 期望与方差
    • 指数与 softmax
    • 对数与信息量
    • 交叉熵
  • 学习与优化

    • 导数就是坡度
    • 梯度下降
    • 链式法则与反向传播

dot-product-similarity — 闪卡

点积(内积)把两个箭头压成一个数:越同向这个数越大,垂直时是 0,完全反向时是负数——它就是"两个箭头有多顺"的量化,也是相似度、检索、注意力打分背后共同的几何本体。

记忆口诀

  • 点积 = 投影长度 × 另一根的长度,衡量两个箭头有多顺
  • 同向为正、反向为负、垂直为 0
  • 除以长度得余弦,只看方向不看长短
  • 点积能换顺序,矩阵乘法不能
  • 结果是一个数,不是箭头

Card 1

Q: 点积算的是什么?

A: 把一根箭头投影到另一根方向上,投影长度乘上那根箭头自己的长度。衡量的是"两个箭头有多顺"。

Card 2

Q: 点积的坐标公式是什么?为什么长这样?

A: a₁b₁ + a₂b₂,对应位置分别相乘再相加。这是把投影按坐标轴拆开算再叠加,推出来的,不是规定的。

Card 3

Q: 两根箭头方向相同时,点积是多少?

A: 两者长度相乘,是这个方向组合下能拿到的最大值——投影就是箭头本身的长度。

Card 4

Q: 两根箭头垂直时,点积是多少?

A: 0。垂直意味着完全没有投影,一点忙都没帮上,也没拖后腿。跟箭头长不长无关。

Card 5

Q: 点积可以是负数吗?负号代表什么?

A: 可以,方向相反时是负数。负号不是"变小",记录的是方向性事实:箭头在朝反方向使劲,是拖后腿而不是打折扣。

Card 6

Q: 点积大是不是代表两根箭头都很长?

A: 不是。一长一短但严丝合缝同向的组合,点积可能比两根更长、但夹角很大的组合更大。点积衡量的是顺不顺,不是大不大。

Card 7

Q: 除以两根箭头的长度,点积会变成什么?

A: 夹角的余弦(-1 到 1 之间)。这是归一化——除掉长度的影响,只看方向对不对齐。

Card 8

Q: a·b 和 b·a 一样吗?和矩阵乘法比呢?

A: 一样,点积可以随便换顺序。这一点和矩阵乘法的 AB ≠ BA 不同。

Card 9

Q: 点积的结果是箭头吗?

A: 不是,是一个数(可正可负可为 0)。这是这条链子里第一次从"箭头的世界"跨进"数字的世界"。

Card 10

Q: 点积和 LLM/RAG 里说的"相似度"是不是一回事?

A: 是同一套几何本体。RAG 检索、Attention 打分本质都是在算高维箭头的点积(或余弦),只是维度从 2 变成几百上千,"有多顺"的直觉不变。

Card 11

Q: 为什么点积除以长度得到的数一定落在 -1 到 1 之间?

A: 因为除掉长度之后剩下的只是方向对齐程度:完全同向是 1,完全反向是 -1,垂直是 0,中间连续变化,不会超出这个范围。

最近更新: 2026/9/10 11:38