dot-product-similarity — 闪卡
点积(内积)把两个箭头压成一个数:越同向这个数越大,垂直时是 0,完全反向时是负数——它就是"两个箭头有多顺"的量化,也是相似度、检索、注意力打分背后共同的几何本体。
记忆口诀
- 点积 = 投影长度 × 另一根的长度,衡量两个箭头有多顺
- 同向为正、反向为负、垂直为 0
- 除以长度得余弦,只看方向不看长短
- 点积能换顺序,矩阵乘法不能
- 结果是一个数,不是箭头
Card 1
Q: 点积算的是什么?
A: 把一根箭头投影到另一根方向上,投影长度乘上那根箭头自己的长度。衡量的是"两个箭头有多顺"。
Card 2
Q: 点积的坐标公式是什么?为什么长这样?
A: a₁b₁ + a₂b₂,对应位置分别相乘再相加。这是把投影按坐标轴拆开算再叠加,推出来的,不是规定的。
Card 3
Q: 两根箭头方向相同时,点积是多少?
A: 两者长度相乘,是这个方向组合下能拿到的最大值——投影就是箭头本身的长度。
Card 4
Q: 两根箭头垂直时,点积是多少?
A: 0。垂直意味着完全没有投影,一点忙都没帮上,也没拖后腿。跟箭头长不长无关。
Card 5
Q: 点积可以是负数吗?负号代表什么?
A: 可以,方向相反时是负数。负号不是"变小",记录的是方向性事实:箭头在朝反方向使劲,是拖后腿而不是打折扣。
Card 6
Q: 点积大是不是代表两根箭头都很长?
A: 不是。一长一短但严丝合缝同向的组合,点积可能比两根更长、但夹角很大的组合更大。点积衡量的是顺不顺,不是大不大。
Card 7
Q: 除以两根箭头的长度,点积会变成什么?
A: 夹角的余弦(-1 到 1 之间)。这是归一化——除掉长度的影响,只看方向对不对齐。
Card 8
Q: a·b 和 b·a 一样吗?和矩阵乘法比呢?
A: 一样,点积可以随便换顺序。这一点和矩阵乘法的 AB ≠ BA 不同。
Card 9
Q: 点积的结果是箭头吗?
A: 不是,是一个数(可正可负可为 0)。这是这条链子里第一次从"箭头的世界"跨进"数字的世界"。
Card 10
Q: 点积和 LLM/RAG 里说的"相似度"是不是一回事?
A: 是同一套几何本体。RAG 检索、Attention 打分本质都是在算高维箭头的点积(或余弦),只是维度从 2 变成几百上千,"有多顺"的直觉不变。
Card 11
Q: 为什么点积除以长度得到的数一定落在 -1 到 1 之间?
A: 因为除掉长度之后剩下的只是方向对齐程度:完全同向是 1,完全反向是 -1,垂直是 0,中间连续变化,不会超出这个范围。