一、张量
在前面的文章「线性代数的基本向量」中，张量（Tensor）已经有过一次比较清晰的描述。这对于掌握大模型底层的基础运算是非常必要的。
简单来看：标量是零维空间的数据描述，向量是一维空间的，矩阵是二维空间的，而张量则是三维及以上空间的。落到计算机技术里，向量可以用一维数组描述，矩阵用二维数组描述，张量自然就是一个多维数组。
大家可以想象一下，张量其实就是一个由多个矩阵叠加组成的立体数据容器。这也是学习大模型底层技术的一个重要切入点。
张量更深层的意义在于它的物理和几何属性——"无论观察者的坐标系如何旋转或变换，张量所代表的物理规律或几何关系保持不变。"这一点在前面已经讨论过。之所以能做到这一点，是因为张量由基向量和向量分量组合而成：只要基向量已知，张量完全可以由向量分量来描述。
普通人不好理解张量，原因并不复杂。我们日常生活的空间大多比较规则，但像流体力学、波传播这类实际应用中，空间变化复杂、方向性多变，尤其是在 AI 的多维空间数据处理场景下更是如此——而这恰恰是张量发挥优势的地方。
想更形象地理解张量，可以看看 Dan Fleisch 的视频中关于"通过向量来表示面积"的那一段——面积是平面上两个分量向量与角度计算的结果，而垂直于这个面积所在平面的向量，代表了两个分量向量的叉积。把这一段吃透了，理解张量就算有了基础。
二、大模型的数据处理
在 AI 和大模型 的底层数据分析处理过程中，一个基本问题就是如何理解人类输入的信息——无论是语言文字还是语音。有过底层数据处理经验的人都知道，基本做法是先将其 Token 化，然后在此基础上映射为数字向量。
这样，就可以用向量来描述不同语言文字或事物的特征，也就是嵌入向量。向量能够描述事物之间的关联度，也就是说，向量空间可以映射到现实世界的事物中来，反过来也一样。
说得再简单一点：现实事物被拆解映射到向量空间后，每个 Token 都可以被一组向量描述，也就是高维空间中的坐标点。
在此基础上再抽象到矩阵。矩阵可以执行更复杂的向量运算。前面在大模型的分配过程中已经分析过，参数的微调本质上就是矩阵的低秩处理过程。而现在的大模型为了更准确地体现向量特征之间的关系，又引入了注意力机制——将上下文中相关的向量特征关系加以处理。
通过不断对输入矩阵与权重矩阵进行运算（多层网络）和反向传播机制处理，最终形成一个矩阵向量结果，再利用概率统计输出结果。这就是一个最基础的大模型数据处理流程。
不过，真实的大模型中，数据是海量的，矩阵可能不只是一个二维矩阵能描述的——它可能是多个，甚至成千上万个。此时再用矩阵来描述这些数据，就已经有些吃力了。
张量，就这么应运而生了。从数据表示的角度来说，张量就是高维度空间中的向量矩阵。
三、矩阵乘法
在大模型实际生成结果的过程中，需要经过一个概率计算的过程。这个计算过程的核心，就是通过注意力机制找到向量矩阵之间的特征关系，再与向量矩阵（描述信息）和权重矩阵（从海量输入数据中找到规律）进行运算，从而得到输出结果。
这个运算过程，就是矩阵乘法计算的过程。它不是简单的一次两次运算，而是一个动态的、不断正向传播（多层网络）和反向传播交替进行的处理过程。矩阵计算的结果，就是输出结果的概率分布。大模型会在这个已知结果中通过概率找出相关内容，重新丢回输入上下文中，再次重复上述动作。
四、张量计算
上述的矩阵计算过程，体现在高维度空间的运算中，就是张量计算。张量计算包含加法、乘法、积等多种运算操作。但在大模型的底层，最基础的张量运算就是矩阵乘法和累加操作——这也是很多张量加速计算库的核心功能。
张量计算的核心作用，是对正向传播中的输出和反向传播中的梯度计算、优化调参起到加速作用。比如在常见的深度学习和神经网络、NLP 以及图像处理等场景中，都广泛使用到了张量计算。
五、总结
如果上面的分析你都跟上了，基本就能明白：所谓标量、向量、矩阵，统统可以用张量来表示。正如二维平面空间可以描述为高度为零的三维立体空间，反过来也可以把三维空间描述为多个二维平面空间的组合一样——由分到合，再由合到分。既能掌握细节的不同，又能实现抽象的统一。这就是张量的意义所在。
如果你对这类底层原理有继续深挖的兴趣，云栈社区也有不少关于大模型和数学基础的技术讨论，值得一逛。
发表于 前天 23:54
|
查看: 26|
回复: 0
