矩阵运算中adj是什么意思

作者丨探索者的小站@知乎（已授权）

来源丨zhuanlan./p/XXXXX（请替换XXXXX为具体链接）

一年前，我对Transformer模型有了初步的了解。当时感觉模型结构复杂，理解起来颇为困难，即使花费很多时间阅读论文也难以完全掌握其中的原理。只是大致记住了一些名词，对于其内部机制和公式却常常感到困惑。

Self-Attention机制是Transformer模型的核心思想。最近重新研读论文，有了新的理解和感悟。写下这篇文章与读者分享。

刚开始接触Self-Attention时，我对Q、K、V三个矩阵以及查询向量等概念感到十分困惑。现在回想起来，主要是因为对高维矩阵运算的核心意义理解不够深入。在文章开始之前，我想先总结一下涉及的基础知识，包括向量的内积、矩阵与其自身转置的乘法等，以及这些知识与模型中的体现。

一、基础知识回顾

1. 向量的内积是什么，如何计算，以及最重要的，其几何意义是什么？

2. 一个矩阵与其自身的转置相乘，得到的结果有什么意义？

二、键值对注意力

接下来我们分析Transformer模型中最核心的部分，从公式开始，逐步解读每一步的含义。

键值对注意力的核心公式如图所示。我们先抛开Q、K、V三个矩阵不谈，来看看self-Attention最原始的形式。那么这个公式到底意味着什么呢？我们逐步讲解。

为了方便理解，我们假设为一个二维矩阵，为一个行向量。通过一系列运算，我们模拟了一个过程。那么结果矩阵有什么意义呢a href="javascript:">（待续） "。接下来我们将详细解释每一个步骤和公式，并探讨其在实际应用中的意义和作用。我们会通过具体的实例和可视化图表来帮助读者更好地理解这些概念和原理。希望这篇文章能够帮助读者更好地理解和掌握Transformer模型中的Self-Attention机制。