传播规则的简单示例
下面，本文将给出一个最简单的传播规则示例 [1]：
f(Hⁱ, A) = σ(AHⁱWⁱ)
其中，Wⁱ 是第 i 层的权重矩阵，σ 是非线性激活函数（如 ReLU 函数）。权重矩阵的维度为 Fⁱ × Fⁱ⁺¹，即权重矩阵第二个维度的大小决定了下一层的特征数。如果你对卷积神经网络很熟悉，那么你会发现由于这些权重在图中的节点间共享，该操作与卷积核滤波操作类似。
简化
接下来我们在最简单的层次上研究传播规则。令：
i = 1，（约束条件 f 是作用于输入特征矩阵的函数）
σ 为恒等函数
选择权重（约束条件： AH⁰W⁰ =AXW⁰ = AX）
换言之，f(X, A) = AX。该传播规则可能过于简单，本文后面会补充缺失的部分。此外，AX 等价于多层感知机的输入层。