全连接网络输入矩阵的行和列

在标准深度学习框架PyTorch、TensorFlow中输入矩阵的每一行是一个样本每一列是一个特征维度。所以列是特征维度而不是特征向量本身。一个特征向量即一个样本的所有特征在矩阵中表现为一行。绝大多数深度学习库都遵循 (batch_size, features) 的格式举例假设你有 100 个用户每个用户有 128 个特征比如年龄、收入、浏览时长等。输入矩阵形状[100, 128]每一行共100行代表一个完整的用户特征向量1 × 128。每一列共128列代表所有用户在某个特征维度上的取值100 × 1。在实际计算矩阵乘法中输入 X 必须放在前面权重矩阵 W 放在后面。数学表达式就是Y X W或者 Y X · W其中 代表矩阵乘法。数学公式中b 看作行向量[1, H]与输出矩阵的每一行对齐。代码存储中b 是一维张量[H]框架通过广播自动处理。广播机制当执行 X W b 时X W 的结果形状是 [N, H]。b 的形状是 [H]。NumPy/PyTorch 的广播规则会自动将形状 [H] 的数组视为行向量即 [1, H]然后复制N份扩展成 [N, H]完成加法。