Normalization

副标题 / 摘要 Transformer 默认使用 LayerNorm，但在某些视觉模型中也能看到 BatchNorm。本文解释 BN 在 Transformer 中的可行性、限制与适用场景，并提供最小 PyTorch 示例。 预计阅读时长：14~18 分钟 标签：transformer、batchnorm、layernorm SEO 关键词：BatchNorm, Transformer, LayerNorm 元描述：分析 Transformer 中使用 BatchNorm 的利弊与工程建议。 目标读者 想理解归一化策略差异的入门读者 需要提升训练稳定性的工程实践者 从事 NLP/视觉 Transformer 研发的开发者 背景 / 动机 Transformer 结构中常用 LayerNorm，但很多工程师会问：能不能用 BN？ BN 在 CNN 中非常有效，但在序列模型上常受 batch 维度影响。 理解其差异能帮助你在不同场景下做更合理的选择。 核心概念 BatchNorm（BN）：按 batch 维度归一化。 LayerNorm（LN）：按特征维度归一化。 统计依赖：BN 依赖 batch 统计，LN 不依赖。 A — Algorithm（题目与算法） 用通俗语言说明主题内容 BN 会把“整批样本”的均值/方差作为归一化基准。 LN 只看单个样本内部特征，更稳定。 基础示例（1） 小 batch 训练时，BN 的均值/方差噪声大，容易不稳定。 基础示例（2） CV Transformer 大 batch 训练时，BN 有时能提供更快收敛。 实践指南 / 步骤 NLP/小 batch → LN 更稳。 CV/大 batch → 可尝试 BN。 先做对比实验，再决定归一化方案。 可运行示例（最小 PyTorch 对比） import torch import torch.nn as nn torch.manual_seed(42) x = torch.randn(4, 8, 16) # batch, seq, dim # LayerNorm：按特征维度 ln = nn.LayerNorm(16) out_ln = ln(x) # BatchNorm：需要把特征维度转为 channel bn = nn.BatchNorm1d(16) out_bn = bn(x.transpose(1, 2)).transpose(1, 2) print(out_ln.mean(dim=-1).shape) print(out_bn.mean(dim=-1).shape) 解释与原理 BN 依赖 batch 统计，推理时使用滑动均值/方差。 LN 不依赖 batch，训练/推理一致。 Transformer 多用 LN 是为了适配小 batch 与序列任务。 C — Concepts（核心思想） 方法类型 BN/LN 都属于归一化方法，用于稳定训练与加速收敛。 ...

副标题 / 摘要 BatchNorm 利用批内统计稳定训练，LayerNorm 基于单样本统计适配变长序列。本文用 ACERS 框架对比两者原理、场景与取舍，并给出最小 PyTorch 示例。 预计阅读时长：14~18 分钟 标签：batchnorm、layernorm、normalization SEO 关键词：BatchNorm, LayerNorm, 归一化 元描述：系统对比 BN 与 LN 的机制差异、工程成本与适用场景。 目标读者 想理解归一化差异的入门读者 需要在 CNN/Transformer 中做结构选型的工程实践者 关注训练稳定性与推理一致性的开发者 背景 / 动机 归一化是深度学习训练稳定性的核心技术。 BN 在视觉模型中表现优秀，但在 NLP/小批量场景中常不稳定。 LN 则不依赖 batch 大小，成为 Transformer 的默认选择。 核心概念 BatchNorm（BN）：按 batch 维度统计均值/方差。 LayerNorm（LN）：按特征维度统计均值/方差。 训练/推理差异：BN 需要 running stats，LN 不需要。 A — Algorithm（题目与算法） 用通俗语言说明主题内容 BN：用“整批样本”的统计量做归一化。 LN：用“单个样本”的特征统计量做归一化。 基础示例（1） CNN 大 batch 训练时，BN 统计稳定，收敛更快。 基础示例（2） Transformer 小 batch/变长序列时，LN 更稳定。 实践指南 / 步骤 图像模型 + 大 batch → 首选 BN。 语言模型/小 batch → 首选 LN。 多卡训练 → 评估 SyncBN 或改用 LN。 推理时注意 BN 的 running stats 是否正确。 可运行示例（最小 PyTorch 对比） import torch import torch.nn as nn torch.manual_seed(42) x = torch.randn(4, 8) bn = nn.BatchNorm1d(8) ln = nn.LayerNorm(8) out_bn = bn(x) out_ln = ln(x) print(out_bn.mean(dim=0)) print(out_ln.mean(dim=1)) 解释与原理 BN 使用 batch 统计，训练时依赖 batch size。 LN 使用样本内统计，不依赖 batch。 推理阶段 BN 使用 running mean/var，而 LN 直接使用当前样本。 C — Concepts（核心思想） 方法类型 BN 与 LN 都属于特征归一化，用于稳定训练与改善梯度流。 ...