Layernorm

副标题 / 摘要 Transformer 默认使用 LayerNorm，但在某些视觉模型中也能看到 BatchNorm。本文解释 BN 在 Transformer 中的可行性、限制与适用场景，并提供最小 PyTorch 示例。 预计阅读时长：14~18 分钟 标签：transformer、batchnorm、layernorm SEO 关键词：BatchNorm, Transformer, LayerNorm 元描述：分析 Transformer 中使用 BatchNorm 的利弊与工程建议。 目标读者 想理解归一化策略差异的入门读者 需要提升训练稳定性的工程实践者 从事 NLP/视觉 Transformer 研发的开发者 背景 / 动机 Transformer 结构中常用 LayerNorm，但很多工程师会问：能不能用 BN？ BN 在 CNN 中非常有效，但在序列模型上常受 batch 维度影响。 理解其差异能帮助你在不同场景下做更合理的选择。 核心概念 BatchNorm（BN）：按 batch 维度归一化。 LayerNorm（LN）：按特征维度归一化。 统计依赖：BN 依赖 batch 统计，LN 不依赖。 A — Algorithm（题目与算法） 用通俗语言说明主题内容 BN 会把“整批样本”的均值/方差作为归一化基准。 LN 只看单个样本内部特征，更稳定。 基础示例（1） 小 batch 训练时，BN 的均值/方差噪声大，容易不稳定。 基础示例（2） CV Transformer 大 batch 训练时，BN 有时能提供更快收敛。 实践指南 / 步骤 NLP/小 batch → LN 更稳。 CV/大 batch → 可尝试 BN。 先做对比实验，再决定归一化方案。 可运行示例（最小 PyTorch 对比） import torch import torch.nn as nn torch.manual_seed(42) x = torch.randn(4, 8, 16) # batch, seq, dim # LayerNorm：按特征维度 ln = nn.LayerNorm(16) out_ln = ln(x) # BatchNorm：需要把特征维度转为 channel bn = nn.BatchNorm1d(16) out_bn = bn(x.transpose(1, 2)).transpose(1, 2) print(out_ln.mean(dim=-1).shape) print(out_bn.mean(dim=-1).shape) 解释与原理 BN 依赖 batch 统计，推理时使用滑动均值/方差。 LN 不依赖 batch，训练/推理一致。 Transformer 多用 LN 是为了适配小 batch 与序列任务。 C — Concepts（核心思想） 方法类型 BN/LN 都属于归一化方法，用于稳定训练与加速收敛。 ...

副标题 / 摘要 BatchNorm 利用批内统计稳定训练，LayerNorm 基于单样本统计适配变长序列。本文用 ACERS 框架对比两者原理、场景与取舍，并给出最小 PyTorch 示例。 预计阅读时长：14~18 分钟 标签：batchnorm、layernorm、normalization SEO 关键词：BatchNorm, LayerNorm, 归一化 元描述：系统对比 BN 与 LN 的机制差异、工程成本与适用场景。 目标读者 想理解归一化差异的入门读者 需要在 CNN/Transformer 中做结构选型的工程实践者 关注训练稳定性与推理一致性的开发者 背景 / 动机 归一化是深度学习训练稳定性的核心技术。 BN 在视觉模型中表现优秀，但在 NLP/小批量场景中常不稳定。 LN 则不依赖 batch 大小，成为 Transformer 的默认选择。 核心概念 BatchNorm（BN）：按 batch 维度统计均值/方差。 LayerNorm（LN）：按特征维度统计均值/方差。 训练/推理差异：BN 需要 running stats，LN 不需要。 A — Algorithm（题目与算法） 用通俗语言说明主题内容 BN：用“整批样本”的统计量做归一化。 LN：用“单个样本”的特征统计量做归一化。 基础示例（1） CNN 大 batch 训练时，BN 统计稳定，收敛更快。 基础示例（2） Transformer 小 batch/变长序列时，LN 更稳定。 实践指南 / 步骤 图像模型 + 大 batch → 首选 BN。 语言模型/小 batch → 首选 LN。 多卡训练 → 评估 SyncBN 或改用 LN。 推理时注意 BN 的 running stats 是否正确。 可运行示例（最小 PyTorch 对比） import torch import torch.nn as nn torch.manual_seed(42) x = torch.randn(4, 8) bn = nn.BatchNorm1d(8) ln = nn.LayerNorm(8) out_bn = bn(x) out_ln = ln(x) print(out_bn.mean(dim=0)) print(out_ln.mean(dim=1)) 解释与原理 BN 使用 batch 统计，训练时依赖 batch size。 LN 使用样本内统计，不依赖 batch。 推理阶段 BN 使用 running mean/var，而 LN 直接使用当前样本。 C — Concepts（核心思想） 方法类型 BN 与 LN 都属于特征归一化，用于稳定训练与改善梯度流。 ...

副标题 / 摘要 LLaMA 使用 RMSNorm 替代 LayerNorm，主要是为了简化计算、提升训练稳定性与推理效率。本文用公式、示例与工程场景讲清差异，并提供最小 PyTorch 代码。 预计阅读时长：12~16 分钟 标签：rmsnorm、layernorm、llama、pytorch SEO 关键词：RMSNorm, LayerNorm, LLaMA, 归一化 元描述：解释 RMSNorm 与 LayerNorm 的差异与优势，并给出可运行的 PyTorch 示例。 目标读者 想理解 LLaMA 架构细节的入门读者 关注训练/推理效率的工程实践者 需要在模型中选择归一化方案的开发者 背景 / 动机 归一化是稳定训练的关键步骤。 LayerNorm 是 Transformer 的默认选择，但在大模型中成本可观。 RMSNorm 用更少的计算达到相似效果，是 LLaMA 等模型的常见替代。 核心概念 LayerNorm（LN）：对每个 token 的特征维度做均值和方差归一化。 RMSNorm：只做均方根归一化，不减均值。 缩放参数：两者都保留可学习的缩放向量 g。 A — Algorithm（题目与算法） 用通俗语言说明主题内容 LayerNorm：把每个 token 的特征变成“均值 0、方差 1”。 RMSNorm：只把特征的“幅度”缩放到稳定范围，不强制均值为 0。 基础示例（1） 输入向量 [1, 2, 3]，LN 会中心化；RMSNorm 只缩放长度。 基础示例（2） 在大 batch 推理时，RMSNorm 少了一次均值计算，吞吐更高。 实践指南 / 步骤 若追求推理效率与训练稳定性，优先尝试 RMSNorm。 如果模型对偏移敏感，可保留 LN 或搭配残差调参。 对比训练曲线与损失波动，确认稳定性。 可运行示例（最小 PyTorch 对比） import torch import torch.nn as nn torch.manual_seed(42) class RMSNorm(nn.Module): def __init__(self, dim, eps=1e-6): super().__init__() self.eps = eps self.weight = nn.Parameter(torch.ones(dim)) def forward(self, x): # x: (..., dim) rms = x.pow(2).mean(dim=-1, keepdim=True).add(self.eps).sqrt() x = x / rms return x * self.weight x = torch.randn(2, 4, 8) ln = nn.LayerNorm(8) rms = RMSNorm(8) out_ln = ln(x) out_rms = rms(x) print(out_ln.mean(dim=-1)) print(out_rms.mean(dim=-1)) print(out_ln.std(dim=-1)) print(out_rms.std(dim=-1)) 解释与原理 LN 同时消除均值与缩放；RMSNorm 只控制尺度。 RMSNorm 计算少、数值更稳定，适合大模型训练。 由于不做中心化，RMSNorm 可能保留有用的偏移信息。 C — Concepts（核心思想） 方法类型 两者都属于特征归一化，用于稳定训练并加速收敛。 ...