Layernorm on Jeanphilo Bloghttps://shio-chan-dev.github.io/jeanblog/zh/tags/layernorm/Recent content in Layernorm on Jeanphilo BlogHugo -- 0.159.2zh-cnSat, 24 Jan 2026 16:24:03 +0800Transformer 中可以用 BatchNorm 吗？https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/batchnorm-in-transformer/Sat, 24 Jan 2026 16:24:03 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/batchnorm-in-transformer/讨论 Transformer 使用 BatchNorm 的可行性、限制与工程取舍，并给出最小示例。BN 与 LN 的区别：训练稳定性与工程取舍https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/batchnorm-vs-layernorm/Sat, 24 Jan 2026 16:23:47 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/batchnorm-vs-layernorm/对比 BatchNorm 与 LayerNorm 的原理、适用场景与工程代价，并提供最小 PyTorch 示例。LLaMA 中 RMSNorm 相比 LayerNorm 的优势https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/rmsnorm-vs-layernorm-llama/Sat, 24 Jan 2026 15:52:58 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/rmsnorm-vs-layernorm-llama/从公式、复杂度与工程实践出发，解析 LLaMA 选择 RMSNorm 的原因，并给出最小 PyTorch 示例。