Attention on Jeanphilo Bloghttps://shio-chan-dev.github.io/jeanblog/zh/tags/attention/Recent content in Attention on Jeanphilo BlogHugo -- 0.159.2zh-cnSun, 25 Jan 2026 20:08:41 +0800Attention Is All You Need：Transformer 的核心算法与工程落地https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/attention-is-all-you-need/Sun, 25 Jan 2026 20:08:41 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/attention-is-all-you-need/从算法抽象、复杂度与工程约束出发，解释 Transformer 如何用注意力替代递归与卷积，并给出可运行示例与选型指南。FlashAttention 的 MQA/GQA：共享 KV 的等价、收益与实现要点（含可运行验证）https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/flash-attention-mqa-gqa/Sun, 25 Jan 2026 12:51:15 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/flash-attention-mqa-gqa/解释 FlashAttention 如何处理 MQA/GQA：共享 KV、按组计算与内存复用策略，并附可运行示例验证等价性。FlashAttention 为什么能 one-pass：在线 softmax（m/l）与 Tiling 的核心思想https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/flash-attention-one-pass-and-tiling/Sun, 25 Jan 2026 12:51:14 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/flash-attention-one-pass-and-tiling/解释 FlashAttention 的 one-pass 计算原理与 tiling 策略：在线 softmax（m,l）更新、流式累积输出、不落地 $QK^\top$ 与概率矩阵，并给出可运行的块级注意力验证与访存算账。Softmax 工程实现与 GPU 访存优化：在线更新、融合与带宽算账（含可运行验证）https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/softmax-gpu-memory-io-optimization/Sun, 25 Jan 2026 12:51:13 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/softmax-gpu-memory-io-optimization/拆解 softmax 标准计算的访存问题，并给出在线 softmax 与融合实现的工程优化思路，包含可运行示例与带宽算账。Self-Attention 计算公式与 Softmax 数值稳定：从推导到工程实现https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/self-attention-softmax-formula-and-stability/Sun, 25 Jan 2026 12:50:33 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/self-attention-softmax-formula-and-stability/用公式与可运行示例讲清 Self-Attention 的计算流程、softmax 的数值问题与工程实现要点。为什么注意力要除以 √(d_k)：从数值稳定到工程收益https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/why-scale-attention-by-sqrt-dk/Sat, 24 Jan 2026 16:22:25 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/why-scale-attention-by-sqrt-dk/解释注意力中 QK^T 为何需要除以 √(d_k)，并给出最小 PyTorch 示例与工程场景。Attention 的复杂度与为什么需要位置编码https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/attention-complexity-and-positional-encoding/Sat, 24 Jan 2026 16:21:51 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/attention-complexity-and-positional-encoding/解释注意力的时间/空间复杂度，并说明位置编码对序列建模的必要性，含最小示例。为什么使用多头注意力机制：能力、稳定性与工程取舍https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/why-multi-head-attention/Sat, 24 Jan 2026 16:20:59 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/why-multi-head-attention/用 ACERS 框架解释多头注意力的必要性、核心原理与工程场景，并给出最小可运行示例。Transformer 结构描述：从编码器到解码器https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/transformer-architecture-overview/Sat, 24 Jan 2026 16:18:19 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/transformer-architecture-overview/用 ACERS 框架讲清 Transformer 结构、模块职责与工程场景，并给出最小可运行示例。为什么 GPT 是 Decoder-Only：自回归生成的最佳形态https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/why-gpt-decoder-only/Sat, 24 Jan 2026 16:15:34 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/why-gpt-decoder-only/解释 GPT 选择 decoder-only 结构的原因，并与 encoder-only / encoder-decoder 做工程对比。Self-Attention vs Cross-Attention：机制、差异与工程应用https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/self-attention-vs-cross-attention/Sat, 24 Jan 2026 15:44:12 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/self-attention-vs-cross-attention/用 ACERS 框架讲清 self-attention 与 cross-attention 的核心差异、公式与工程场景。