AI on Jeanphilo Bloghttps://shio-chan-dev.github.io/jeanblog/zh/categories/ai/Recent content in AI on Jeanphilo BlogHugo -- 0.159.2zh-cnSun, 25 Jan 2026 20:08:41 +0800Attention Is All You Need：Transformer 的核心算法与工程落地https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/attention-is-all-you-need/Sun, 25 Jan 2026 20:08:41 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/attention-is-all-you-need/从算法抽象、复杂度与工程约束出发，解释 Transformer 如何用注意力替代递归与卷积，并给出可运行示例与选型指南。FlashAttention 的 MQA/GQA：共享 KV 的等价、收益与实现要点（含可运行验证）https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/flash-attention-mqa-gqa/Sun, 25 Jan 2026 12:51:15 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/flash-attention-mqa-gqa/解释 FlashAttention 如何处理 MQA/GQA：共享 KV、按组计算与内存复用策略，并附可运行示例验证等价性。FlashAttention 为什么能 one-pass：在线 softmax（m/l）与 Tiling 的核心思想https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/flash-attention-one-pass-and-tiling/Sun, 25 Jan 2026 12:51:14 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/flash-attention-one-pass-and-tiling/解释 FlashAttention 的 one-pass 计算原理与 tiling 策略：在线 softmax（m,l）更新、流式累积输出、不落地 $QK^\top$ 与概率矩阵，并给出可运行的块级注意力验证与访存算账。Softmax 工程实现与 GPU 访存优化：在线更新、融合与带宽算账（含可运行验证）https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/softmax-gpu-memory-io-optimization/Sun, 25 Jan 2026 12:51:13 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/softmax-gpu-memory-io-optimization/拆解 softmax 标准计算的访存问题，并给出在线 softmax 与融合实现的工程优化思路，包含可运行示例与带宽算账。Self-Attention 计算公式与 Softmax 数值稳定：从推导到工程实现https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/self-attention-softmax-formula-and-stability/Sun, 25 Jan 2026 12:50:33 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/self-attention-softmax-formula-and-stability/用公式与可运行示例讲清 Self-Attention 的计算流程、softmax 的数值问题与工程实现要点。单阶段 vs 双阶段目标检测：从候选集合到 NMS 的工程算账https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/single-stage-vs-two-stage-object-detection/Sat, 24 Jan 2026 16:36:30 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/single-stage-vs-two-stage-object-detection/系统对比单阶段与双阶段目标检测的流程、复杂度与工程场景：候选集合规模、NMS/后处理成本、focal loss 与采样策略，并给出纯 NumPy 可运行示例用于算账与验证。Anchor-Based vs Anchor-Free：目标检测两条路线https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/anchor-based-vs-anchor-free/Sat, 24 Jan 2026 16:36:19 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/anchor-based-vs-anchor-free/对比 Anchor-based 与 Anchor-free 检测框架的核心差异、工程取舍与实战场景。IoU 是什么：目标检测评估的核心指标https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/iou-explained/Sat, 24 Jan 2026 16:34:42 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/iou-explained/从公式到工程实践解释 IoU（交并比），并给出可运行示例与评估细节。空洞卷积（Dilated Convolution）：扩大感受野的工程利器https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/dilated-convolution/Sat, 24 Jan 2026 16:33:00 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/dilated-convolution/系统讲清空洞卷积的原理、复杂度与工程应用，并给出最小 PyTorch 示例。NMS 描述：非极大值抑制的原理与工程实践https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/nms-overview/Sat, 24 Jan 2026 16:32:59 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/nms-overview/系统讲清 NMS 的核心流程、IoU 计算与工程取舍，并给出最小 PyTorch 示例。CNN 参数量计算：从卷积核到整网规模https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/cnn-parameter-count/Sat, 24 Jan 2026 16:28:40 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/cnn-parameter-count/系统讲清 CNN 参数量计算方法与常见陷阱，并给出最小 PyTorch 示例。CNN、RNN、LSTM 与 Transformer 的区别与适用场景https://shio-chan-dev.github.io/jeanblog/zh/ai/architecture/cnn-rnn-lstm-transformer-comparison/Sat, 24 Jan 2026 16:28:18 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/architecture/cnn-rnn-lstm-transformer-comparison/从依赖路径长度与资源复杂度两个核心概念出发，系统对比 CNN、RNN、LSTM 与 Transformer，并给出可运行示例与工程选型步骤。动量（Momentum）优化的过程：从直觉到公式https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/momentum-optimizer-process/Sat, 24 Jan 2026 16:28:18 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/momentum-optimizer-process/解释动量优化的更新过程、直觉与工程取舍，并给出最小 PyTorch 示例。优化器的了解：从 SGD 到 Adam 的工程取舍https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/optimizer-overview/Sat, 24 Jan 2026 16:27:20 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/optimizer-overview/系统讲清常见优化器原理与工程取舍，含最小 PyTorch 示例与实践建议。图像自编码是怎么做的：原理、流程与最小实现https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/image-autoencoder-how/Sat, 24 Jan 2026 16:26:15 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/image-autoencoder-how/系统讲清图像自编码的结构、训练目标与工程场景，并给出最小 PyTorch 示例。ViT 结构描述：从 Patch Embedding 到 Transformer 编码器https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/vit-architecture-overview/Sat, 24 Jan 2026 16:25:35 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/vision/vit-architecture-overview/系统讲清 ViT 的结构组件、工作流程与工程实践，并给出最小 PyTorch 示例。BN 与 Dropout：训练与推理时的关键区别https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/bn-vs-dropout-train-infer/Sat, 24 Jan 2026 16:24:44 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/bn-vs-dropout-train-infer/系统对比 BatchNorm 与 Dropout 在训练/推理阶段的行为差异，并提供最小 PyTorch 示例。Transformer 中可以用 BatchNorm 吗？https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/batchnorm-in-transformer/Sat, 24 Jan 2026 16:24:03 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/batchnorm-in-transformer/讨论 Transformer 使用 BatchNorm 的可行性、限制与工程取舍，并给出最小示例。BN 与 LN 的区别：训练稳定性与工程取舍https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/batchnorm-vs-layernorm/Sat, 24 Jan 2026 16:23:47 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/batchnorm-vs-layernorm/对比 BatchNorm 与 LayerNorm 的原理、适用场景与工程代价，并提供最小 PyTorch 示例。为什么注意力要除以 √(d_k)：从数值稳定到工程收益https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/why-scale-attention-by-sqrt-dk/Sat, 24 Jan 2026 16:22:25 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/why-scale-attention-by-sqrt-dk/解释注意力中 QK^T 为何需要除以 √(d_k)，并给出最小 PyTorch 示例与工程场景。残差连接的作用：为什么深度网络离不开它https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/residual-connection-role/Sat, 24 Jan 2026 16:22:22 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/residual-connection-role/解释残差连接在深度网络中的作用与原理，并提供最小可运行示例。Attention 的复杂度与为什么需要位置编码https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/attention-complexity-and-positional-encoding/Sat, 24 Jan 2026 16:21:51 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/attention-complexity-and-positional-encoding/解释注意力的时间/空间复杂度，并说明位置编码对序列建模的必要性，含最小示例。为什么使用多头注意力机制：能力、稳定性与工程取舍https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/why-multi-head-attention/Sat, 24 Jan 2026 16:20:59 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/why-multi-head-attention/用 ACERS 框架解释多头注意力的必要性、核心原理与工程场景，并给出最小可运行示例。Transformer 结构描述：从编码器到解码器https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/transformer-architecture-overview/Sat, 24 Jan 2026 16:18:19 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/transformer-architecture-overview/用 ACERS 框架讲清 Transformer 结构、模块职责与工程场景，并给出最小可运行示例。为什么 GPT 是 Decoder-Only：自回归生成的最佳形态https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/why-gpt-decoder-only/Sat, 24 Jan 2026 16:15:34 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/why-gpt-decoder-only/解释 GPT 选择 decoder-only 结构的原因，并与 encoder-only / encoder-decoder 做工程对比。BERT vs GPT：预训练任务与应用差异https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/bert-vs-gpt-pretraining-objectives/Sat, 24 Jan 2026 16:12:12 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/bert-vs-gpt-pretraining-objectives/对比 BERT 与 GPT 的预训练目标、架构假设与工程场景，并给出最小可运行示例。SGD vs Adam：优化器原理与工程取舍https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/sgd-vs-adam-optimizer/Sat, 24 Jan 2026 16:12:12 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/sgd-vs-adam-optimizer/对比 SGD 与 Adam 的原理、收敛特性与应用场景，并提供最小 PyTorch 示例。LoRA 初始化的常见方法与工程取舍https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/lora-initialization-methods/Sat, 24 Jan 2026 16:00:02 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/lora-initialization-methods/系统对比 LoRA 的常见初始化方式，并给出最小 PyTorch 示例与工程实践建议。LLaMA 中 RMSNorm 相比 LayerNorm 的优势https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/rmsnorm-vs-layernorm-llama/Sat, 24 Jan 2026 15:52:58 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/llm/rmsnorm-vs-layernorm-llama/从公式、复杂度与工程实践出发，解析 LLaMA 选择 RMSNorm 的原因，并给出最小 PyTorch 示例。Self-Attention vs Cross-Attention：机制、差异与工程应用https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/self-attention-vs-cross-attention/Sat, 24 Jan 2026 15:44:12 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/attention/self-attention-vs-cross-attention/用 ACERS 框架讲清 self-attention 与 cross-attention 的核心差异、公式与工程场景。BLIP/BLIP-2 实战原理与最小推理示例https://shio-chan-dev.github.io/jeanblog/zh/ai/blip/blip-blip2-principles-minimal-inference/Sat, 24 Jan 2026 15:40:51 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/blip/blip-blip2-principles-minimal-inference/按 ACERS 结构讲清 BLIP 与 BLIP-2 的原理差异，并给出最小 PyTorch 推理示例。BLIP 与 BLIP-2 架构和区别：从对齐到生成https://shio-chan-dev.github.io/jeanblog/zh/ai/blip/blip-vs-blip2-architecture/Sat, 24 Jan 2026 15:35:34 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/blip/blip-vs-blip2-architecture/用结构化视角解释 BLIP 与 BLIP-2 的训练目标、模块设计与工程差异。对比学习损失函数系列（1/4）：对比损失 Contrastive Losshttps://shio-chan-dev.github.io/jeanblog/zh/ai/contrastive-learning/1-contrastive-loss-function/Sat, 24 Jan 2026 13:22:02 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/contrastive-learning/1-contrastive-loss-function/从公式到实验，系统理解对比损失（Contrastive Loss）如何拉近正样本、推远负样本。对比学习损失函数系列（2/4）：三元组损失 Triplet Losshttps://shio-chan-dev.github.io/jeanblog/zh/ai/contrastive-learning/2-triplet-loss-function/Sat, 24 Jan 2026 13:22:02 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/contrastive-learning/2-triplet-loss-function/从 anchor-positive-negative 视角理解 Triplet Loss，并用最小可运行实验掌握 hard negative mining。对比学习损失函数系列（3/4）：InfoNCE 与 SimCLRhttps://shio-chan-dev.github.io/jeanblog/zh/ai/contrastive-learning/3-infonce-simclr/Sat, 24 Jan 2026 13:22:02 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/contrastive-learning/3-infonce-simclr/从 InfoNCE 公式到 SimCLR 训练流程，理解自监督对比学习的关键设计。对比学习损失函数系列（4/4）：CLIP 对比学习目标https://shio-chan-dev.github.io/jeanblog/zh/ai/contrastive-learning/4-clip-contrastive-learning-objective/Sat, 24 Jan 2026 13:22:02 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/contrastive-learning/4-clip-contrastive-learning-objective/从损失函数视角理解 CLIP 的双向对比学习目标，建立跨模态对齐的核心直觉。CLIP 系列（1/3）：原理与对比学习公式——多模态对齐的核心机制https://shio-chan-dev.github.io/jeanblog/zh/ai/clip/1-clip-principles-and-contrastive-learning/Sat, 24 Jan 2026 12:46:49 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/clip/1-clip-principles-and-contrastive-learning/用数学公式拆解 CLIP 的对比学习目标、嵌入空间与训练流程，建立可复用的多模态理解框架。CLIP 系列（2/3）：PyTorch 完整可复现实战——从数据到训练闭环https://shio-chan-dev.github.io/jeanblog/zh/ai/clip/2-clip-pytorch-reproducible-implementation/Sat, 24 Jan 2026 12:46:49 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/clip/2-clip-pytorch-reproducible-implementation/用 CIFAR-10 + 文本提示搭建最小 CLIP 训练闭环，提供完整可复现的 PyTorch 实战脚本。CLIP 系列（3/3）：工程化与优化——检索、索引与部署实践https://shio-chan-dev.github.io/jeanblog/zh/ai/clip/3-clip-engineering-and-optimization/Sat, 24 Jan 2026 12:46:49 +0800https://shio-chan-dev.github.io/jeanblog/zh/ai/clip/3-clip-engineering-and-optimization/围绕 CLIP 的工程落地，总结向量索引、批量推理与性能优化的实践路线。