Gpt

副标题 / 摘要 GPT 采用 decoder-only 结构是为了极致匹配自回归生成任务：因果注意力保证顺序一致性，结构简化降低训练与推理成本。本文对比 encoder-only 与 encoder-decoder，并给出最小 PyTorch 示例。 预计阅读时长：14~18 分钟 标签：gpt、decoder-only、autoregressive SEO 关键词：GPT, Decoder-Only, 自回归, Causal Attention 元描述：从任务目标到工程成本，解释 GPT 为什么选择 decoder-only 结构。 目标读者 想理解 GPT 架构选择的入门读者 需要做生成模型选型的工程实践者 想对比不同 Transformer 结构的开发者 背景 / 动机 在文本生成任务中，模型必须严格遵循“从左到右”的因果顺序。 GPT 的 decoder-only 结构天然满足这一目标，同时简化了模型设计。 但它与 encoder-only、encoder-decoder 的差异常被混淆，需要系统梳理。 核心概念 Decoder-only：仅使用解码器堆叠 + 因果自注意力。 Encoder-only：双向自注意力，擅长理解任务。 Encoder-decoder：编码输入再解码输出，擅长序列到序列任务。 Causal Mask：确保 token 只能看见左侧历史。 A — Algorithm（题目与算法） 用通俗语言说明主题内容 GPT 的任务是“预测下一个词”，所以只需要解码器并遵守因果顺序。 Encoder-only（如 BERT）不适合生成，因为它能看到未来词。 Encoder-decoder（如 T5）适合翻译/摘要，但结构更复杂。 基础示例（1） 输入：“今天是” → 模型预测“周五”。 这要求模型只能看到“今天是”，不能看到未来词。 基础示例（2） 机器翻译需要“源序列 → 目标序列”，更适合 encoder-decoder。 实践指南 / 步骤 任务为生成/续写 → 优先 decoder-only。 任务为理解/分类 → 优先 encoder-only。 任务为序列到序列 → 优先 encoder-decoder。 可运行示例（最小因果注意力） import torch import torch.nn.functional as F def causal_attention(x): # x: (batch, seq, dim) scores = x @ x.transpose(-2, -1) seq = x.size(1) mask = torch.tril(torch.ones(seq, seq)).bool() scores = scores.masked_fill(~mask, float("-inf")) weights = F.softmax(scores, dim=-1) return weights @ x x = torch.randn(1, 4, 8) out = causal_attention(x) print(out.shape) 解释与原理 因果 mask 保证 token 只依赖左侧历史。 这与自回归目标完全一致，避免信息泄露。 Decoder-only 结构也更容易并行化与扩展模型规模。 C — Concepts（核心思想） 方法类型 GPT 属于自回归生成模型，采用 decoder-only 结构 + 因果自注意力。 ...

副标题 / 摘要 BERT 通过 MLM/NSP 学习双向语义，GPT 通过 CLM 学习自回归生成。本文用 ACERS 框架对比两者预训练任务与应用场景，并提供最小 PyTorch 示例。 预计阅读时长：14~18 分钟 标签：bert、gpt、pretraining SEO 关键词：BERT, GPT, MLM, CLM 元描述：对比 BERT 与 GPT 的预训练目标与工程应用差异。 目标读者 想入门理解 BERT 与 GPT 核心差异的读者 需要做模型选型的工程实践者 关注 NLP 任务适配策略的开发者 背景 / 动机 BERT 和 GPT 经常被混用，但它们的预训练目标决定了“擅长什么”。 理解 MLM 与 CLM 的差异，能更快做出任务匹配与架构选型。 核心概念 MLM（Masked Language Modeling）：随机遮蔽词，预测被遮蔽词。 NSP（Next Sentence Prediction）：判断两句是否相邻（BERT 原版）。 CLM（Causal Language Modeling）：预测下一个词（自回归）。 A — Algorithm（题目与算法） 用通俗语言说明主题内容 BERT 是“看全句补空词”的双向理解模型。 GPT 是“从左到右续写”的生成模型。 基础示例（1） 输入：“北京是[MASK]国首都” → BERT 预测“中”。 基础示例（2） 输入：“北京是中国” → GPT 预测下一个词“首都”。 实践指南 / 步骤 任务是理解/分类 → 首选 BERT 类模型。 任务是生成/续写 → 首选 GPT 类模型。 推理时注意：BERT 需要 [MASK]，GPT 需要 prompt。 可运行示例（最小 PyTorch 逻辑） import torch import torch.nn.functional as F # MLM: 预测被遮蔽位置 vocab = 100 seq = torch.tensor([[1, 2, 3, 4]]) mask_pos = 2 logits = torch.randn(1, 4, vocab) mlm_loss = F.cross_entropy(logits[:, mask_pos], torch.tensor([3])) print("MLM loss:", mlm_loss.item()) # CLM: 预测下一个 token logits = torch.randn(1, 4, vocab) labels = torch.tensor([[2, 3, 4, 5]]) clm_loss = F.cross_entropy(logits[:, :-1].reshape(-1, vocab), labels[:, 1:].reshape(-1)) print("CLM loss:", clm_loss.item()) 解释与原理 MLM 学到双向上下文，因此更适合理解类任务。 CLM 强调顺序生成，因此更适合生成类任务。 GPT 不需要特殊 [MASK]，推理更自然。 C — Concepts（核心思想） 方法类型 BERT 属于双向编码器预训练，GPT 属于自回归生成预训练。 ...