Python

以一个权限组管理模块为例，展示如何用领域模型 + 聚合仓储的方式设计后端，而不是让业务直接围着数据库表转。

🐣 Alembic 入门：第一次用 SQLAlchemy 做数据库迁移 💡 副标题 / 摘要 如果你已经在用 SQLAlchemy 操作数据库，却还在靠“手工改表结构 + 导出导入 SQL”来维护 schema，这篇文章会带你用最小成本上手 Alembic。 我们会从 0 配置 Alembic 开始，一步步完成：生成迁移、升级/回滚数据库、和 SQLAlchemy 模型联动。 🎯 目标读者 适合这样的你： 已经在项目中使用 SQLAlchemy（ORM 或 Core 都行）； 从未使用过 Alembic，或只懂 alembic upgrade head 这几个命令； 想为自己的项目加上 可回滚、可追踪、可审计 的数据库结构变更； 以 Python / Web 后端为主（Flask / FastAPI / 自研框架均可）。 🔥 背景 / 动机：为什么需要数据库迁移工具？ 没有 Alembic 时，我们通常怎么改数据库结构？ 在本地手改表结构（改字段、加索引）； 导出 SQL 发给同事 / DBA； 生产环境再手工执行一次； 一旦出错，回滚非常痛苦。 常见痛点： 多人协作困难：谁先改？谁后改？改了什么？ 环境不一致：本地、测试、生产的表结构经常不一样； 难以回滚：一旦上线发现问题，很难安全退回之前版本； 审计困难：几年后根本不知道这个表为什么多了几个字段。 Alembic 做的事情可以总结为一句话： ...

🧬 如何干预 Alembic：从自动生成到精细控制 💡 副标题 / 摘要 大多数人用 Alembic 的方式是：改 SQLAlchemy 模型 → alembic revision --autogenerate → alembic upgrade head。 但在真实项目里，你往往需要“插手”这条流水线：控制生成的迁移内容、插入数据迁移、在生产环境加保护、按分支管理多套 Schema…… 这篇文章会带你系统认识 “如何干预 Alembic”： 从 env.py 到单个迁移脚本，从自动生成到手写数据迁移，让你能放心地在生产库上使用 Alembic，而不是被它“牵着走”。 🎯 目标读者 适合以下读者： 已在项目中使用 SQLAlchemy + Alembic； 希望从“只会用 autogenerate”进阶到“懂得控制 Alembic 行为”； 有生产库 / 多环境（dev、staging、prod）场景，需要更安全的迁移控制； 想把 数据迁移、自定义检查、安全保护 加进 Alembic 流程的后端工程师。 🔥 背景 / 动机：为什么要“干预” Alembic？ 只使用 Alembic 的默认玩法，很容易遇到这些问题： --autogenerate 生成了一堆你不理解的操作，不敢在生产上跑； 模型删了字段，自动生成的迁移脚本也直接删列，但生产上其实还有老数据需要兜底； 想在迁移时顺便初始化一些字典表、配置表，但不知放在哪； 有些表只在测试 / demo 环境需要，生产环境不想创建； 多个服务共享一个数据库，需要 按分支/模块控制迁移范围。 要解决这些问题，你就必须学会： 在 Alembic 的各个“接缝处”插入自己的逻辑。 ...

让 FastAPI 异步真正“不卡”：asyncio.create_task + to_thread 并发实践（含 MySQL 写入） 副标题 / 摘要 把同步重活丢给线程、把可并行的子流程拆出来并发执行，让你的 FastAPI WebSocket/HTTP 服务在高并发文件处理场景下保持流畅与可靠。适合需要在事件循环中混合 CPU 计算与阻塞 I/O 的工程团队。 目标读者 中级后端工程师、服务端架构师 正在用 FastAPI/asyncio 落地异步工作流、混合 I/O/CPU 任务的开发者 背景 / 动机 常见痛点： 在异步服务里不小心执行了同步 CPU/数据库操作，单个请求“卡住”事件循环，导致同一 worker 上的其它请求/WebSocket 心跳/进度推送都被拖慢。 CPU/数据库步骤彼此本无强依赖，却被串行放到一条链上，整体时延被“关键路径”拖长。 目标： 不改变外部行为的前提下，消除事件循环阻塞。 让独立步骤并发执行，缩短关键路径。 核心概念 线程（Thread）：同一进程内共享内存，切换开销低；CPython 受 GIL 限制，纯 Python CPU 计算难并行，但适合并发等待阻塞 I/O。 进程（Process）：独立内存、无 GIL 约束，CPU 计算可多核并行；切换/通信成本更高，参数/结果需可序列化。 异步（async/await）：单线程事件循环的协作式调度；只有在 await 时让出控制权，同步阻塞会“卡死”循环。 asyncio.to_thread：把同步函数放到后台线程，释放事件循环；不等于多核加速，但对阻塞 I/O 有实效。 asyncio.create_task：并发启动一个协程，让它和当前协程重叠运行；用于编排并发，而非解除阻塞。 实践指南 / 步骤 识别阻塞点（示例项目） CPU 构树/展平/序列化：HeaderTree.from_documents、flatten_dfs、FlatHeaderTree.to_dict 同步 MySQL 写入：file_tree_table.upsert_tree 用 to_thread 包裹同步重活（释放事件循环） 在 build_file_tree 中，将 CPU/DB 步骤放入 await asyncio.to_thread(...)。 并发编排，缩短关键路径 在 full_pipeline_async：在 split 后立即 create_task(build_file_tree(...))，并发执行图片/表格处理、重组、存储；返回前再 await 构树结果。 可选：事件屏障与互斥 如需“保证某步骤不早于构树完成”，用 asyncio.Event。 多协程修改共享状态，用 asyncio.Lock 保护原子更新。 观测与参数 MySQL 连接池每进程默认较小（示例为 2），必要时调大。 Uvicorn workers 控制进程数，提升隔离与吞吐。 可运行示例 非阻塞构树与持久化（替换 build_file_tree 内部）： ...

现代加密替代方案：AES‑GCM 与 ChaCha20‑Poly1305 实战指南（附 Python 示例） 副标题 / 摘要 这篇延伸读聚焦现代 AEAD 算法，解释为什么 AES‑GCM 与 ChaCha20‑Poly1305 是 RC4 的安全替代，并提供可运行的 Python 示例、常见陷阱与最佳实践。 建议先阅读配套文章《用 Python 还原 RC4 + JWT + 自定义 SSO Token 加解密》，理解遗留方案，再迁移到本篇的现代实践。 目标读者 后端/安全工程师（中级以上） 需要在服务间或 Web 客户端安全传输数据的工程团队 计划从自研/过时算法迁移到现代 AEAD 的项目负责人 背景 / 动机 RC4 等过时算法存在结构性弱点，且难以正确、安全地使用。现代 AEAD（Authenticated Encryption with Associated Data）算法在保证“机密性”的同时还能“认证完整性”，有效防止篡改与重放，API 更易用，错误空间更小——因此成为主流推荐。 核心概念 AEAD：同时提供加密（Confidentiality）与认证（Integrity/Authenticity）的模式。 Nonce/IV（随机数）：每次加密必须唯一（对同一密钥）。常用长度：12 字节。 AAD（Associated Data）：不加密但要认证的额外上下文（例如请求头、资源标识）。 Tag（认证标签）：解密时必须验证；任何修改都会导致校验失败。 Key Derivation（密钥派生）：通过 HKDF/Argon2/Scrypt 将口令或主密钥派生为会话密钥，避免直接使用弱口令。 实践指南 / 步骤 安装依赖 pip install cryptography 生成或派生密钥 服务到服务：使用随机 16/32 字节密钥（AES‑128/256），KMS 管理与轮换。 口令到密钥：使用 HKDF（或 Argon2/Scrypt）派生固定长度密钥，避免直接使用口令。 选择算法 AES‑GCM：硬件加速广泛（x86 AES‑NI），在服务端通用、高性能。 ChaCha20‑Poly1305：对移动/无 AES 加速的设备更友好，性能稳定。 Nonce 策略 每条消息使用唯一 Nonce（12 字节），推荐 os.urandom(12)，将 Nonce 与密文一起存储/传输（前缀写入）。 AAD 的使用 将上下文信息（版本、用户ID、消息类型等）作为 AAD 提供，增强完整性绑定。 密钥轮换 引入 kid（Key ID），支持多活密钥与平滑迁移。 可运行示例 以下示例仅演示用法。请结合 KMS、密钥轮换、权限隔离与 TLS，构建完整的生产级方案。 ...

用 Python 还原 RC4 + JWT + 自定义 SSO Token 加解密（含可运行示例） 副标题 / 摘要 这篇文章带你从 0 拆解 RC4 流加密、Base64/Hex 编码，以及基于 JWT 与自定义 SSO 的鉴权设计，并给出可以复制运行的 Python 示例。示例中的密钥与发行方均为占位值，切勿用于生产。 目标读者 Python 后端/测试工程师（中级） 对鉴权、令牌与基础加密流程感兴趣的开发者 想理解 RC4 工作方式与替代方案的安全入门读者 背景 / 动机 在实际项目中，我们常需要为 HTTP 或 WebSocket 请求附带令牌进行身份校验。常见做法包括使用 JWT（对称/非对称签名）或自定义的 SSO Token（例如对某段明文进行对称加密后再以 Hex/Base64 编码）。本文整理并复现一种组合方案：RC4+Base64/Hex 与 JWT/SSO 的加解密与校验流程，帮助你在测试或 PoC 中快速上手，同时理解其安全取舍。 核心概念 RC4：经典流加密（已不再安全）。通过密钥调度（KSA）与伪随机序列（PRGA）生成密钥流，与明文字节按位异或得到密文。解密过程与加密一致（同一函数）。 Base64 与 Hex：两种将二进制数据编码为可传输文本的方式。Base64 更紧凑；Hex 可读、调试直观。 JWT：JSON Web Token。Header.Payload.Signature。常包含 iss（发行方）、aud（受众/自定义）、iat/exp（签发/过期）。 自定义 SSO Token：一种自定义明文格式（示例采用 issuer_expire_ts_userSeqId_userId），经对称加密后再编码为 Hex，便于在 HTTP 头中传输。 限制与风险：RC4 已过时且不建议用于生产；如需兼容遗留系统，应仅在测试/过渡场景，且搭配 TLS、短周期、签名与回放防护。 实践指南 / 步骤 安装依赖 pip install pyjwt 设定占位常量（不要使用真实密钥/发行方） ISSUER = "demo-issuer" SECRET = "demo-secret-change-me" RC4KEY = "demo-rc4-key-change-me" UTE_ISSUER = "ute-demo" 实现 RC4 与常用编码包装 encrypt_string/decrypt_string：RC4 后 Base64 encrypt_hex_string/decrypt_hex_string：RC4 后 Hex 构造与校验 JWT（x-auth-token） aud = [Base64(RC4(user_id)), Base64(RC4(user_seq_id))] iss/iat/exp 等标准字段 构造与校验 SSO Token（x-sso-token） 明文 UTE_ISSUER_expire_ts_userSeqId_userId → RC4 → Hex 校验发行方与过期时间 运行演示，观察生成与校验结果 可运行示例（完整代码） 仅用于学习与测试，切勿将 RC4 用于生产环境。请优先使用现代 AEAD（AES‑GCM/ChaCha20‑Poly1305）。 ...

标题 用一段优雅的 Python 代码，把 SQLAlchemy 模型安全、高效地序列化成字典 副标题 / 摘要 SQLAlchemy 模型转字典（dict）看似简单，却暗藏字段格式、关系递归、循环引用等坑。本文通过一段实战代码，带你实现一个可复用的 _to_dict 序列化工具，并分析其设计取舍与改进方向，适合正在用 SQLAlchemy 写后端接口的你。 目标读者 这篇文章适合以下读者： 使用 SQLAlchemy 做 ORM 的后端开发者 想把 ORM 模型转换为 JSON/dict 的 Python 工程师 对 模型序列化规范化 有需求的中级开发者 使用 Flask/FastAPI/Django + SQLAlchemy 的同学 一、背景 / 动机：为什么要自己写 _to_dict？ 在 Web 开发中，我们几乎每天都要做一件事： 把数据库里的 ORM 对象，转成可以 JSON 响应给前端的数据结构（通常是 dict / list）。 乍一看好像只是 obj.__dict__ 或用个 asdict 就完事，但现实中的问题包括： 日期时间字段无法直接 JSON 化： datetime / date 对象不能直接 JSON 序列化，必须格式化成字符串。 关系字段怎么处理？ 一对多 / 多对多（uselist=True） 一对一 / 多对一（uselist=False） 避免递归爆炸： 两个模型互相关联，很容易序列化时陷入无限递归。 ...

标题 别让 Pydantic 占领你的整个项目：聊聊 API 校验、Domain 模型和数据库之间的边界 副标题 / 摘要 很多用 FastAPI/Pydantic 的 Python 工程师，会不知不觉让 Pydantic Model 贯穿 API、业务、数据库所有层。本文用一个清晰的分层思路和完整代码示例，帮你搞清楚：Pydantic 适合用在什么地方，Domain / ORM 又应该怎么配合。 目标读者 这篇文章适合： 正在使用 FastAPI / Pydantic / SQLAlchemy / SQLModel 的 Python 后端工程师 刚入行 0–3 年、开始关心“分层、架构、领域模型”的开发者 想从“会写接口”进阶到“懂业务建模、懂分层”的工程师 对 “Pydantic 要不要进 Domain / 要不要用于 DB 模型” 有疑惑的人 一、背景 / 动机：为什么 Pydantic 容易“长满全项目”？ 如果你是从 FastAPI 入门后端，很可能经历过这样的路径： 用 Pydantic 定义请求体、响应体：太好用了，自动校验 + 文档 + 类型提示。 觉得既然 Pydantic 这么香，那干脆： 直接拿 Pydantic Model 当“业务对象”传来传去 甚至顺手拿它去做“数据库模型” 渐渐地，你的项目变成： ...

标题 从写路由到写“大脑”：Python 工程师如何先搞定核心逻辑，再考虑 API 副标题 / 摘要 刚入行时，我们常常一上来就写路由、设计接口、想 chat_id / message_id 怎么存，却发现真正的“智力活”——核心逻辑——总是拖到后面。这篇文章带你从「先写接口」的思维，升级到「先写大脑，再接外壳」，并串起来六边形架构、Clean Architecture、DDD 等背后的经典理念。 目标读者 适合这些同学阅读： 1–3 年经验 的 Python 后端工程师 / AI 应用开发者 正在用 FastAPI / Django / Flask 等框架写 API 的工程师 想从“CRUD 搬砖工”进化为“懂设计、能抽象”的工程师 对 六边形架构 / Clean Architecture / DDD 有点好奇但没系统看过书的人 一、背景 / 动机：为什么“先写接口”会卡死自己？ 很多刚入行的 Python 工程师（包括你我）会有这样的流程： 产品提一个新需求：做一个 AI 聊天功能。 打开编辑器，第一反应就是： 设计 URL：POST /api/chat/send_message 开始写 router：@app.post("/chat/send") 想 request body 参数长什么样：chat_id / message_id / user_id / content 想数据库表结构：chats，messages 写了一堆 API、schema、model、迁移脚本之后，才想起来： “那 AI 回复到底是怎么生成的？” ...

🚀 从阻塞到异步：为什么上传接口不该等文件处理完？ —— 用异步任务和状态跟踪构建高性能文件处理系统 🧭 副标题 / 摘要 在现代 Web 系统中，文件上传只是起点，真正的挑战在于后续的解析、索引和处理。本文带你理解为什么“上传接口不等待处理完成”是现代架构的核心理念，以及如何通过异步任务 + 状态查询实现稳定、可扩展的后台处理系统。 👥 目标读者 有一定 Web 开发经验的工程师（Python/FastAPI/Node.js 等） 想优化后端性能、提高可扩展性的中级开发者 对架构设计、异步系统感兴趣的工程师或技术负责人 🎯 背景 / 动机 很多初学者写上传接口时会这样做： @app.post("/upload") def upload_file(file: UploadFile): parse_and_store(file) # 阻塞操作 return {"status": "completed"} 表面简单，实则隐藏问题： ⏱ 超时风险高（解析/embedding/OCR可能几分钟） 🧵 阻塞主线程，拖慢整个 API 服务 💥 请求中断即任务丢失 😕 用户只能干等着，无法看到进度 解决方案就是：上传与处理分离。上传只负责“投递任务”，处理由后台 worker 异步执行，状态存储在数据库中供前端查询。 🔍 核心概念 概念 说明 异步任务（Async Job） 文件解析、OCR、embedding 等耗时操作独立运行，不阻塞主线程。 任务队列（Task Queue） 临时存放待执行的任务，如 Redis、RabbitMQ、Celery。 状态持久化（State Persistence） 将任务状态（pending / processing / completed / failed）写入数据库。 SSE（Server-Sent Events） 一种轻量的实时推送机制，前端可实时接收状态更新。 ⚙️ 实践指南 / 实现步骤 1️⃣ 上传文件接口（只负责入队） @router.post("/upload") async def upload(file: UploadFile, user=Depends(get_verified_user)): file_id = Files.create(file, user.id) # 异步提交任务（Celery、RQ、线程池等） background_tasks.add_task(process_file, file_id) return {"file_id": file_id, "status": "pending"} 2️⃣ 异步任务（后台 worker 执行） def process_file(file_id: str): file = Files.get(file_id) Files.update_status(file_id, "processing") try: parse_and_vectorize(file) Files.update_status(file_id, "completed") except Exception as e: Files.update_status(file_id, "failed", error=str(e)) 3️⃣ 状态查询接口 @router.get("/{id}/process/status") async def get_status(id: str, stream: bool = False): file = Files.get(id) if stream: async def event_stream(): while True: status = Files.get_status(id) yield f"data: {json.dumps({'status': status})}\n\n" if status in ("completed", "failed"): break await asyncio.sleep(1) return StreamingResponse(event_stream(), media_type="text/event-stream") return {"status": file.data.get("status", "pending")} 💻 可运行示例 前端轮询： async function checkStatus(fileId) { let status = 'pending'; while (status === 'pending' || status === 'processing') { const res = await fetch(`/api/files/${fileId}/process/status`); const data = await res.json(); status = data.status; console.log("当前状态:", status); await new Promise(r => setTimeout(r, 1000)); } if (status === 'completed') alert("解析完成！"); } 前端 SSE 实时监听： const evtSource = new EventSource(`/api/files/${fileId}/process/status?stream=true`); evtSource.onmessage = (e) => { const { status } = JSON.parse(e.data); console.log("文件状态:", status); if (status === "completed") evtSource.close(); }; 🧠 原理解释与取舍 模式 特点 适用场景 同步上传+处理 实现简单，但阻塞主线程 小文件、低并发、离线脚本 异步上传+状态查询（推荐） 非阻塞、可恢复、可扩展 Web 应用、后台任务 消息队列驱动 支持分布式任务、重试机制 大规模系统、微服务架构 取舍原则： ...