主要有
Token Bucket
📌 概念释义与技术定位 (Definition & Overview)
Token Bucket（令牌桶）是一种用于控制数据流速率并允许突发流量的流量整形算法，通过恒定速率生成令牌并消耗机制，在保障平均带宽的同时支持短时峰值传输。
令牌桶算法是一种经典的流量控制与速率限制机制，其核心在于维护一个容量有限的令牌桶。系统以恒定速率向桶内填充令牌，数据包发送需消耗对应数量的令牌；若桶内令牌不足，则丢弃或排队数据包。该算法最早应用于网络层的 QoS（服务质量）领域，用于实现流量监管（Policing）与整形（Shaping）。与强制匀速传输的漏桶算法不同，令牌桶允许在令牌积累时产生突发流量，从而更真实地模拟网络拥塞场景，是分布式系统限流、API 网关速率控制及大模型推理资源调度中的基石算法。
在现代计算架构中，令牌桶算法已从单纯的网络流量控制演变为通用的资源调度与并发控制范式。在大模型（LLM）应用场景下，它被广泛用于控制推理请求的并发度（Concurrent Requests），防止因突发流量导致 GPU 显存溢出或 Token 生成速率失控。其核心价值在于平衡了‘平滑性’与‘突发性’：既保证了长期平均的吞吐量上限，又允许短暂的流量尖峰，避免了因过度平滑导致的资源闲置。结合 Redis 等分布式存储实现，该算法已成为构建高可用、高吞吐微服务架构的关键组件，尤其在处理非均匀分布的 AI 推理负载时表现卓越。
⚙️ 核心架构与工作机制 (Technical Mechanism)
令牌桶的底层运行机制基于‘生成 - 消耗’模型。系统维护两个关键参数：令牌生成速率（r）和桶容量（b）。在时间间隔 t 内，系统向桶中注入 r*t 个令牌，若超过容量 b 则溢出丢弃。当有数据包到达时，算法检查桶内剩余令牌数，若足够则立即消耗并发送，否则根据策略丢弃或入队。在大模型推理场景中，桶容量通常映射为并发线程数或 GPU 实例数，生成速率对应每秒可处理的请求数。其关键优势在于能够区分‘突发’与‘持续’流量：在空闲期积累令牌形成‘信用’，在高峰期消耗信用，从而平滑了后端计算资源的压力波动。实现上，单机可用轮询或自旋锁，而分布式环境常采用 Redis Lua 脚本保证原子性，防止多节点竞争导致的限流失效。
📖 权威专著深度引证与原文精粹 (Expert Book Insights)
1 本专著引用《服务端开发 技术、方法与实用解决方案》
郭进
“单机限流算 法主要有令牌桶（Token Bucket）、漏桶（Leaky Bucket）和计数器 3 种。”
🚀 典型应用场景 (Industrial Applications)
大模型推理服务的并发请求控制（Concurrent Request Limiting）
API 网关的接口速率限制与防刷机制
分布式消息队列的流量整形与背压控制
流式生成（Streaming Generation）的 Token 输出速率调节
⚖️ 技术优势与工程权衡 (Trade-offs & Pros/Cons)
🟢 核心优势与技术特性
- + 支持突发流量，允许在令牌积累期间处理短时峰值请求，避免资源浪费。
- + 实现简单高效，计算复杂度低，易于在单机与分布式环境中扩展。
- + 能够精确控制长期平均速率，同时提供灵活的突发窗口，适应非均匀负载。
🔴 工程考量与潜在挑战
- - 桶容量有限，若突发流量超过容量上限，会导致请求直接丢失而非排队，可能影响用户体验。
- - 在分布式高并发场景下，若缺乏严格的原子性控制（如使用 Redis Lua），可能出现限流绕过或计数错误。
- - 对于需要严格保证延迟（Latency）的场景，突发流量可能导致后端资源瞬间过载，需配合其他算法（如漏桶）使用。
❓ 常见问题速查 (FAQ)
为什么在现代软件架构中需要重视 主要有？
在何种场景下应当优先选用 主要有？
🔗 推荐协同基座模型与开源工具链
学术引证与可靠性指数
引用专著数
全库出现频次
本词条定义与原理解析直接溯源自行业权威专著与最新同行评审成果，保障工程决策严谨性。
