EAGLE-4开源推理代码发布：投机解码草稿模型随并发自动调整，4张B300跑出961.6 tokens/s

“EAGLE-4 is here”：第四代投机解码代码开源

EAGLE-4 是 Eagle（@EagleCorp）公开的开源推理代码，仓库正式名称为“Official Inference Code of EAGLE-4”，沿着EAGLE-1、EAGLE-2、EAGLE-3一路做推理加速。核心是投机解码：一个小的草稿模型先往前猜出若干候选词元，再由大模型一次性验证，猜对的直接采纳，因此最终输出仍由大模型把关，质量不变。第四代的新意在于草稿模型会根据同时处理的请求数和GPU配置自动调整，官方宣称最高可提速约4倍。

Eagle 于2026年10月20日（UTC）在X上发帖宣布“EAGLE-4 is here”，同时给出实测：Qwen3.8-27B 在 TokenSpeed 上运行，BF16精度、4张NVIDIA B300、TP4、单请求、T=0，输出速度961.6 tokens/s。这条帖子拿到约520万次浏览、1.1万以上点赞、2,259次收藏和731次转发。

官方仓库地址是 https://github.com/eagle-hq/EAGLE-4 ，里面有源码、环境搭建步骤和推理示例，免费查看、无需注册，可以直接在电脑上浏览和clone。它不是网页应用，真正跑起来需要Python环境、NVIDIA GPU，以及与目标模型规模相匹配的显存和CUDA环境。

出处[1][2]

草稿模型怎么配置，961.6 tokens/s 在什么条件下测得

基本用法是取得推理代码、搭好环境，然后在配置文件里指定目标模型名、草稿模型、并发数和GPU构成。若要按官方方式搭配 TokenSpeed，就加载 Qwen3.8-27B，设定 BF16、TP4、T=0，以单请求方式运行并测量输出词元速度。草稿模型的规模和策略不需要手动挑，会跟随并发数与GPU配置自动调整。

性能指标用 tokens/s 衡量，官方帖子里的961.6 tokens/s 是在下表全部条件同时满足时得到的。卖点是在质量不下降的前提下最高约4倍加速，验证时要同时看速度和输出质量的基准。跑不起来时，优先排查CUDA版本、显存是否不足、模型兼容性以及TP设置是否与卡数一致。

出处[1][2]

复现官方数字与用于自家LLM降本

想看清EAGLE-4在自己机器上的真实提升，先按官方的BF16、TP4、T=0、单请求条件测一条基线。加大并发时要根据GPU数量和显存调整，并对比草稿模型自动调整前后的效果。换成Qwen3.8-27B以外的模型时，需要先确认兼容性和分词器，TokenSpeed 的设置保持一致，延迟与吞吐分开测量，否则容易得出误导性的结论。

后续进展可以关注GitHub仓库的Issue和Pull Request、社区的基准复测以及适配其他模型的尝试；在X上可以通过 @EagleCorp 或话题 #EAGLE4 分享测试结果。结合NVIDIA、Meta、Intel、AMD、Perplexity的采用案例，EAGLE-4 的现实用途是压低自家LLM的推理成本、缩短聊天应用的响应时间。

出处[1][2]