核心要点速览
- 关键数字：硬件不变（同一GB300环境），推理提速约1.68倍；单用户每秒423 token，批处理加投机解码每秒842 token。
- 技术核心：NVIDIA CentML的Benjamin用Cute DSL做激进的Megakernel融合，写出约12,000行的Megakernel并接入vLLM。
- 不动模型本身：提速来自推理引擎层的内核优化，模型无需重新训练；NVIDIA也在为DeepSeek v4.1等模型推进同类vLLM优化。
- 仍未确认：Kimi K3的正式提供时间、价格以及一般用户的使用方式，目前都没有公开信息。
SemiAnalysis披露：NVIDIA新解码内核让Kimi K3提速1.68倍
Kimi K3是一款参数量达2.8万亿的大模型。NVIDIA为推理引擎vLLM实现了一套专门针对解码（decode）阶段的新内核后，在同一套GB300环境中，它的推理速度提升了约1.68倍。实现者是NVIDIA CentML的Benjamin，他用Cute DSL做了激进的Megakernel融合，最终写出约12,000行的Megakernel，这是整件事的技术核心。
消息来自SemiAnalysis（@SemiAnalysis_）2026年10月18日的X帖子，获得191,779次浏览、2,208个赞、714次收藏和169次转发。最吸引人的是两组实测：单用户每秒423 token，叠加批处理与投机解码后达到每秒842 token。帖子还提到，NVIDIA正在把vLLM优化推进到DeepSeek v4.1等其他模型。
目前可查的一手信息是SemiAnalysis官网（https://www.semianalysis.com）和它的X帖子。SemiAnalysis是专注AI与半导体供应链的独立研究媒体，订阅者超过31.8万，公开了InferenceX、GPU Pricing Index、ClusterMAX、ChipBook等基准与模型。
出处[1]
Megakernel融合怎么提速：把多次内核调用合成一个
原理是用Cute DSL编写只服务于vLLM解码流程的内核，再通过Megakernel融合把多个运算合并到一个内核里执行。以往拆成多次内核调用时，每次启动和调度都有开销；合并之后这部分开销被压掉，硬件不变也能把吞吐提上去。
按介绍，使用方只需引入最新版vLLM并启用对应的解码内核，模型本身不需要重新训练。不过公开信息里没有写明是哪个vLLM版本、用什么参数开启，想自己复现还得等更具体的文档。
两组数字要分开看：423 token/s是单用户场景，842 token/s是批处理加投机解码的结果，1.68倍则是同一GB300环境下的前后对比。它们衡量的是推理吞吐，而不是回答质量；意义在于让2.8万亿参数级的模型也能达到实用的响应速度。
出处[1]
复现这组数字的前提，以及DeepSeek v4.1等后续模型
要吃满这次提速，关键是同时使用投机解码和批处理，并选用Megakernel融合生效的解码专用内核。解码占比高的负载更容易体现效果，可以对照SemiAnalysis的InferenceX基准观察GPU显存带宽的使用情况，再逐步细调设置。
后续方面，NVIDIA正在为DeepSeek v4.1等模型推进vLLM优化，同样的Megakernel手法有望用到更多模型上。SemiAnalysis还公开了InferenceX、GPU Pricing Index、ChipBook、Fab Map、Die Yield Calculator等工具，可以把性能和成本放在一起比较。
局限也很明显：数据只来自GB300这一种硬件，其他GPU上的效果没有公开；Kimi K3本身的正式提供时间、价格和一般用户的使用方式，目前都还未确认。
出处[1]
X（推特）首发原帖
可在 X 上直接查看创作者发布的原帖与互动详情。
常见问题
Kimi K3提速1.68倍，是和什么相比？
是在同一套GB300环境中，与启用NVIDIA新解码内核之前相比。硬件没有更换，提速来自vLLM里那套约12,000行的Megakernel。
出处[1]
每秒423 token和842 token有什么区别？
423 token/s是单个用户请求时的速度；842 token/s是同时使用批处理和投机解码后的速度。两者衡量的都是推理吞吐，不代表模型回答质量有变化。
出处[1]
这次提速需要重新训练Kimi K3吗？
不需要。据介绍，优化发生在vLLM的解码内核层，引入最新版vLLM并启用对应内核即可，模型侧无需再训练。具体版本号和开启方式尚未公开。
出处[1]
普通用户现在能用上Kimi K3吗？要付费吗？
目前未确认。Kimi K3的正式提供时间、价格和面向一般用户的使用方式都没有公开，SemiAnalysis的报道聚焦在推理性能上。
出处[1]
参考链接与官方出处
- SemiAnalysis | AI and Semiconductor Research, Models, Advisorywww.semianalysis.com
- Kimi K3 関連ソース (1)x.com
