Kimi K3とは？（概要と注目されている理由）
Kimi K3は2.8兆パラメータを持つ大規模AIモデルとして言及されています。NVIDIAがvLLM向けに新しいデコードカーネルを実装したことで、同じGB300環境でも推論が約1.68倍高速化し、注目を集めています。
参照先[1]
どこで使える・試せる？（公式リンクとアクセス方法）
現時点で確認できる関連情報はX上の投稿で、Kimi K3やvLLMの新デコ���ドカーネルに関する公式提供、利用開始方法、料金は明示されていません。GB300でのベンチマーク値が示されており、公式リンクや続報の確認が必要です。
参照先[1]
主な特徴・使い方・仕様まとめ
主な特徴は、2.8兆パラメータのKimi K3を対象に、NVIDIAのvLLM向け新デコードカーネルで推論を最適化する点です。単一ユーザーで毎秒423トークン、バッチ処理と投機的デコード併用で毎秒842トークンに達するとされます。
参照先[1]
参考リンク
- Kimi K3 関連ソース (1)x.com
