まず、ここだけ

  • 650億の密モデルを12兆トークンでゼロから事前学習し、文脈長は最大100万。
  • TerminalBench 2.1は80.52で、816Bや975B級の米国製オープンウェイトを上回る。
  • 研究開発費は3200万ドル。事後学習データは購入せず合成データで組んだ。

チップ設計の内側から出た650億の汎用版

Today we release Ripple-65B Preview, our 65B dense LLM we pretrained from scratch.

2026年11月4日、Ricursive Intelligence（@RicursiveAI）はRipple-65B Previewを公開した。同社はハード、ソフト、モデルを同時に最適化するフルスタックのAI研究所で、自社のチップ設計基盤を動かすために言語モデルをゼロから訓練した。今回出すのは、その独自モデルの汎用版である。

事前学習は12兆トークン、文脈長は最大100万。密な構造は推論の速さと低遅延のトークン生成を狙い、パラメータ規模が小さいため、計算は厚い一方でメモリ帯域がデータセンター向け加速器より細いNVIDIA DGX Sparkのようなローカル機でも効率よく載る、と同社は説明する。

参照先[1][2]

10分の1の費用でエージェント実装の米国記録

公式ポストは、エージェント向けコーディングで米国製オープンウェイトの新基準だと位置づける。TerminalBench 2.1は80.52。Reflection Beam 501Bの80.1、Meta Muse Spark Open 816Bの76.4、Thinking Machines Inkling 975Bの63.8、NVIDIA Nemotron 3 Ultra 550Bの56.4を上回った。

モデル規模とスコア
Ripple-65B Preview65B密・80.52
Reflection Beam501B・80.1
Meta Muse Spark Open816B・76.4
Thinking Machines Inkling975B・63.8
NVIDIA Nemotron 3 Ultra550B・56.4

参照先[1][2]

力任せの強化学習を避けた3200万ドル

同社は開発と訓練の総額を3200万ドルとし、エージェント向けコーディングで従来のオープンウェイト最上位を訓練した費用の10分の1だと見積もる。この金額はラダー開発、データ配合、評価、デバッグ、合成データ、事後学習レシピ、最終の本学習と事後学習までを含む、ゼロからの研究開発費全体だ。

比較としてページは、2023年にサム・アルトマンがGPT-4の訓練は1億ドル超と言ったこと、ダリオ・アモデイがフロンティアは最大10億ドル、2026年から2027年の事前学習だけで100億から1000億ドル規模になり得るとの見通しに触れている。力任せの強化学習は採らず、SFTとRLを計算効率優先で反復した。

  • 事後学習データは購入せず、自前の合成データパイプラインと品質フィルタ、被覆指標を用意
  • 学習・サービング基盤向けにアーキテクチャを共同設計し効率を上げた
  • 慎重なモデルラダーが大きな改善につながったとページは見出しで示す
  • 公開先はHugging Face、Together AI、GMI Cloud、OpenRouter。Fireworksは当日中に開始
  • ライセンスはApache 2.0。詳細はricursive.com/ripple

参照先[2]

Ripple-65B Previewの公開ページ元のページを別タブで開いて確認できます
『Ripple-65B Preview』公式ページ・関連リンクを開く ↗

話題の元投稿

作者の投稿や紹介を、X で確認できます。

よくある質問

3200万ドルは最終の事前学習1回だけの費用か

違う。ラダー開発、データ配合、評価、デバッグ、合成データ生成、事後学習レシピ、最終の本学習と事後学習までを含めた、ゼロからの研究開発費全体だと注記されている。

参照先[2]

参考リンク

  1. Ripple-65B Preview 関連ソース (1)x.com
  2. Ripple-65B Preview 関連ソース (2)www.ricursive.com