まず、ここだけ
- Q LabsのSamip氏は、人間がLLMより約100万倍サンプル効率が高いとXで主張した。
- 脳は約100兆シナプスで約2億トークンを学び、Chinchillaは1兆パラメータに20兆トークンを当てる。
- トークンあたりパラメータは7桁離れ、千万億パラメータ級へ外挿する学習法を論文で示した。
100万倍の効率差を、パラメータ不足で説明する
人間はLLMよりおよそ100万倍サンプル効率が高く、納得のいく説明はほとんどなかった。答えの大きな部分は、LLMが桁違いにパラメータ不足であることだ。
Q Labs共同創業者のSamip氏（@industriaalist）は2026年11月2日、人間が大規模言語モデルよりおよそ100万倍サンプル効率が高いのに、納得できる説明がほとんどないと投稿した。同氏の答えの中心は、現行のLLMが桁違いにパラメータ不足だという主張である。閲覧は約16.7万、いいね2632、ブックマーク2051に達した。
- 発信者はデータ効率と汎化を解くQ Labsの共同創業者
- 比較の軸は、トークンあたりのパラメータ数
- 脳とChinchilla最適の差を7桁（7 OOMs）と表現
- 共同作業者として@akshayvegesna、@EthanBaron78553、@asatheesh6561を明記
参照先[1]
100兆シナプスとChinchilla最適のあいだ
投稿が置く数字は単純だ。脳は約100兆のシナプスを使い、言語としては約2億トークンから学ぶ。Chinchillaのスケーリング則が処方するのは、1兆パラメータのモデルを20兆トークンで学習する配分である。パラメータをトークン数で割ると、両者はおよそ7桁離れる、という対比が議論の芯になる。
| 項目 | 脳 | Chinchillaの処方 |
|---|---|---|
| 学習の器 | 約100兆シナプス | 1兆パラメータ |
| 言語データ | 約2億トークン | 20兆トークン |
| 投稿上の読み | 高いサンプル効率 | トークンあたりパラメータが7桁少ない |
参照先[1]
千万億パラメータへ外挿する学習法
Samip氏らは、データが制約になる局面の新しいスケーリング則と学習アルゴリズムを提示したと述べる。到達点として示すのは、外挿した千万億パラメータ級のTransformerだ。全文論文の主導は@EthanBaron78553で、@ShmuelBermanと@andrewgwilsが名を連ねる。
議論が割れやすいのは、100万倍という効率差の主因をパラメータ不足へ寄せた点と、千万億パラメータを外挿として語る点にある。Chinchillaはデータとパラメータの均衡を示してきた定番であり、そこから7桁少ない側に脳を置く読みは、モデルを大きくすればデータ効率が人間へ近づくのかという問いを前面に出す。
参照先[1]
話題の元投稿
作者の投稿や紹介を、X で確認できます。
