200ドルでGPT-5に勝ったCadmus — 3つの示唆

200ドルでGPT-5を打ち負かした小規模AI、3つの示唆

arXivに2月9日に公開された論文が興味深い。200ドル未満で訓練したAIが特定のタスクでGPT-5を打ち負かした。^[arXiv] Russ WebbとJason Ramapuramが発表したCadmusというシステムである。

Cadmusは3つの要素で構成される。整数ベースの仮想マシン、実際のプログラムデータセット、トランスフォーマーモデルである。これらすべてを200ドル以下のコンピューティングリソースで訓練することができる。^{[Cadmus論文]}

Cadmusは整数演算タスクで100%の正確度を記録した。同じタスクでGPT-5は95%にとどまった。^{[arXiv論文]} 誤解してはならない。CadmusがGPT-5よりも全体的に優れているという意味ではない。

特定の目的に合わせて設計された小規模モデルが、汎用大型モデルを打ち負かすことができるということである。研究者らはGPT-5が推論過程で未知の事前知識を引き出すと指摘した。訓練データと性能の関係を透明に分析できないという限界がある。

この研究の示唆は明確である。AI研究に数百万ドルのインフラが必ずしも必要なわけではない。Cadmusのような小規模システムでも、プログラム完成、分布外行動、推論能力といった核心的なテーマを研究することができる。

訓練データを完全に統制し、モデル内部を透明に見ることができる。大型モデルでは不可能なことである。大学の研究室や個人研究者にも道が開かれたことになる。参考になれば幸いである。

Q: CadmusはGPT-5よりも全体的に優れているのか？

A: そうではない。Cadmusは整数演算という特定のタスクでのみGPT-5を上回った。汎用言語モデルと直接比較するのは適切ではない。目的に合わせて設計された小規模モデルが特定の領域で大型モデルを打ち負かすことができるという点が核心である。Cadmusの強みは性能よりも研究の透明性にある。

Q: プログラム合成とは正確には何か？

A: プログラム合成とは、AIが与えられた条件や例を見て自動的にコードを生成する技術である。コード自動補完やコード生成ツールの基盤技術と見なせる。Cadmusはこの過程を小規模で再現し、研究者が内部動作を透明に分析できるようにしたシステムである。

Q: 200ドルで誰でもこの実験を再現できるのか？

A: 論文によると、Cadmusのトランスフォーマーモデルの訓練に200ドル以下のコンピューティングリソースが必要である。クラウドGPUを使えば、大学院生や個人研究者も十分に再現できる。ただし、仮想マシン設計やデータセット構成など、システム全体を理解するには関連知識が必要である。

この記事が役に立ったなら、AI Digesterを購読してください。