← 注目のニュースに戻る

MLPerf Training v6.1、AIの追加学習と推薦に新テスト 学習時間の比較条件を確認

作業台に並ぶ内部を開いた2台のサーバーと、奥に置かれたサーバーラック(説明用画像・現場写真ではありません)

MLCommonsは11月16日、AIを学習させる計算システムの共通テスト「MLPerf Training v6.1」の結果を公表した。課題の成否を評価して追加学習する大規模言語モデルと、推薦モデルの新テストを導入。定めた品質に達するまでの時間を比べるもので、完成したAIの賢さや実際の運用費を一つの順位で示すものではない。

押さえておきたい要点

  • 新たにQwen3.5-397Bの強化学習と、DLRMv4-HSTUの推薦テストを追加。
  • 基本の指標は、指定データと品質目標で学習を終えるまでの経過時間。
  • 機器数、ソフトウェア、部門、提供形態を揃えずに結果だけを比較しない。

追加学習と推薦の二つのテストを導入

MLCommonsは11月16日、MLPerf Training v6.1の結果を公開した。新たな課題は、大規模言語モデルQwen3.5-397Bの追加学習と、推薦モデルDLRMv4-HSTUの学習だ。前者にはGRPOという強化学習の方法を使い、ソフトウェア開発の課題などを通じてモデルを調整する。強化学習とは、試した結果の評価を手掛かりに行動を改善する学習方法。後者は、過去の反応の並びを扱う推薦の仕組みである。

速さの指標は、同じ品質目標までの時間

公式の説明では、各テストは指定されたデータを使い、決められた品質目標に達するまでの実際の経過時間を測る。単に一秒間に何回計算したかを比べるものではない。基準モデルを揃えるClosed部門と、異なるモデルなどを認めるOpen部門があり、比較で許される工夫の範囲も異なる。編集上は、短い学習時間を見ただけで、完成したモデルの回答能力が別のAIより高いと判断しないことが重要だ。

結果表では機器数とソフトウェアも一緒に読む

公開の結果表には、課題名と学習時間のほか、公開ID、提出組織、アクセラレーターの種類と総数、ノード数、ソフトウェアなどが並ぶ。アクセラレーターはAI計算を担うGPUなど、ノードは計算機のまとまりを指す。今回開いた表では複数の開催回の結果が同時に表示されており、版の確認も必要だった。機器を増やした効果と、同じ規模で処理を改善した効果は区別して読む必要がある。

追加学習では計算機全体のつり合いが問われる

専門媒体TechArenaは、強化学習の追加学習には、モデルを更新する処理、課題への回答を生成する処理、通常のプロセッサーで回答を試験する処理が組み合わさると分析した。このため、半導体一個の速さだけでなく、各処理が滞らず進むシステム全体の評価になる。公式ページは公開後に結果が修正・無効化される場合もあると案内している。導入検討では最新版と変更履歴を確認し、費用や電力、実際に使う課題との違いを別に調べたい。

確認できない点・読み方

提出者による共通ルール下の結果を紹介しており、当サイトが再測定したものではない。異なる課題、機器数、ソフトウェアの結果を同一条件とは扱わない。学習時間の短縮率を、知能・安全性・実運用費の改善率に読み替えない。

GO TO THE SOURCE

出典を読む

本記事は出典に基づきAIを使用して作成した独自の要約です。転載記事・現地取材記事ではありません。