追加学習と推薦の二つのテストを導入
MLCommonsは11月16日、MLPerf Training v6.1の結果を公開した。新たな課題は、大規模言語モデルQwen3.5-397Bの追加学習と、推薦モデルDLRMv4-HSTUの学習だ。前者にはGRPOという強化学習の方法を使い、ソフトウェア開発の課題などを通じてモデルを調整する。強化学習とは、試した結果の評価を手掛かりに行動を改善する学習方法。後者は、過去の反応の並びを扱う推薦の仕組みである。
速さの指標は、同じ品質目標までの時間
公式の説明では、各テストは指定されたデータを使い、決められた品質目標に達するまでの実際の経過時間を測る。単に一秒間に何回計算したかを比べるものではない。基準モデルを揃えるClosed部門と、異なるモデルなどを認めるOpen部門があり、比較で許される工夫の範囲も異なる。編集上は、短い学習時間を見ただけで、完成したモデルの回答能力が別のAIより高いと判断しないことが重要だ。
結果表では機器数とソフトウェアも一緒に読む
公開の結果表には、課題名と学習時間のほか、公開ID、提出組織、アクセラレーターの種類と総数、ノード数、ソフトウェアなどが並ぶ。アクセラレーターはAI計算を担うGPUなど、ノードは計算機のまとまりを指す。今回開いた表では複数の開催回の結果が同時に表示されており、版の確認も必要だった。機器を増やした効果と、同じ規模で処理を改善した効果は区別して読む必要がある。
追加学習では計算機全体のつり合いが問われる
専門媒体TechArenaは、強化学習の追加学習には、モデルを更新する処理、課題への回答を生成する処理、通常のプロセッサーで回答を試験する処理が組み合わさると分析した。このため、半導体一個の速さだけでなく、各処理が滞らず進むシステム全体の評価になる。公式ページは公開後に結果が修正・無効化される場合もあると案内している。導入検討では最新版と変更履歴を確認し、費用や電力、実際に使う課題との違いを別に調べたい。
