13日の発表は、研究者とAIの分担を示す
Google Researchは11月13日、数学、化学、システム開発などで「/teamwork」を使った事例を公表した。研究者が問いや条件を定め、AIが候補の探索や検査を担う構成だ。仕組み自体は8月の説明から続くもので、今回が初登場ではない。8月の公式説明では、候補を提案・批判・改善する反復を自動化しても、目標と最終的な受入判断は人が担うとしている。
別の視点と外部の検査を組み合わせる
11月の説明では、担当ごとに必要なファイルや道具を渡し、批判する役には作成側の推論を引き継がせずに検査させる。長い作業で前提を見失う問題への対策だ。8月の資料も、単にAIを並べると初期の誤りに同調し得ると説明する。作業の種類に応じて役割や進行条件を変える設計であり、人数を増やすだけで正確になるという主張とは区別して読む必要がある。
Leanの合格が確かめる範囲
検査に挙げられたLeanは、数学の主張やプログラムの仕様を厳密な記号で表し、証明が成り立つか機械で確かめる道具だ。公式資料には、仕様を書き、その仕様を満たすことを証明する方法が示されている。一方、Google自身も、形式化された定理が元の問いと一致するかは人の確認が必要とする。編集上は、検査した対象と実際に答えたい問いの対応を、導入判断で確認すべき点と考える。
速い簡易評価にも、ずれを確かめる工程がある
関連するDuoDiscover論文は10月12日の投稿で、今回の発表日に初めて出た研究ではない。著者らは、時間のかかる本来の測定に代わる簡易な評価指標をAIに作らせ、候補を改善する仕組みを説明する。ただし簡易指標だけを攻略してしまう恐れがあるため、候補の順位が本来の評価と合うか再検査し、ずれた指標を無効にする。実用化ではこの再評価の条件が重要だ。全機能の外部提供は段階的とされ、今後の公式更新で対象機能を確認したい。