3月の原稿から11月の掲載発表へ
東京科学大学などは11月11日、材料の性質を文章から予測するZEBRA-Propを発表し、同日付のAdvanced Intelligent Systems誌への掲載を案内しました。同題の査読前原稿は3月27日に公開されています。今回の発表を、研究構想が11月に初めて登場したという意味には取りません。焦点は、既存の言語モデルを再学習しないまま物性予測に使う設計です。
文章の表現を固定し、後段のモデルを学習する
著者の原稿によると、材料科学に特化した言語モデルで文章を「埋め込み」と呼ぶ数値表現へ変換します。複数の文章の表現を、学習可能な重みで組み合わせ、小規模なニューラルネットワークへ渡します。大きな言語モデル自体を目的ごとに再調整する処理を省くため、学習の負担を減らせます。手法名にゼロショットとあっても、後段まで学習が不要という意味ではありません。
95％短縮にはデータと比較対象の条件がある
大学発表は、約2200件の材料データとGPU1基で比べたとき、学習時間がLLM-Propより約95％短かったと説明します。GPUは多数の計算を並行して処理する装置です。一般的なPCでも同規模のデータを扱えるとしていますが、すべての規模で同じ時間になるという評価ではありません。原稿でも、約14万件のデータと小規模なデータを分けて検討しています。
実験記録への応用と精度の限界
著者の原稿は、軽い計算負担でLLM-Propに近い予測性能を得たと報告しています。一方、大学発表では、原子配列を直接扱う手法には精度で及ばないとも説明します。文章で書ける合成条件や測定条件への展開は今後の期待です。編集上の考察として、導入時は学習時間だけでなく、入力できる情報と、目的の物性で許容できる予測誤差を合わせて判断することが重要です。