一つのマニュアルを複数の教材に展開
NTTが11月12日に発表したのは、既存の言語モデルへ業務固有の知識を定着させる調整技術だ。元のマニュアルから仕様書やFAQなど表現の異なるデータをAI自身に作らせ、それらを学習に使う。単に同じ文書を繰り返し読ませる方法と区別している。チューニングとは、モデルを特定の用途に合わせて追加で調整する作業で、今回の対象は主に新しい専門知識の獲得となる。
正答率の改善は資料内の問題で評価
実験ではNTTの実業務マニュアルを使い、その記載範囲から作った問題への回答を測った。tsuzumi 2では学習前の65.3%に対し、先行手法が最大73.3%、新手法が83.1%だったとする。軽量なLlama 3の3Bモデルでも比較手法より良い結果を得たという。ただし、これらは会社発表の評価であり、未知の社内規則や別業種の質問にも同じ改善幅が出るとは読み替えられない。
文書を読む能力と知識を覚える調整
背景として、NTTは5月19日にもtsuzumi 2の更新を発表し、日本語の図表を含む業務文書の読解や数値処理を強化したと説明していた。そちらは文書を画像として読み、必要な情報を取り出す能力などを扱う。今回の発表は、限られた文書から学習用の材料を作ることに焦点がある。編集上も、元の文書を読み取る性能と、特定の業務知識を追加で覚える効果を分けて評価する必要がある。
導入予定と展示会の参加条件を確認
NTTはグループ各社への導入を予定し、11月のR&D FORUMで紹介するとしている。公式の会場案内では、見学日は18〜20日、24日、25日で、参加はNTTグループ社員からの完全招待制とされる。無料でも誰でも直接入場できるイベントではない。技術発表だけでは各社向けの提供時期や費用、運用上の精度は決まらないため、今後の導入事例や評価条件の追加公開を確認したい。