組織内のモデルに、調査の着眼点を与える
NTTは、重みと呼ばれるモデルの内部パラメーターが公開されたAIを複数使い、コードを自ら管理する環境で解析する研究を発表した。脆弱性研究の知見を、調査の進め方であるワークフローに組み込む点が特徴となる。モデルを動かす場所に加え、何を疑い、どう確かめるかという手順も設計対象にしている。外部へ送らないことはデータ管理の条件であり、それだけで解析の正しさが保証されるわけではない。
CyberGymは既知の欠陥を再現して評価する
評価基盤を開発した研究チームの説明では、CyberGymは188のソフトウェアプロジェクトから集めた1,507課題を収録する。代表的な評価では、修正前のコードと欠陥の説明を渡し、問題を起こす実証用のテストを生成できるかを測る。修正前には問題が出て、修正後には出ないかという照合が成功判定に使われる。既知の欠陥を再現する試験と、手掛かりのない未知の欠陥探しは、区別して読む必要がある。
63%の対象は、全課題ではなく選定した150件
今回NTTが選んだのは、メモリ破壊に関する150件。メモリ破壊は、プログラムが想定外の領域を読み書きするなどして問題を起こす欠陥の種類を指す。会社が示す48%から63%への変化は、この範囲で既存の手順と改良後を比較した結果だ。CyberGymの運営側も、試行回数や与える情報、実行方法が成績に影響し、各チームの提出値には変動があると説明する。条件が違う数字を並べて総合順位を付けるのは適切ではない。
発見後の優先順位と対処は、次の検証点
NTTは、見つけた欠陥が組織のどのシステムに関係するかを絞り込み、業務への影響を踏まえた対処につなげる研究を進めるとする。編集上は、欠陥の再現、実際の影響判断、安全な修正を別の段階として見る。今後の報告では、必要な計算資源、再現可能な評価条件、本番での運用結果がどこまで示されるかを確認したい。現時点の発表を、無人で安全対策が完結する製品の提供開始とは扱わない。
