会話の途中の変化も翻訳音声に反映
DeepLは11月11日、リアルタイム音声翻訳の新モデルAureを発表した。12日にはImpress Watchが日本語で報道している。会社の説明では、話者らしい声を維持するだけでなく、会話中に変化する感情の表れや強調、話す速さを翻訳音声へ反映する。これは入力された言葉の意味を訳す処理に、話し方の変化を扱う仕組みを加えるものだ。感情そのものを正確に判定できることを、今回独立に確かめたわけではない。
冒頭の声の再現から継続的な分析へ
従来モデルは会話の冒頭で捉えた話者の声を基に翻訳音声を作っていたと、DeepLは説明する。Aureは元の音声と翻訳された言葉の両方を使って、話し方を継続的に分析するという。抑揚やリズムなどは専門的にはプロソディと呼ばれ、同じ文でも受け手に伝わる意味合いを左右する。開発元は交渉での強調などを用途に挙げるが、皮肉や微妙な感情があらゆる場面で伝わるとの保証を示す説明ではない。
対応言語と自動適用の対象を確認
Aureは、DeepL Voiceのオンライン会議、対面会話、Voice APIの対応言語へ自動適用され、追加設定は不要と案内されている。APIは外部のアプリから機能を呼び出すための窓口である。対応は英語、ドイツ語、スペイン語、フランス語、イタリア語、日本語、ポルトガル語、韓国語の8言語。FAQでは、それ以外の言語には従来の音声モデルが自動的に使われると説明する。DeepLのすべての翻訳機能が同じ新モデルに切り替わるという意味ではない。
声や会議データの保持は会社の説明
公式FAQでは、永続的な音声プロファイルは作らず、音声をメモリ上で一時処理してセッション終了時に削除すると説明している。文字起こしや翻訳データも永続保存せず、会議データをモデルの学習には使わないという。これは提供元が公表する方針で、こちらが保存や削除の実装を監査した結果ではない。今後は対応言語の追加に加え、実際の雑音や話者の違いに対する品質評価、利用するサービスの条件を確認する必要がある。