外国人留学生日本語の音声合成における話者性を保持した韻律補正

Editor's Notes

1. cambridge 座長の人が, 「〜です、よろしくお願いします」 ご紹介ありがとうございます 東京大学の関澤が, このタイトルで発表いたします [メモ: 音声をくっけること]
2. [ここでいうような, ノンネイティブのそれは, 学習者ということ] [目的や社会的意義は???] [唐突じゃね] 一般に, ノンネイティブ話者の音声を用いたテキスト音声合成では, 当該話者の話者性は強く反映される一方で, 合成音声の, 言語としての自然性は大きく劣化されます. [母語の影響により, という理由説明を含める] この点に対して, 日本人英語学習者の音声合成を目的とした過去の研究では, 日本語と英語の韻律の違いに着目して, 隠れマルコフモデル, HMMの部分的なモデル適応により韻律補正を施し, 日本人英語学習者の英語合成音声を, 当該話者の話者性を保持したまま, その自然性を改善することが可能であるとされました. 「このような, HMMの部分的モデル適応による韻律補正の手法は, 他の言語の組み合わせでも, 有効である可能性が考えられます」 本発表では, この手法を中国人留学生の日本語の音声合成の韻律補正へと応用することにより, 話者性を保持したまま, 言語としての自然性の改善が可能であることを示します. 中国語と日本語の韻律の違いに着目してHMMの部分的のモデル適応を行うことにより, 当該話者の話者性を保持したまま, 自然性を大幅に改善することが可能となります. [他の言語ペアでも有効であるかどうか, の流れ] [実験的評価で, 話者性自然性が改善できることを示します]
3. [ここで何を説明すべきなのか] ・本研究では, HMM音声合成を利用しました. [聞いている人は, HMM音声合成の枠組みを説明する: 学習部で, どのような処理で何が出来上がるのか. ] 1分くらい使う まず、全体を説明して, 細かいところに入る 大枠: 学習部と生成部があるということをいう 学習部: テキストと収録音声 それに対して, テキスト解析, 音声分析 その結果HMMが出来上がる 音声特徴量は.... 合成部では, [採用します: 基本的に, 理論では, 現在形になる, 結果の報告などは過去形になる] ---------------------------------------------- HMMを用いた音声合成について説明いたします. 音声合成器は, 学習部と合成部によって構成されます. 学習部では, 学習データとして, 収録された音声と, それに対応するテキストを用意します. これらのデータをもとに, テキスト解析により音素列, 音声分析により特徴量の分析を行い, 結果得られたデータをもとに, 話者依存のHMMが作成されます. ここで, HMMにおける特徴量は, スペクトル, 音源, パワー, 継続長を用いました. 生成部では, 学習されたHMMを用いて, テキストを入力, 合成音声を出力とするような音声合成を行います テキストを解析することによって得られる音素列をHMMの入力とすることにより, 音声特徴量が出力され, それを合成することによって, 合成音声が得られます. [学習部では, 学習データとして, テキスト、および, それに対応する収録音声を用意します. テキストデータを解析することにより, 対応する音素列が得られます. また, 収録音声を分析することにより, 基本周波数, メルケプトラム, 等の音声特徴量が得られます. これらの解析の結果得られたデータを用いて, 話者依存のHMMが学習されます.]
4. 続いて, 日本人英語の音声合成の韻律補正, およびそれを可能とする, HMMの部分的なモデル適応について説明します. ノンネイティブ音声の韻律は, 発話者の母語の影響を受けます. 日本語と英語の韻律の違いとしては, 日本語は, モーラ等時性・ピッチアクセント言語であり, 一方で, 英語は, ストレス等時性・ストレスアクセント言語である, ということが挙げられます. したがって, 日本人英語学習者の合成音声のうち, パワーと継続長を補正することが有効となります. 韻律の補正は, HMMの部分的なモデル適応によってなされます. まず, 英語母語話者のHMMを学習によって生成します. この英語母語話者のHMMをモデル適応することによって, 日本語母語話者のHMMが得られます. (このモデル適応において, パラメータの一部をモデル適応せずに英語母語話者のものを保持することにより, 韻律の補正が可能となります. ) このモデル適応において, 英語と日本語の韻律的な違いを反映する, パワーと継続長を, 日本語話者のパラメータに適応せずに英語母語話者のパラメータを保持することにより, 部分的なモデル適応を行います. これにより, 話者性を反映するとされるスペクトルと音源パラメータを日本語母語話者のものとしつつ, 自然性を反映するとされるパワーと継続長を英語母語話者のものとするようなHMMが作られます.(ここは順序を先に開いた方が良き) 当該話者の話者性を保持しつつ, 自然性を改善した音声合成が可能となります, [母語の学習を言わないとダメ] [モーラ↓の発音 モーラ↑等時性] [何でこの方向なのか: ] [モデル適応のやり方は理解しておきたい. CSMAPLR & MAPとは??: 適応行列Aとバイアスベクトルbを, 最尤推定することによって求められる. ]
5. 本発表では, この手法を, 中国人留学生の日本語の音声合成の韻律補正へと応用します.
6. 中国語は, シラブル等時性・声調言語であり, 日本語は, モーラ等時性・ピッチアクセント言語であることを踏まえると, 基本周波数f0と継続長の補正が有効であると予測されます. したがって, 日本語母語話者のデータにより学習のなされたHMMの, 中国人留学生のHMMへのモデル適応では, f0と継続長のパラメータを適応せずに保持します. [母語の学習の話をする]
7. さらに, 本研究では, さらに3パターン, 合計5パターンのパラメータの保持を検討しました. 話者性への影響が少ないとされる, 動的特徴量を保持したパターン1, 2, と, 日本人英語音声合成の補正で有効であったパワーを保持したパターン3, 中国語と日本語の韻律の違いから有効であると予測されるパターン4, 5で検証しました. また, パターン5では, 合成時に日本語母語話者のパラメータが保持されたHMMで生成された, 対数f0に線形変換を施すことにより, 留学生のf0レンジに変換しました. [パターンを指す: こつ: レーザーポインタは見ている人にはわかりにくい ゆっくり円を描くように指す] スライドを修正して, 一行目のそれを, 1,2の横に書く
8. 以上の5パターンでの部分的モデル適応において, 自然性と話者性の観点から実験的評価を行いました. 以上の5パターンでの部分的モデル適応において, 実験的評価を行いました 実験的評価では, 留学生の日本語習熟度によらず, 話者性を保持したまま自然性が改善できるか, が検証されました. [s目的をいう] 留学生の日本語習熟度によらず, 話者性を保持したまま, 自然性の改善が可能であるかどうか,
9. 実験条件について説明します 日本語母語話者のHMMは, JSUTコーパス[読み方を確認する]に含まれる単一女性話者5000文によって学習がなされました. 中国人留学生のHMMのモデル適応は, JSUT ペタッと読む ジェースット UME ユーエムイージェーアールエフ 評価データが学習データと別であることは言わなくていい
10. [F0についての言い訳も必要] [話者性] [まず, 中国人留学生の自然音声を流します, 次に3連続で, 補正なし, 音素継続長, f0を順に流す(連続で、先に説明した上で). 聞いていただいてわかった通り, 改善されていることを] 自然性についてのプリファレンスABテストをクラウドソーシングにより実施しました. その結果について説明します. 継続長補正は学習者の習熟度によらず, 自然性を改善しました. F0補正は, 習熟度の高い話者1名のみで有効でした また, 動的特徴量補正, パワー補正はいずれも有効ではありませんでした [図と文字を大きくする] ABテストでは, それぞれの補正方法について, 補正ありの音声と補正なしの音声を被験者が聴き比べます. そして, 補正ありの音声と補正なしの音声のうち, どちらが言語としての自然性が高かったか, を判定します. グラフの青い部分は, 補正ありの音声の方が自然だったと回答した割合, 灰色の部分は, 補正なしの音声の方が自然だったと回答した割合, を表します. [パワポの上のメニューバーをなんとかする] [correction] [Δとか言わずに, パターン1,2,..5の説明のページに合わせる] [no correctionの説明も] [図を出したら必ず説明する] [例えば, 一番左は, f0のみを補正したものと, 何も補正しなかったもの] [左下に, アスタリスクの説明] [音声を貼る f2 f3 dur] ３つ, 補正ありと補正なしと, 自然音性 [グラフのそばに]
11. また, 話者性に関するプリファレンスXABテストを実施しました 継続長補正, f0補正は, 1話者を除き話者性が保持されました. [前のページに合わせる]
12. [参考文献のスライドは必要だろうか] 本研究では, 中国人留学生の日本語の音声合成の韻律補正を, HMMの部分的なモデル適応により行いました. F0, 音素継続長, 動的特徴量のそれぞれを保持して部分的なモデル適応したHMMにより, 評価実験を行いました. 結果として, f0と音素継続長を保持することにより, 話者性を保ったまま自然性を改善することができる, と言うことが示唆されました また, 動的特徴量の保持は有効ではありませんでした 今後の予定としては, f0, 音素継続長の両方を補正した音声の評価が考えられます. [セリフはちゃんと覚えよう、できるだけ詰まることがないように] [10分間は追加質問タイム. フリーディスカッション. 3分で聴けなかった内容を聞ける. それが終わったら帰れる. ]