「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
音声処理について纏める。
音声認識とは？ †
- 音声は、波形・スペクトルの系列データ。
- ウィンドウをズラして行って特徴ベクトル列を求める。
- コレを計算機で処理して、
音素 → かな → 単語 → 文 → コマンドと処理。
- 音声認識は「かな」→「単語」まで。
- 文コマンドはバックエンドシステム。
音声認識の難しさ †
系列の対応付け †
複雑な長さが異なる系列の対応付け
（フレーム、音素、音節、単語）
- 系列長が極端に異なる。
- 非線形な時間短縮
- セグメント境界が曖昧
音響的特徴 †
- 時間分散して埋め込まれる。
- 文脈依存（音響的特徴と聞こえの関係が多対多）
- 同じ音響的特徴の音が、文脈に応じて違う音に聞こえる。
- 違う音響的特徴の音が、文脈に応じて同じ音に聞こえる。
- 物理的にない音を与えたり、物理的にある音を削ったり。
処理方法 †
新・旧、２つの方法があるが根幹をなす考え方は普遍的。
生成モデル（旧） †
ベイズ統計のHMM（隠れマルコフモデル）を使う。
識別モデル（新） †
深層学習のDNN（ディープ・ニューラルネットワーク）を使う。
詳細 †
ライブラリ †
以下の様なものが発見できた。
オープンソース †
Julius †
プロダクト †
Nuance †
メディアドライブ †
ライブラリ > SDK
サービス †
ソリューション †
AIの活用 †
音声データを解析して、何を発音しているのかを判別
体系 †
HMM（隠れマルコフモデル） †
ベイズ統計のHMM（隠れマルコフモデル）を使う。
- １つの単語クラスに１つの音響モデル（HMM）を与える。
- 単語クラスが未知であるデータXが与えられた場合、
単語クラスに与えられた音響モデル（HMM）から、
データXがどれぐらいの確率で出ててくるか？求める。
- 確率が一番大きいものをデータXの単語クラスとして選ぶ（認識）
- 連続音声認識
- 音響モデルではなく言語モデルを考える。
- 前述の「単語」でやったことを「単語列」でやる。
- 音素レベルの誤りを認めた上で、文として成立する単語列に変換する。
- 観測データに対し、音響モデルと言語モデルの積を
最大化する単語系列を組み合わせ最適化によって求める。
- 音響モデル：Left-to-Right HMM（隠れマルコフモデル）
- 言語モデル：N-gram（マルコフモデル）
- 以下の組合せ最適化（一体化したサーチの問題）
↓ ↓ ↓
音声パターン
↓ ↓ ↓ |
| 音響モデル | ← | 音声コーパス |
| 辞書 | ← | 音声規則＋テキスト・コーパス |
↓ ↓ ↓
単語、連続音声
↓ ↓ ↓ |
| 言語モデル | ← | テキスト・コーパス |
↓ ↓ ↓
単語列（文）
↓ ↓ ↓ |
- サブワードモデル
- サブワード：単語より短い音素、音節
- 単語はサブワードの連結により構成する。
手順 †
元データの獲得 †
時系列データとして処理 †
自然言語処理・音響情報処理 †
目的データの生成 †
アルゴリズム †
... †
活用例 †
自動音声口述筆記 †
- 会話音声書面記録
- コミュニケーション支援（問診など
エンリッチメント系 †
音声アノテーション
- 音そのものに対するタグ付け
- 音声が示す意味に対するタグ付け
ライブラリ †
オープンソース †
プロダクト †
サービス †
Google Cloud Speech API †
Bing Speech API †
Speech to Text †
ソリューション †
AmiVoice? †
Voice-Series †
参考 †
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
