言語処理のバックアップ(No.15) - .NET 開発基盤部会 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る（要素技術 > 非構造化データ処理 / 人工知能（AI）、データサイエンス力 > データ分析）
- 言語処理
- 音声処理
- 画像処理

目次 †

目次
概要
詳細
ライブラリ
- オープンソース
- プロダクト
サービス
ソリューション
AIの活用
ベクトル化
参考
- Wikipedia

概要 †

自然言語処理

歴史は機械翻訳の歴史
まだまだ未熟な分野
AI完全問題と言われる
MMIとしては非常に魅力的

詳細 †

単語を高次元のベクトルに置き換える分散表現という技術を用いる。
単語データの並びのことをシーケンスと言い、これが文章にあたる。

難しさ †

多義性 †

ある言語表現が伝える意味は一通りではない。

同犠牲 †

ある意味を伝える言語表現が一通りではない。

文脈依存性 †

言語表現の意味もコンテキスト次第

言外の意味 †

身体動作と同様に、実行的な効果を目的とする。
時計をお持ちですか？ ≒ 今何時？

アプローチ †

理性主義 †

人間の言語知識や言語運用能力を明示的に計算機に実装する。
言語学・論理学などに基づいて知識をルール・手続き化する演繹的手法

システム構成：パイプライン（伝統的NLP）
- モジュール構成：形態素解析→構文解析→意味解析→文脈解析
- 問題点：各モジュールでのエラー伝播

経験主義 †

収集・観測できるデータに基づき入出力関係をモデル化する。
統計学、機械学習に基づく帰納的・データ駆動的手法

システム構成：エンド・ツー・エンド（現在の方式）
- ブラックボックス、十分なデータがあれば学習可能
- 問題点：個別の調整や説明ができない。

歴史 †

経験主義
理性主義（1980 -
経験主義（1990 -
経験主義（2010 -、深層学習

基礎技術 †

形態素解析 †

単語を切り出す。品詞を付ける。という作業。

文法や、辞書と呼ばれる単語の品詞等の情報に基づき、
形態素（≒言語で意味を持つ最小単位）の列に分割し、
それぞれの形態素の品詞等を判別する作業。

構文解析 †

基本的にはプログラミング言語などの形式言語の場合と同様

どこが主語で、どこが述語か？係り受け（言葉と言葉の関係性）を解析

ただし、自然言語の構文には
- 多くの言語で曖昧さ
- アドホックな変形が多いという複雑さ
- 意味を考えなければ構文が決定できない

など、独特の難しさがある。

意味解析 †

単語の意味という語彙の関連を見る

十分に上手く行えるシステムはまだ完成していない。
「意味素」という意味の基本となる情報を持たせることにより、
ある程度、意味解析ができる事が解っている。

文脈解析 †

複数の文の繋がりをチェックする

背景知識とか今のシチュエーションの関連性を見る
照応解析などを含む。

日本語処理 †

語義の曖昧性解消 †

語義識別、語義判別、語義確定などともいう。
文中のある単語に出会ったとき、その単語が、
どの語義を表しているのかを判断する過程

照応解析 †

省略された名詞句（ゼロ代名詞）を補完する処理
意味に踏み込まない処理には限界がある

言語処理の例 †

形態素解析 †

「くるまでまつ」の形態素解析
- 「車で待つ」、「来るまで待つ」
- 最適な組み合わせを判定

構文構造の曖昧性 †

「あの長い髪の少女の父親」
髪の長いのは？
- 少女？
- 父親？

格文法
動詞を軸に、助詞で構文構造の意味の推定
- 動詞：待つ
  - が：主格
  - を：目的格
  - で：場所格
  - に：時間格

意味解析、文脈解析 †

「僕は鰻だ」
- 形態素解析、構文解析はできる。
- 意味解析、文脈解析が難しい。

意味の曖昧性 †

構造曖昧性
canが助動詞の「can」か？缶の「can」か？
```
He saw that gasoline can explode.
```

深層構造の曖昧性
readyが「すでに」か？「今にも」か？
```
The chickens are ready to eat.
```

意味論的曖昧性
bankが土手なのか？銀行なのか？
```
Stay away from bank.
```

ライブラリ †

オープンソース †

プロダクト †

サービス †

ソリューション †

AIの活用 †

体系 †

... †

手順 †

（特徴抽出とタグ推定）

前処理 †

クリーニング †

括弧、カンマ、ピリオドの削除

単語の分割と正規化 †

形態素解析、小文字などに統一するなど

ストップワードの除去 †

英語のa, the, of、日本語の「は」「の」「です」など。

テキストをベクトル化表現 †

TF-IDF
- 複数の文書に横断的に使用している単語は重要ではない
- 対象する文章内で頻度が高く出てくる単語は特徴的

Word2vec
- 文脈予測アプローチ
- 単語の意味は周囲の単語によって形成される

BERT
- ニューラルネットワークを用いて単語や文を数値化する技術
- 長く複雑な文章を読み取ることができ文脈を読むことが可能になった
- 双方向（文頭と文末）から学習することによって「文脈を読むこと」が実現された。

アルゴリズム †

テキストマイニング †

文字列を対象としたデータマイニング

文章の統計のようなもので、文章から有益な情報を抽出できる。
通常の文章からなるデータを単語や文節で区切り、
それらの出現の頻度や共出現の相関、出現傾向、時系列などを解析
することで有用な情報を取り出す、テキストデータの分析方法。

難しい、意味解析、文脈解析などより、
結果が出ている（役立っている）技術。

テキストやコンテンツの分類 †

活用例 †

テキストマイニング †

お客様の声の分析
口語調は処理が難しい
- 略語や言葉の間違い
- 口語調の言い回し
- 顔文字の調整

口コミサイトの文章からの知識発見
- 口コミサイトの評価点が当てにならない。
- 話題（評価項目）の頻度でカテゴリが解ってくる。
- カテゴリ毎に評価項目のポジティブ・ネガティブを集計

コールセンターのコンタクト履歴からの知識発見
- 問い合わせの増加内容の分析
- 共起による製品の問題の分析
- 問い合わせパターンの分析

アナリスト・レポート分析（株価分析
- 輸出産業のデータベース化
  - レポートのキーワードを抽出（円高・円安）
  - レポートの属性情報を付与（誰が書いたか？上がる予測か？下がる予測か？）
  - 上がるか下がるか属性で分類して実際の株価の推移と比較して集計した結果
    アナリストのレポートを分析すれば、おおむね株価の予測できる事が解った。
    ・東証一部：正解値を出している。
    ・中企業：まぁまぁ当たり、上げ下げの幅が大きい（賭博性が強い）
    ・小企業：正解値を出していない。

銀行・金融業のデータベース化
アナリストレポートはあまり当たらない事が解った。

行政文書の分析（政策計画書の玉虫色表現

曖昧な動詞をつかっている計画の成功率は低い。
「やる」にどの様な表現を使っているか？
（行う、図る、実施する、整備する, etc.）
- 動詞の曖昧性や明確性を定義する。
- どの程度成功しているのかの成功率で並べる。
- 明確な動詞は成功率が高く、曖昧な動詞では成功率が低い。

「等」をつかている計画の成功率は低い。
等の出現率と成功率を表でまとめる。

後払い通信販売の未払い検知
- 未払い実績があると特定されたくない≒住所を偽る。
- 住所をゆらして記入してきた場合、未払いになる可能性が高い。

文書検索 †

文書を特徴量に変換し類似度の順に並べて提示する。

チャットボット †

（質問応答システム）

質問を特徴量に変換しパターン化された応答を提示する。

プリセールス
コールセンター
スマートスピーカー
バーチャルアシスタント

エンリッチメント系 †

テキスト・アノテーション

エンティティ・アノテーション（情報ユニットに分解し、構造化）
エンティティ・リンキング（エンティティアノテーション後、KBに結び付ける）
文節チャンキング（名詞や動詞、形容詞といった品詞にタグ付けを行う）
意図抽出（質問・要望などの情報をテキストから抽出）
意味的（セマンティック）アノテーション（文脈から判断できる情報の付加）
分類アノテーション（分類もアノテーション）
センチメント・アノテーション（感情分析）

※ チャットボットで利用される。

翻訳 †

概要
- 1947年に英仏機械翻訳
  - 英語とフランス語は同じ文法体系
  - 単語だけ置き換える単語置換のロジック

セマンティックストラクチャー
- 1957年、Chomsky
- 文法を解析して翻訳
  現在まで脈々と続いている言葉の解析の初め

事例
- Google翻訳
  統計的機械翻訳（深層学習を用いた用例統計処理）が行われている。

参考
- Google翻訳の性能が大幅に向上した理由とは？
  https://rp.kddi-research.jp/download/report/RA2017004

変換 †

概要
入力された文字列を理解、推論、また学習して、効率的に変換を行なう。

事例
- かな漢字変換
- 予測変換機能

その他 †

テキスト要約
文書作成支援（文章校正）

ライブラリ †

オープンソース †

プロダクト †

サービス †

ソリューション †

ベクトル化 †

文の構成性 †

統語的階層構造（句構造）
系列の並び（現在主流）

単語のベクトル化 †

単語の意味 †

言語資源（辞書）を作成する。
- 人手によって作成
- 作成コストが高い

言語データから抽出構造化する。
- 言語データ＝テキスト・コーパス
- 分布仮説（単語の分散意味表現）

テキスト・コーパス †

自然言語の文章を構造化し大規模に集積したもの。

定義
- 機械可読なテキスト・データを収集したもの。
- ある目的のため
  （現実の分布を考慮しサンプリングした）
  テキスト・データを収集したもの。

分類

生コーパス
自己教師あり学習における情報源

注釈付きコーパス
人手 or 機械的にアノテーションが付与されたテキスト・データ
- 教師あり学習の学習データ
- 伝統的NLPシステムの評価データ

分布仮説 †

単語の分散意味表現（単語の分散表現、単語埋込ベクトル表現）
- 単語にベクトルを割り当てる。
- 比較的低次元（300次元とか）で、
  密なベクトルを与える（元は疎、スパース）。

各行はベクトルで構成され、ベクトルのコサイン類似度の計算で
意味的類似度・関連度を計量化できる（類似度・関連度は異なる）。

アプローチ

共起頻度アプローチ
コーパスの共起関係を行列として表し行列分解の手法を適用。

文脈予測アプローチ
コーパスの文脈から単語、単語から文脈を予測するような学習を行う。

問題点

多義語
- 同じ単語の複数の意味が1つのベクトルに混じる。
- 与えられた文脈における単語の分散表現を動的に作る。

反義語
- 反対の単語が似たベクトルになる。
- モダリティの情報を統合する研究。

共起頻度アプローチ †

共起行列
- 縦軸：ベクトルを与えたい単語の集合
- 横軸：縦軸の単語の属性として用いる単語群
- 数字：ｎ単語（文脈窓、周辺文脈）に何回出現するか？
  ... 単語A ... 単語B ... 単語C
  単語X ... 10 ... 150 ... 50
  単語Y ... 100 ... 80 ... 40
  単語Z ... 1 ... 20 ... 100

例
I waited for a while.
I waited for a while .
I 0 1 0 0 0 0
waited 1 0 1 0 0 0
for 0 1 0 1 0 0
a 0 0 1 0 1 0
while 0 0 0 1 0 1
. 0 0 0 0 1 0

問題と対策

相互情報量（PMI）で正規化
単語と文脈語（the）など、重要で無いが共起し易い（不適切）

行列分解（LSA、SVD）で低次元化
疎、スパースな大規模行列を低次元化

文脈予測アプローチ †

加法構成性

意味関係がベクトルの差分で表される。
＝単語の意味合成（類推）がベクトルの加算により行える。

Japan（ベクトル）－ Tokyo（ベクトル）＝～を首都とする国（ベクトル）
- パリ（ベクトル）＋～を首都とする国（ベクトル）＝フランス
- 北京（ベクトル）＋～を首都とする国（ベクトル）＝中国

Word2vec
文脈予測アプローチの代表例

自己教師あり学習の深層学習により分散表現（ベクトル表現）を獲得する代表的な手法。

以下の学習手法の総称
I have a big dream for future.

CBOWモデル
・周辺文脈が与えられた時、
　その中心になる単語を予測する学習により分散表現を結果的に得る。
・I have (a) → (big) ← (dream) for future

Skip-gramモデル
・周辺文脈の中心になる単語が与えられた時、
　周辺文脈の単語群を予測する学習により分散表現を結果的に得る。
・I have (a) ← (big) → (dream) for future

...
- 最小化スべきコードパス全体に対する損失関数
- ソフトマックス関数をロジスティック回帰による二値分類（負例サンプリング）に置き換え効率化。

文のベクトル化 †

文の分散表現の構成法 †

BoWモデル
- 単語の分散表現の和（学習は不要）
- 語順に依る意味の違いを表現しないが、目的によっては十分

系列変換モデル
何らかのタスクを学習することで、副作用的に文の分散表現を獲得。

系列のエンコーディングを、何らかのタスクのニューラルネットワークに学習させる。
- 翻訳タスク
- 自然言語推論タスク

RNNやLSTMを使用する。

転移可能性の問題がある。

アテンション †

翻訳を行う場合、

入力単語～出力単語、どれに対応しているか？（対応付けの良さ）の重みを計算する。
入力の各単語のベクトルの重み付けして足して、出力が注意を向けるべき入力からの情報を得る。

Transformer / BERT †

Transformer
- BERTの基礎、エンコーダ・デコーダ構造
- 機械翻訳を目的タスクとするニューラルネットワークモデル
- データを逐次処理する必要がなく、ビッグデータで効率的に学習できる。
- 自己アテンション機構の重要性を示し、他の分野にも影響を与えた。

BERT
- 2018年に論文によって提案されたTransformerを発展させたモデル。
- 今では自然言語処理の標準的な構成法を確立した。
- Transformerのエンコーダーを双方向多層に積み重ねたアーキテクチャ
- 上位の層では意味・文脈に関する抽象化された情報が獲得される事を期待。

事前学習に工夫をしている。
リソースと時間が必要。
- マスクされた単語の予測を学習（MLM）
- 連続する２文であるか判断を学習（NSP）

ファインチューニング
- 事前学習結果を実際に使う場合。
- BERTの上にタスク依存の層を重ねる。

参考 †

Wikipedia †

自然言語処理
https://ja.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86
- 形態素解析
  https://ja.wikipedia.org/wiki/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90
- 構文解析
  https://ja.wikipedia.org/wiki/%E6%A7%8B%E6%96%87%E8%A7%A3%E6%9E%90
- 語義の曖昧性解消
  https://ja.wikipedia.org/wiki/%E8%AA%9E%E7%BE%A9%E3%81%AE%E6%9B%96%E6%98%A7%E6%80%A7%E8%A7%A3%E6%B6%88
- 照応解析
  https://ja.wikipedia.org/wiki/%E7%85%A7%E5%BF%9C%E8%A7%A3%E6%9E%90

格文法
https://ja.wikipedia.org/wiki/%E6%A0%BC%E6%96%87%E6%B3%95

テキストマイニング
https://ja.wikipedia.org/wiki/%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E3%83%9E%E3%82%A4%E3%83%8B%E3%83%B3%E3%82%B0