言語処理 のバックアップ(No.28)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 言語処理 へ行く。
  • 1 (2021-11-30 (火) 18:46:50)
  • 2 (2021-11-30 (火) 21:32:41)
  • 3 (2021-12-01 (水) 13:20:21)
  • 4 (2021-12-01 (水) 20:56:07)
  • 5 (2021-12-02 (木) 09:42:13)
  • 6 (2021-12-06 (月) 12:02:53)
  • 7 (2021-12-13 (月) 17:45:13)
  • 8 (2021-12-16 (木) 10:36:31)
  • 9 (2021-12-20 (月) 17:33:39)
  • 10 (2021-12-21 (火) 15:42:10)
  • 11 (2021-12-23 (木) 18:43:52)
  • 12 (2021-12-24 (金) 20:23:12)
  • 13 (2021-12-27 (月) 21:30:12)
  • 14 (2021-12-28 (火) 12:02:25)
  • 15 (2021-12-28 (火) 17:09:32)
  • 16 (2021-12-28 (火) 19:00:19)
  • 17 (2021-12-28 (火) 21:13:05)
  • 18 (2022-01-14 (金) 15:33:22)
  • 19 (2022-06-01 (水) 14:44:34)
  • 20 (2022-07-27 (水) 15:08:59)
  • 21 (2022-08-23 (火) 11:41:39)
  • 22 (2022-08-23 (火) 23:01:30)
  • 23 (2022-08-24 (水) 03:10:02)
  • 24 (2022-08-26 (金) 02:13:46)
  • 25 (2022-10-18 (火) 15:11:08)
  • 26 (2022-10-18 (火) 23:43:58)
  • 27 (2022-10-19 (水) 17:25:46)
  • 28 (2022-10-19 (水) 17:47:15)
  • 29 (2022-10-19 (水) 23:06:35)
  • 30 (2022-12-07 (水) 14:12:03)
  • 31 (2022-12-23 (金) 12:25:46)
  • 32 (2023-01-18 (水) 18:24:11)
  • 33 (2023-01-18 (水) 18:42:43)
  • 34 (2023-02-25 (土) 02:19:21)
  • 35 (2023-03-04 (土) 00:00:25)
  • 36 (2023-03-14 (火) 16:12:40)
  • 37 (2023-03-18 (土) 00:32:37)
  • 38 (2023-04-20 (木) 16:32:25)
  • 39 (2023-05-09 (火) 15:47:28)
  • 40 (2023-05-18 (木) 14:38:28)
  • 41 (2023-06-09 (金) 14:29:15)
  • 42 (2023-06-09 (金) 17:49:02)
  • 43 (2023-06-09 (金) 19:09:12)
  • 44 (2023-06-09 (金) 22:31:25)
  • 45 (2023-06-12 (月) 13:13:40)
  • 46 (2023-06-12 (月) 14:54:18)
  • 47 (2023-06-12 (月) 23:31:59)
  • 48 (2023-06-13 (火) 00:31:50)
  • 49 (2023-06-13 (火) 17:51:23)
  • 50 (2023-06-14 (水) 15:08:08)
  • 51 (2023-06-14 (水) 17:44:00)
  • 52 (2023-06-14 (水) 20:51:09)
  • 53 (2023-06-14 (水) 23:50:01)
  • 54 (2023-06-15 (木) 13:59:35)
  • 55 (2023-06-15 (木) 23:23:05)
  • 56 (2023-06-19 (月) 13:17:02)
  • 57 (2023-06-20 (火) 17:39:56)
  • 58 (2023-06-20 (火) 22:04:25)

---

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る（要素技術 > 非構造化データ処理 / 人工知能（AI）、データ分析 > 非構造化データ処理）
  • 言語処理
  • 音声処理
  • 画像処理

目次 †

概要 †

自然言語処理

• 歴史は機械翻訳の歴史
• まだまだ未熟な分野
• AI完全問題と言われる
• MMIとしては非常に魅力的

詳細 †

• 単語を高次元のベクトルに置き換える分散表現という技術を用いる。
• 単語データの並びのことをシーケンスと言い、これが文章にあたる。

難しさ †

多義性 †

ある言語表現が伝える意味は一通りではない。

同犠牲 †

ある意味を伝える言語表現が一通りではない。

文脈依存性 †

言語表現の意味もコンテキスト次第

言外の意味 †

• 身体動作と同様に、実行的な効果を目的とする。
• 時計をお持ちですか？ ≒ 今何時？

アプローチ †

理性主義 †

• 人間の言語知識や言語運用能力を明示的に計算機に実装する。
• 言語学・論理学などに基づいて知識をルール・手続き化する演繹的手法

• システム構成：パイプライン（伝統的NLP）
  • モジュール構成：形態素解析→構文解析→意味解析→文脈解析
  • 問題点：各モジュールでのエラー伝播

経験主義 †

• 収集・観測できるデータに基づき入出力関係をモデル化する。
• 統計学、機械学習に基づく帰納的・データ駆動的手法

• システム構成：エンド・ツー・エンド（現在の方式）
  • ブラックボックス、十分なデータがあれば学習可能
  • 問題点：個別の調整や説明ができない。

歴史 †

• 経験主義
• 理性主義（1980 -
• 経験主義（1990 -
• 経験主義（2010 -、深層学習

基礎技術 †

形態素解析 †

• 単語を切り出す。品詞を付ける。という作業。

• 文法や、辞書と呼ばれる単語の品詞等の情報に基づき、
  形態素（≒言語で意味を持つ最小単位）の列に分割し、
  それぞれの形態素の品詞等を判別する作業。

構文解析 †

• 基本的にはプログラミング言語などの形式言語の場合と同様

• どこが主語で、どこが述語か？係り受け（言葉と言葉の関係性）を解析

• ただし、自然言語の構文には
  • 多くの言語で曖昧さ
  • アドホックな変形が多いという複雑さ
  • 意味を考えなければ構文が決定できない

など、独特の難しさがある。

意味解析 †

単語の意味という語彙の関連を見る

• 十分に上手く行えるシステムはまだ完成していない。
• 「意味素」という意味の基本となる情報を持たせることにより、
  ある程度、意味解析ができる事が解っている。

文脈解析 †

複数の文の繋がりをチェックする

• 背景知識とか今のシチュエーションの関連性を見る
• 照応解析などを含む。

日本語処理 †

語義の曖昧性解消 †

• 語義識別、語義判別、語義確定などともいう。
• 文中のある単語に出会ったとき、その単語が、
  どの語義を表しているのかを判断する過程

照応解析 †

• 省略された名詞句（ゼロ代名詞）を補完する処理
• 意味に踏み込まない処理には限界がある

その他 †

単語と単語の分かれ目が解り難い。

処理の例 †

形態素解析 †

• 「くるまでまつ」の形態素解析
  • 「車で待つ」、「来るまで待つ」
  • 最適な組み合わせを判定

構文構造の曖昧性 †

• 「あの長い髪の少女の父親」
  髪の長いのは？
  • 少女？
  • 父親？

• 格文法
  動詞を軸に、助詞で構文構造の意味の推定
  • 動詞：待つ
    • が：主格
    • を：目的格
    • で：場所格
    • に：時間格

意味解析、文脈解析 †

• 「僕は鰻だ」
  • 形態素解析、構文解析はできる。
  • 意味解析、文脈解析が難しい。

意味の曖昧性 †

• 構造曖昧性
  canが助動詞の「can」か？缶の「can」か？

  He saw that gasoline can explode.

• 深層構造の曖昧性
  readyが「すでに」か？「今にも」か？

  The chickens are ready to eat.

• 意味論的曖昧性
  bankが土手なのか？銀行なのか？

  Stay away from bank.

ライブラリ †

オープンソース †

ココにはAIではない言語処理のライブラリについて書く

プロダクト †

ココにはAIではない言語処理のライブラリについて書く

サービス †

ソリューション †

AIの活用 †

AI（機械学習・深層学習）最大の金脈と言われる。

体系 †

単語の数が多いためデータが高次元かつスパースだが、
深層学習の登場によって、処理が可能になってきている。

RNNLM †

• 以前は、形態素解析、構文解析、意味解析、文脈解析（言語学的
• 深層学習以降は、RNNを言語モデル（LM）に適用。
• 言語モデル（LM）：次の単語を予測するRNN。

• inputは単語でOne-Hotエンコーディングしたベルトク
• hiddenは隠れ状態を表すベクトル。
• 活性化関数はtanh
• outputは次の単語の確率（softmax）

手順 †

（特徴抽出とタグ推定）

クリーニング †

括弧、カンマ、ピリオドの削除

単語の分割と正規化 †

形態素解析、小文字などに統一するなど

ストップワードの除去 †

英語のa, the, of、日本語の「は」「の」「です」など。

テキストをベクトル化表現 †

• TF-IDF
  • 複数の文書に横断的に使用している単語は重要ではない
    
  • 対象する文章内で頻度が高く出てくる単語は特徴的

• Word2vec
  • 文脈予測アプローチ
  • 単語の意味は周囲の単語によって形成される

• BERT
  • ニューラルネットワークを用いて単語や文を数値化する技術
    
  • 長く複雑な文章を読み取ることができ文脈を読むことが可能になった
    
  • 双方向（文頭と文末）から学習することによって「文脈を読むこと」が実現された。

活用例 †

テキストマイニング †

• お客様の声の分析
  口語調は処理が難しい
  • 略語や言葉の間違い
  • 口語調の言い回し
  • 顔文字の調整

• 口コミサイトの文章からの知識発見
  • 口コミサイトの評価点が当てにならない。
  • 話題（評価項目）の頻度でカテゴリが解ってくる。
  • カテゴリ毎に評価項目のポジティブ・ネガティブを集計

• コールセンターのコンタクト履歴からの知識発見
  • 問い合わせの増加内容の分析
  • 共起による製品の問題の分析
  • 問い合わせパターンの分析

• アナリスト・レポート分析（株価分析
  • 輸出産業のデータベース化
    • レポートのキーワードを抽出（円高・円安）
    • レポートの属性情報を付与（誰が書いたか？上がる予測か？下がる予測か？）
    • 上がるか下がるか属性で分類して実際の株価の推移と比較して集計した結果
      アナリストのレポートを分析すれば、おおむね株価の予測できる事が解った。
      ・東証一部：正解値を出している。
      ・中企業：まぁまぁ当たり、上げ下げの幅が大きい（賭博性が強い）
      ・小企業：正解値を出していない。

• 銀行・金融業のデータベース化
  アナリストレポートはあまり当たらない事が解った。

• 行政文書の分析（政策計画書の玉虫色表現

• 曖昧な動詞をつかっている計画の成功率は低い。
  「やる」にどの様な表現を使っているか？
  （行う、図る、実施する、整備する, etc.）
  • 動詞の曖昧性や明確性を定義する。
  • どの程度成功しているのかの成功率で並べる。
  • 明確な動詞は成功率が高く、曖昧な動詞では成功率が低い。

• 「等」をつかている計画の成功率は低い。
  等の出現率と成功率を表でまとめる。

• 後払い通信販売の未払い検知
  • 未払い実績があると特定されたくない≒住所を偽る。
  • 住所をゆらして記入してきた場合、未払いになる可能性が高い。

文書検索 †

文書を特徴量に変換し類似度の順に並べて提示する。

チャットボット †

（質問応答システム）

質問を特徴量に変換しパターン化された応答を提示する。

• プリセールス
• コールセンター
• スマートスピーカー
• バーチャルアシスタント

エンリッチメント系 †

テキスト・アノテーション

• エンティティ・アノテーション（情報ユニットに分解し、構造化）
• エンティティ・リンキング（エンティティアノテーション後、KBに結び付ける）
• 文節チャンキング（名詞や動詞、形容詞といった品詞にタグ付けを行う）
• 意図抽出（質問・要望などの情報をテキストから抽出）
• 意味的（セマンティック）アノテーション（文脈から判断できる情報の付加）
• 分類アノテーション（分類もアノテーション）
• センチメント・アノテーション（感情分析）

※ チャットボットで利用される。

翻訳 †

• 概要
  • 1947年に英仏機械翻訳
    • 英語とフランス語は同じ文法体系
    • 単語だけ置き換える単語置換のロジック

• セマンティックストラクチャー
  • 1957年、Chomsky
  • 文法を解析して翻訳
    現在まで脈々と続いている言葉の解析の初め

• 種類

• ルールベース機械翻訳（RMT）
  登録済みのルールを適応することで原文を分析し、訳文を出力する機械翻訳の方法

• 統計的機械翻訳（SMT）
  ・学習データから統計モデルを学習し、統計モデルを翻訳器として機械翻訳を実現
  ・統計モデルは翻訳モデルと言語モデルに分かれ、翻訳の確かさと文法の確かさを評価
  　・翻訳モデル：それぞれどの単語同士が意味的に対応する可能性が高いかを考慮
  　・言語モデル：原文に対応すると考えられる単語が訳語として自然かを考慮
  ・膨大な対訳データ（コーパス）を利用しても精度の高い翻訳は出来なかった。

• ニューラル機械翻訳（NMT）
  ・１つのニューラルネットワークを用意することで、訓練と翻訳を完結させる（end-to-end）。
  ・RNNの発展形のSeq2Seqは入力文を変換するEncoder、出力文を生成するDecoderで構成される。
  ・BERTで「文脈を読むこと」が実現され精度の高い翻訳が出来るようになった。

• 事例
  • Google翻訳...

変換 †

• 概要
  入力された文字列を理解、推論、また学習して、効率的に変換を行なう。

• 事例
  • かな漢字変換
  • 予測変換機能

その他 †

• テキスト要約
• 文書作成支援（文章校正）

ライブラリ †

オープンソース †

Python系

プロダクト †

Python系

サービス †

ソリューション †

ベクトル化 †

• エンコード、エンコーディングとも言う。
• 分布仮説から分散（意味）表現とも言う。

文の構成性 †

統語的階層構造（句構造） †

系列の並び（現在主流） †

単語のベクトル化 †

単語の意味 †

• 言語資源（辞書）を作成する。
  • 人手によって作成
  • 作成コストが高い

• 言語データから抽出構造化する。
  • 言語データ＝テキスト・コーパス
  • 分布仮説（単語の分散意味表現）

テキスト・コーパス †

自然言語の文章を構造化し大規模に集積したもの。

• 定義
  • 機械可読なテキスト・データを収集したもの。
  • ある目的のため
    （現実の分布を考慮しサンプリングした）
    テキスト・データを収集したもの。

• 分類

• 生コーパス
  自己教師あり学習における情報源

• 注釈付きコーパス
  人手 or 機械的にアノテーションが付与されたテキスト・データ
  • 教師あり学習の学習データ
  • 伝統的NLPシステムの評価データ

分布仮説 †

• 単語の分散意味表現（単語の分散表現、単語埋込ベクトル表現）
  • 単語にベクトルを割り当てる。
  • 比較的低次元（300次元とか）で、
    密なベクトルを与える（元は疎、スパース）。

• 各行はベクトルで構成され、ベクトルのコサイン類似度の計算で
  意味的類似度・関連度を計量化できる（類似度・関連度は異なる）。

#ref(): File not found: "image.png" at page "言語処理"

• ベクトル化のアプローチ

• 共起頻度アプローチ
  コーパスの共起関係を行列として表し行列分解の手法を適用。

• 文脈予測アプローチ
  コーパスの文脈から単語、単語から文脈を予測するような学習を行う。

• 問題点

• 多義語
  • 同じ単語の複数の意味が1つのベクトルに混じる。
  • 与えられた文脈における単語の分散表現を動的に作る。

• 反義語
  • 反対の単語が似たベクトルになる。
  • モダリティの情報を統合する研究。

共起頻度アプローチ †

• 共起行列
  • 縦軸：ベクトルを与えたい単語の集合
  • 横軸：縦軸の単語の属性として用いる単語群
  • 数字：ｎ単語（文脈窓、周辺文脈）に何回出現するか？

    	...	単語A	...	単語B	...	単語C
    単語X	...	10	...	150	...	50
    単語Y	...	100	...	80	...	40
    単語Z	...	1	...	20	...	100

• 例
  I waited for a while.

  	I	waited	for	a	while	.
  I	0	1	0	0	0	0
  waited	1	0	1	0	0	0
  for	0	1	0	1	0	0
  a	0	0	1	0	1	0
  while	0	0	0	1	0	1
  .	0	0	0	0	1	0

• 問題と対策

• 相互情報量（PMI）で正規化
  単語と文脈語（the）など、重要で無いが共起し易い（不適切）

• 行列分解（LSA、SVD）で低次元化
  疎、スパースな大規模行列を低次元化

文脈予測アプローチ †

• 加法構成性

• 意味関係がベクトルの差分で表される。
  ＝単語の意味合成（類推）がベクトルの加算により行える。

• Japan（ベクトル）－ Tokyo（ベクトル）＝ ～を首都とする国（ベクトル）
  • パリ（ベクトル）＋ ～を首都とする国（ベクトル）＝ フランス
  • 北京（ベクトル）＋ ～を首都とする国（ベクトル）＝ 中国

• Word2vec
  文脈予測アプローチの代表例

• 自己教師あり学習の深層学習により
  分散表現（ベクトル表現）を獲得する代表的な手法。

• 以下の学習手法の総称（2 * 3 = 6）
  

• モデル
  I have a big dream for future.
  ・CBOWモデル（２層のNN）
  　・周辺文脈が与えられた時、
  　　その中心になる単語を予測する学習により分散表現を結果的に得る。
  　・I have (a) → (big) ← (dream) for future
  ・Skip-gramモデル（２層のNN）
  　・周辺文脈の中心になる単語が与えられた時、
  　　周辺文脈の単語群を予測する学習により分散表現を結果的に得る。
  　・I have (a) ← (big) → (dream) for future

• 高速化
  ・なし
  ・hierarchical softmax
  　最小化スべきコードパス全体に対する損失関数
  ・Negative Sampling
  　ソフトマックス関数をロジスティック回帰による二値分類（負例サンプリング）に置き換え効率化。

• 上記で学習したモデルの入力部分の重みを縦 or 横に読んだものが単語の分散表現になっている。

• fasttext：「活用形」をまとめられるようなモデル

文のベクトル化 †

文の分散表現の構成法 †

• BoWモデル
  • 単語の分散表現の和（学習は不要）
  • 語順に依る意味の違いを表現しないが、目的によっては十分

• 系列変換モデル
  • 文を系列として文を見る（文の構成性）。
  • 何らかのタスクのRNNやLSTMに学習させる。
    • 翻訳タスク
    • 自然言語推論タスク

• 副作用的に文の分散表現を獲得
• 転移可能性の問題がある。

doc2vec †

Transformer / BERT †

膨大な量のテキストデータからテキストの単語の連なりの「言語らしさ」を学習

• Transformer
  • BERTの基礎、エンコーダ・デコーダ構造
  • 機械翻訳を目的タスクとするニューラルネットワークモデル
  • データを逐次処理する必要がなく、ビッグデータで効率的に学習できる。
  • 自己Attention機構の重要性を示し、他の分野にも影響を与えた。

• BERT
  • 2018年に論文によって提案されたTransformerを発展させたモデル。
  • Transformerのエンコーダーを双方向多層に積み重ねたアーキテクチャ
  • 上位の層では意味・文脈に関する抽象化された情報が獲得される事を期待。
  • BERTの学習済みモデル（汎用事前学習モデル）はGoogleが無償で公開

• 得意なタスク
  マスクされた単語の前後のテキストを使って単語を予測する。
  • 質問応答（質問に対する回答を文書中から見つけてくる）
  • 文の比較（片方の文がもう一方の文の内容を含んでいるか）

• 事前学習に工夫をしている。
  リソースと時間が必要。
  • マスクされた単語の予測を学習（MLM）
  • 連続する２文であるか判断を学習（NSP）

• チューニング
  実現したいタスクに応じた数百レベルの学習データを用意してファイン・チューニング
  • 事前学習結果を実際に使う場合。
  • BERTの上にタスク依存の層を重ねる。
  • 数百件レベルの学習データで実施可能

• BERT学
  内部で何が行われているか？

• GPT-n
  • 非営利団体OpenAIが開発したもので、初代のGPT-1はBERTと同じ2018年に発表
    
    • 過去の単語列から次の単語を予測するように学習を行う
    • エンコーダを持たず、Transformerのデコーダと似た構造を持つネットワーク

• 2019年にGPT-2、2020年にGPT-3が発表（中身は同じで、規模と学習データの量を大きくしたもの）
• GPT-3は1750億のパラメタ、約45TBのコーパスで事前学習とBERTに比べてあまりにも巨大
• 悪用リスクのためOSS化されていない（OpenAIへAPIの利用申請が必要）

• 得意なタスク
  マスクされた単語より前のテキストを使って単語を予測する。
  • 要約、対話生成
  • 幅広い言語タスクを高精度で実現：文章生成、翻訳、質疑応答、文章穴埋
  • 計算（足し算・引き算）もできる。
  • ソースコード生成、デザイン支援もできる。

• 苦手なタスク
  • 比較が苦手
  • 人間社会、物理現象の慣習や常識を認識、推論できない。

• チューニング
  チューニングに数例のデータしか必要としない。
  • GPT-3は、1回の学習に数億円の費用が掛かる。
  • 代替手段となるfew-shot学習は、学習を行っているわけではなく、
    巨大な汎用事前学習モデルの中の学習結果から求められている学習結果を引き出しているだけ。

Attention †

• Transformerの元ネタ。

• Attention機構を翻訳で活用する場合、
  • 入力単語～出力単語、どれに対応しているか？（対応付けの良さ）の重みを計算する。
  • 入力の各単語のベクトルの重み付けして足して、出力が注意を向けるべき入力からの情報を得る。

上記をRNNで処理？ †

上記（ベクトル化された文）を、タスク毎のRNN（Seq2Seq）で処理？

参考 †

Wikipedia †

• 自然言語処理
  https://ja.wikipedia.org/wiki/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86
  • 形態素解析
    https://ja.wikipedia.org/wiki/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90
  • 構文解析
    https://ja.wikipedia.org/wiki/%E6%A7%8B%E6%96%87%E8%A7%A3%E6%9E%90
  • 語義の曖昧性解消
    https://ja.wikipedia.org/wiki/%E8%AA%9E%E7%BE%A9%E3%81%AE%E6%9B%96%E6%98%A7%E6%80%A7%E8%A7%A3%E6%B6%88
  • 照応解析
    https://ja.wikipedia.org/wiki/%E7%85%A7%E5%BF%9C%E8%A7%A3%E6%9E%90

• 格文法
  https://ja.wikipedia.org/wiki/%E6%A0%BC%E6%96%87%E6%B3%95

• テキストマイニング
  https://ja.wikipedia.org/wiki/%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E3%83%9E%E3%82%A4%E3%83%8B%E3%83%B3%E3%82%B0

YouTube? †

• 【深層学習】【ディープラーニングの世界
  

• word2vec
  • vol.21】word2vec - 単語の意味を機械が理解する仕組み
    https://www.youtube.com/watch?v=0CXCqxQAKKQ
  • vol.22】word2vec の数理 - なぜ単語の計算が可能なのか
    https://www.youtube.com/watch?v=jlmt4nY0-o0

• GPT-3
  • vol.39】①-1 モデルと Sparse Transformer について
    https://www.youtube.com/watch?v=CBZWzQVcXE4
  • vol.39-2】①-2 追加学習なしでタスクに対応する仕組み
    https://www.youtube.com/watch?v=hMQG-oF9pgw
  • vol.40】GPT-3 ② 限界と今後の研究テーマ
    https://www.youtube.com/watch?v=-rI5n5M8oSg
  • vol.41】GPT-3 ③ 社会的影響編 - AIを誤用しないために
    https://www.youtube.com/watch?v=szY-gk3ANdU

     

Site admin: TechInfoOfMicrosoftTech

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.126 sec.