ChatGPT のバックアップ(No.12)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• ChatGPT へ行く。
  • 1 (2023-03-14 (火) 13:21:15)
  • 2 (2023-03-14 (火) 18:51:52)
  • 3 (2023-03-15 (水) 00:39:44)
  • 4 (2023-03-15 (水) 00:52:16)
  • 5 (2023-03-15 (水) 18:20:02)
  • 6 (2023-03-16 (木) 12:10:14)
  • 7 (2023-03-17 (金) 21:35:13)
  • 8 (2023-03-18 (土) 00:45:20)
  • 9 (2023-03-28 (火) 14:20:55)
  • 10 (2023-04-18 (火) 15:56:02)
  • 11 (2023-04-24 (月) 23:42:21)
  • 12 (2023-06-19 (月) 13:20:56)
  • 13 (2023-06-23 (金) 17:36:36)
  • 14 (2023-06-30 (金) 15:48:49)
  • 15 (2023-07-03 (月) 11:42:48)
  • 16 (2023-07-03 (月) 15:25:58)
  • 17 (2023-08-21 (月) 16:11:34)
  • 18 (2023-08-31 (木) 20:05:37)
  • 19 (2023-08-31 (木) 21:03:48)
  • 20 (2023-09-01 (金) 09:13:18)
  • 21 (2023-09-04 (月) 15:30:05)
  • 22 (2023-09-04 (月) 22:43:32)
  • 23 (2023-09-05 (火) 09:51:02)
  • 24 (2023-09-05 (火) 16:50:24)
  • 25 (2023-09-05 (火) 18:50:10)
  • 26 (2023-09-05 (火) 20:08:18)
  • 27 (2023-09-06 (水) 04:19:00)
  • 28 (2023-09-06 (水) 13:12:47)
  • 29 (2023-09-06 (水) 17:45:38)
  • 30 (2023-09-07 (木) 13:27:17)
  • 31 (2023-10-26 (木) 23:04:47)
  • 32 (2023-11-24 (金) 02:22:27)
  • 33 (2023-11-24 (金) 11:03:54)
  • 34 (2023-11-24 (金) 12:39:47)
  • 35 (2023-11-26 (日) 23:03:42)
  • 36 (2023-11-27 (月) 13:11:41)
  • 37 (2024-04-02 (火) 12:29:24)
  • 38 (2024-06-26 (水) 17:22:48)
  • 39 (2024-06-26 (水) 17:26:42)
  • 40 (2024-07-03 (水) 14:57:41)
  • 41 (2024-07-04 (木) 21:51:03)
  • 42 (2024-07-05 (金) 08:49:37)
  • 43 (2024-07-08 (月) 09:52:18)
  • 44 (2024-07-10 (水) 12:55:54)
  • 45 (2024-07-17 (水) 16:43:52)
  • 46 (2024-07-17 (水) 21:43:32)
  • 47 (2024-07-22 (月) 15:17:44)
  • 48 (2024-07-24 (水) 13:27:07)
  • 49 (2024-09-03 (火) 10:00:40)
  • 50 (2024-09-19 (木) 14:22:53)
  • 51 (2024-09-30 (月) 09:24:41)
  • 52 (2024-10-17 (木) 15:39:52)
  • 53 (2024-10-24 (木) 09:34:26)
  • 54 (2024-10-24 (木) 17:57:00)
  • 55 (2024-11-25 (月) 15:33:57)
  • 56 (2024-12-09 (月) 11:57:22)
  • 57 (2025-02-13 (木) 15:32:26)
  • 58 (2025-02-18 (火) 10:02:00)
  • 59 (2025-04-25 (金) 10:33:23)
  • 60 (2025-05-07 (水) 13:24:58)
  • 61 (2025-06-02 (月) 14:37:23)

---

「.NET 開発基盤部会 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る

目次 †

概要 †

ChatGPT（チャットジーピーティー、Chat Generative Pre-trained Transformer）

• OpenAIが2022年11月に公開した人工知能チャットボット

• 複数の言語を認識し、人間らしく応答する。

• 第3世代の生成言語モデルであるGPT-3に由来

• モデルは、AzureのHPCIを使用しMicrosoftと共同でトレーニングされた。

アーキテクチャ †

GPT-3, 4 †

（Generative Pre-training Transformer 3, 4）

• OpenAIのGPT-3.5, 4モデルを採用、

• Transformerという深層学習モデルを基にしている大規模な自然言語生成モデル
  • テキストを入力に文章を生成するニューラルネットワークの生成モデル
  • 約 570GBの大規模なテキスト・コーパスを使用し約 1,750 億のパラメタを学習。

Transformer †

• 機械翻訳は、BERTなどの「Transformer」と呼ばれる「生成モデル」で実装されたニューラル機械翻訳（NMT）で大きく進化した。

• コレらは、次に現れる単語の確率分布を（文脈的なものを考慮した上で）学習し、ソレを推論で使用して文章を生成する。

• 画像生成系AIもTransformerでテキスト（プロンプト）を入力に画像を生成しており、コレらはジェネレーティブAIと呼ばれる。

学習の仕組み †

• Transformerは

• 以下のような学習方法で、
  • 事前学習
    ラベルなしデータで教師なし学習して言語自体を理解
  • ファインチューニング
    ラベルありデータで教師あり学習してタスクを理解

• 以下を実現した。
  • データやモデルを大きくして精度を向上。
  • 多用なタスク（翻訳やチャット）を１つのモデルで処理。

• GPTでは、教師あり学習と強化学習を行い、
  その両方の手法で転移学習を併用している。
  • 教師あり学習
    トレーナーがユーザーとAIアシスタントの両方を演じる会話を提供。
  • 強化学習
    人間のトレーナーが、モデルが以前の会話で作成した応答をランク付け。

自然言語を理解する能力 †

GPTは自然言語を理解する能力を持っていると言う。

• 自然でリズムのある文章を生成できる。
• また、自然言語を入力として受け取り、
• それをもとに様々なタスクを実行するもできる。

反響 †

知名度、評価など †

• 公開から6日目にして利用者が｢100万ユーザを突破した｣とアルトマンCEOが公表。

• OpenAIの評価額は290億米ドルとなり、2021年時の140億ドルと比べて2倍以上増加。

• ChatGPTがアクティブユーザー数1億人に到達するのにかかった時間は、
  TikTok?とInstagramがそれぞれ9カ月と2年半であるのに対して、2か月と史上最速である。

肯定的な意見 †

• 知識労働者、クリエイターの供給に比類する可能性。

• 生徒が課題に使い出力結果が優秀な生徒による回答と同レベル。

• Googleは検索エンジン事業にもたらす脅威を受け「緊急事態」を発動。

否定的な意見 †

• 知識労働者、クリエイターの需要に影響する可能性。

• 卒業生用テストで合格水準に達した。
  • ミネソタ大学でC+
  • ウォートン・スクールの同様のテストでBからB-

• 学習データ
  • 文章生成に報道機関の記事を無報酬で使用
  • インターネット上のコンテンツの信頼性

• 誤回答
  • 2+2=4を回答して、指摘しても正しいと言い張る。
  • 中央アメリカでメキシコの次に大きな国にグアテマラと回答（正しい答えはニカラグア）
  • 曲の歌詞を生成するよう求めた時、実際の歌詞ではなく新しく自身で生成した歌詞を回答。
  • 物語のあらすじを生成するよう求めた時、実際のあらすじではなく新しく自身で生成したあらすじを回答。
  • Stack Overflowは、誤答が少なくないことを理由としてChatGPTを使って回答することを禁止。

• 倫理
  • コンテンツモデレーションをプロンプト・エンジニアリングなどを使って回避できた。
  • ユーザーがナチス・ドイツに関する質問を入力した際に生成する回答を賛美した。

• 教育
  • 複数の論文が既にChatGPTを共同著者として挙げていることが知られている。
  • 教師は生徒が課題をChatGPT任せにしていることを問題視するべきだと指摘

• リスク
  • 不正行為や雇用の喪失、差別、偽情報をもたらす可能性がある。
  • フィッシング詐欺などを目的とするメールを書くことができ
    「サイバーセキュリティにおける大きなリスク」などをもたらす可能性がある

• シンギュラリティ的
  • 制御不能な軍事的応用による「大量破壊」を引き起こす可能性がある。

詳細 †

人間との相違点 †

人間 †

• 口語的、主観的
• 発散的で他の話題に移行しやすい
• 強い感情を表現

ChatGP †

• フォーマル、客観的
• 質問に厳密に集中している
• 感情をあまり表現しない

複数の欠点 †

ただし、機能は豊富なものの、複数の欠点もある。

確率的オウム †

本質的に確率的オウム（統計ルールからのみ知識を得ている）という指摘。

知識の範囲 †

• 書籍、Wikipedia、WebSite?、電子掲示板、Blogなどのネット上のテキスト
• ソースの開示を行なっておらず、ステレオタイプを反映する可能性がある。
• データ範囲外のニッチで専門的なテーマやトピックは精度が低く有効性が下がる。
• また、2021年以降に発生した出来事については知識が全く無いこともある。

強化学習の弊害 †

もっともらしく見える誤回答（正誤不明な回答）を作成する。

• 報酬モデルは人間による監視を中心としているため。
• これに最適化されすぎて精度（パフォーマンス）に影響を及ぼす。

そこまですごくない話 †

Transformerに強化学習を組み合わせるともっと凄いと言う発見だけが今回のポイント

• ChatGPTは、一見するともっともらしい答えを返せるように上手く調整されている。
• OpenAIは誇大広告とも言える主張を繰り返してきた前科がある。
  • GPT-2：｢人間を超えたAIを開発してしまったのであまりにも危険｣

強化学習の取り入れ †

• 従来のGPT-2、GPT-3との明らかな違いは、ChatGPTはおそらく｢初めて強化学習を取り入れた｣点にある。
• 識者によれば｢すごい人工知能ができた！｣と騒がれるケースは深層強化学習の成果である事が多かったとの事。

Transformerは凄い。 †

• 例外はGPTやDALL-E、StableDiffusion?のようなTransformerと呼ばれる｢生成モデル｣。
• これはTransformerという学習モデルを使った深層学習単体の成果になる。

雰囲気が重視されている。 †

• 人間の「教師」は回答の正当性などに関係なく、
  長い回答を好んでいたので長い回答が多い（専門性を感じるため）。

• 簡単なことはスラスラ回答するが、難しい事を｢知りません｣と白状するのは
  • ｢それっぽい会話｣を試行錯誤で作り出そうとして失敗した結果。
  • ｢過度の知ったかぶりはしない｣という調教が行われている（推定）。
  • ｢適当に嘘をついて下さい｣といった指示を与えると俄然、活き活きしてくる。

• 強化学習を重ねた弊害
  「とりあえずそれっぽいことを表面的に語るだけの実は無能なヤバい奴」とも。
  • 内部的には確率的オウム（統計ルールからのみ知識を得ている）に過ぎないが、
  • 強化学習によって詐欺師的な側面が強調された（笑）
    • 文法的に間違っているようなプログラムを回答したらダメ
    • 過度の知ったかぶりはバレ易く評価が低くなるからダメ
    • 自信がないように見える答えは評価が低くなるからダメ

• ｢面白い話ができるAI｣をつくることが難しい理由
  • AIを指導する人間が増えるとAIは必然的に没個性的な存在になっていく。
  • 解決策があるとすれば、AIを調教する人間を一度に一人に絞ること。
  • 差別や偏見を撒き散らすような会話AIが生まれないよう抑制的に制御している。

用法 †

ユースケース †

様々なテキスト生成のユースケース

チャットボット †

• 人間と人間の対話を模範する主要機能
  • 自然言語を入力として受け取り、自然言語を出力として生成する。
  • このため、自然な会話をするチャットボットを作成できる。

• 前作のInstructGPTと比べ、ChatGPTは攻撃的・欺瞞的な回答の生成をできるだけ避ける仕様
• 攻撃的な回答が生成されるのを防ぐため、入力と出力はコンテンツ・モデレーションAPIによってフィルターされる。

パーソナル・エージェント †

• プランニング：プロジェクトのプランニング（企画・計画）をさせる。
• キャンペーン：プロジェクトの作戦行動（実行、監視・制御）をさせる。

• メッセージの生成
  • 特定のテンプレートを使用してメッセージを生成できる。

• 例えば、
  • 自動化された電子メールを生成
  • 自然な言語での挨拶や感謝の手紙を生成

• セラピスト
  • ほとんどのチャットボットとは対照的に、過去の入力を記憶している。
  • これにより、個人に最適化されたセラピストとして使える可能性がある。

テキスト翻訳や要約 †

• 翻訳
  Google翻訳の優位性に戦いを挑めるだけの可能性を持った翻訳ツール

• Google翻訳は大規模な投資の結果、特に力を入れている言語に於いてはChatGPTを凌駕している
• しかし、ChatGPTは、ユーザーから提供された文脈や余分なものを基に、翻訳を調整することができる。

• 要約
  • 長い文章や記事から要約を生成できる。
  • 大量のテキストの概要をより簡潔に把握できる。

検索代替、質疑応答 †

• Google検索に代わる新しい検索方法
• 特定のトピックに関する情報を探す

• 質疑応答
  • 人間と同水準かそれ以上の回答を生成
  • 特に教科書的な問題は得意

プログラミングやデバッグ †

• この程度のことは実はGPT-2（2019）でもできていた。
• GitHubにもCopilotと言うAIプログラミング機能がある。

• 表計算ソフトの関数記述などに利用できる（あまり難しいことは出来ない）。
  • AAA, BBB, CCC, DDD...をアルファベット順で並び替えるプログラムを JavaScriptで書いてください。
  • 一見きちんとしたプログラムを書くようだが、実際には雰囲気でプログラミングのようなものを見せている。

プログラムの模範 †

• Linuxシステムの模範
• ○☓ゲームのNPCの模範
• 自然言語を使用したテキスト生成ゲーム

クリエイティブ †

小説、脚本、詩、歌詞、音楽など。

得意なタスクと苦手なタスク †

得意とするタスク †

特に、文章生成や自然言語対話システムなどを構築する場合には有効。

• 他の言語モデルと比べて
  • 自然言語を理解する能力が高い。
  • 大規模なテキストコーパスを使用して学習されている

• 自然言語を理解し、
  • 新しい文章、自然でリズムのある文章を生成できる。
  • 質問に答えることや、文章をサマリーすること、文章を翻訳することなど。
  • 自然言語を入力として受け取り、それをもとに様々なタスクを実行することもできる。

苦手とするタスク †

つまり、論理的な思考は一切していない。

• 数学的な計算や論理的推論のタスクでは、人間並みの精度を発揮しない。

• 具体的な指示や手順を追うタスクでは、人間並みの精度を発揮しない。

• 語彙や文法の誤りを検出するタスクでは、人間並みの精度を発揮しない。

入力テキストを作成する際のポイント †

入力として与えられた情報を基に回答を生成するため...

明確で具体的な質問をする †

• 明確で具体的な質問に対してより適切な回答を生成できる。
• 抽象的な質問や、複数の解釈ができる質問に対しては、正確な回答は困難。

必要な情報をすべて含める †

質問をする際には、必要な情報をすべて含めることで、より適切な回答を生成できる。

質問を分割する †

• 複雑な質問や、複数の質問を一度にすることは、より適切な回答を得ることが困難。
• 複雑な質問は、複数の分割された質問に分けることで、より適切な回答を生成できる。

情報が含まれる範囲を明確にする †

• 質問をする際には、回答を求める情報が含まれる範囲を明確にすることで、より適切な回答を生成できる。

プロンプト・エンジニアリング †

• 入力（質問の仕方）を工夫すると、出力（回答の質）が変わる。
• このため適切な出力を得るために入力を工夫することとして注目されている。

出力の回答を解釈する際のポイント †

入力として与えられた情報を基に回答を生成するため...

正確であることを確認する †

• 回答が正確であるとは限らない。
• 回答が正確であることを確認することが重要。

抽象的である場合、具体的に解釈する †

• 抽象的な質問に対しても回答を生成できる。
• 具体的な意味を求めるようにすることが重要。

複数の解釈ができる場合、質問を再確認する †

• 複数の解釈ができる質問に対しても回答を生成できる。
• 質問を再確認し正確な意味を確認することが重要。

回答が省略されている場合は、補足する †

• （入力で与えられた）必要な情報が省略されることがある。
• このような場合には、回答を補足することで、正確な意味を理解できる。

参考 †

• Introducing ChatGPT
  https://openai.com/blog/chatgpt

• ChatGPT - Wikipedia
  https://ja.wikipedia.org/wiki/ChatGPT

始め方 †

• ChatGPTとは？始め方やアカウント登録・ログイン、使い方を解説 - BTCC
  https://www.btcc.com/ja-JP/academy/crypto-basics/what-is-chatgpt

• ChatGPTとは？初心者でも分かる始め方を解説
  Digital Shift Times（デジタル シフト タイムズ） その変革に勇気と希望を
  https://digital-shift.jp/flash_news/s_230306_1

使い方 †

プロンプト・エンジニアリング †

• AIの思考を人間が助ける。AI領域で人気の職種「プロンプトエンジニア」とは何か
  Digital Shift Times（デジタル シフト タイムズ） その変革に勇気と希望を
  https://digital-shift.jp/ai/221122

• ChatGPTは馬鹿じゃない！ 真の実力を解放するプロンプトエンジニアリングの最前線
  https://zenn.dev/noritamarino/articles/a2321a65fe2be8

• AIの思考を人間が助ける「プロンプトエンジニアリング」、能力の劇的進化に要注目 | 日経クロステック（xTECH）
  https://xtech.nikkei.com/atcl/nxt/column/18/00692/060900081/

ChatGPT vs Google翻訳 †

• 【ChatGPT vs Google翻訳】どちらの翻訳が優れているか？ | 【翻訳商社®】ノーヴァネクサス
  https://novanexus.jp/know-how/19636/13/02/2023/

理解、疑問 †

• chatGPTに聞いて理解するchatGPT - Qiita
  https://qiita.com/ipeblb/items/87b74666c1ce1167d609

• ChatGPTについて学術関係者が知っておきたい4つの疑問
  https://www.editage.jp/insights/four-burning-questions-academia-has-about-chatgpt

ChatGPT - SNSなど? †

ChatGPT - Newsなど? †

ChatGPTの限界 †

• チャットできるAI、ChatGPTが｢そこまですごくない｣理由。見えてしまった限界 | Business Insider Japan
  https://www.businessinsider.jp/post-263042

• MIT Tech Review: GPT-3とそれを取り巻く周辺、パラダイムと限界
  https://www.technologyreview.jp/s/250066/gpt-3-and-related-ai-technologies-paradigms-and-limitations/

サービス †

• 株式会社piconのプレスリリース
  • 電話DXのIVRy（アイブリー）、ChatGPTと会話できる「電話GPT」を特別公開
    https://prtimes.jp/main/html/rd/p/000000049.000056805.html
  • ChatGPTをLINEで使える「AIチャットくん」
    リリースからわずか10日で登録者数50万人を突破／ユーザー属性と使用例を紹介
    https://prtimes.jp/main/html/rd/p/000000007.000027865.html

• ChatGPTと会話できる電話番号、SaaS企業が公開　話しかけると音声で回答 - ITmedia NEWS
  https://www.itmedia.co.jp/news/articles/2303/13/news166.html

     

Site admin: TechInfoOfMicrosoftTech

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.111 sec.