ChatGPT
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-[[戻る>テキスト生成系（Transformer系）]] > [[開発系>テキ...
--[[OpenAI]]
---ChatGPT
---[[OpenAI API]]
---[[Library>OpenAI#w24acc85]]
--[[Azure OpenAI>https://techinfoofmicrosofttech.osscons....
--[[OSSのLLM]]
--[[LLM系ツール]]
*目次 [#o1b35ff8]
#contents
*概要 [#pbac884d]
ChatGPT（チャットジーピーティー、Chat Generative Pre-trai...
-[[OpenAI>G検定：試験対策#b06228eb]]が2022年11月に公開し...
-複数の言語を認識し、人間らしく応答する。
-第3世代の生成言語モデルである[[GPT-3>#m3b370c4]]に由来
-モデルは、AzureのHPCIを使用しMicrosoftと共同でトレーニン...
**アーキテクチャ [#y659144d]
***[[GPT>言語処理（AI）#a1d46512]]-3, 4 [#m3b370c4]
（Generative Pre-training Transformer 3, 4）
-[[OpenAI>G検定：試験対策#b06228eb]]のGPT-3.5, 4モデルを...
-[[Transformer>#v72d4823]]という深層学習モデルを基にして...
--テキストを入力に文章を生成する[[ニューラルネットワーク]...
--約 570GBの大規模な[[テキスト・コーパス>言語処理（AI）#e...
***[[Transformer>言語処理（AI）#a5995dbe]] [#v72d4823]
-[[機械翻訳]]は、[[BERTなどの「Transformer」>言語処理（AI...
-コレらは、次に現れる単語の確率分布を（文脈的なものを考慮...
-画像生成系AIもTransformerでテキスト（[[プロンプト>LLMへ...
***学習の仕組み [#l85409ac]
-[[Transformer>#v72d4823]]は
--以下のような学習方法で、
---[[事前学習>深層学習のテクニック#ebe9edcc]]~
ラベルなしデータで教師なし学習して言語自体を理解
---[[ファイン・チューニング>深層学習のテクニック#ea94272b...
ラベルありデータで教師あり学習してタスクを理解
--以下を実現した。
---データやモデルを大きくして精度を向上。
---多用なタスク（翻訳やチャット）を１つのモデルで処理。
-GPTでは、教師あり学習と強化学習を行い、~
その両方の手法で転移学習を併用している。
--教師あり学習~
トレーナーがユーザーとAIアシスタントの両方を演じる会話を...
--強化学習~
人間のトレーナーが、モデルが以前の会話で作成した応答をラ...
***自然言語を理解する能力 [#r24c2ef7]
GPTは自然言語を理解する能力を持っていると言う。
-自然でリズムのある文章を生成できる。
-また、自然言語を入力として受け取り、
-それをもとに様々なタスクを実行するもできる。
**反響 [#tb81ebc1]
***知名度、評価など [#e323676b]
-公開から6日目にして利用者が｢100万ユーザを突破した｣とアル...
-[[OpenAI>G検定：試験対策#b06228eb]]の評価額は290億米ドル...
-ChatGPTがアクティブユーザー数1億人に到達するのにかかった...
TikTokとInstagramがそれぞれ9カ月と2年半であるのに対して、...
***肯定的な意見 [#ne4bb95b]
-知識労働者、クリエイターの供給に比類する可能性。
-生徒が課題に使い出力結果が優秀な生徒による回答と同レベル。
-Googleは検索エンジン事業にもたらす脅威を受け「緊急事態」...
***否定的な意見 [#be51a142]
-知識労働者、クリエイターの需要に影響する可能性。
-卒業生用テストで合格水準に達した。
--ミネソタ大学でC+
--ウォートン・スクールの同様のテストでBからB-
-学習データ
--文章生成に報道機関の記事を無報酬で使用
--インターネット上のコンテンツの信頼性
-誤回答
--2+2=4を回答して、指摘しても正しいと言い張る。
--中央アメリカでメキシコの次に大きな国にグアテマラと回答...
--曲の歌詞を生成するよう求めた時、実際の歌詞ではなく新し...
--物語のあらすじを生成するよう求めた時、実際のあらすじで...
--Stack Overflowは、誤答が少なくないことを理由としてChatG...
-倫理
--コンテンツモデレーションを[[プロンプト・エンジニアリン...
--ユーザーがナチス・ドイツに関する質問を入力した際に生成...
-教育
--複数の論文が既にChatGPTを共同著者として挙げていることが...
--教師は生徒が課題をChatGPT任せにしていることを問題視する...
-リスク
--不正行為や雇用の喪失、差別、偽情報をもたらす可能性があ...
--フィッシング詐欺などを目的とするメールを書くことができ~
「サイバーセキュリティにおける大きなリスク」などをもたら...
-シンギュラリティ的
--制御不能な軍事的応用による「大量破壊」を引き起こす可能...
*詳細 [#tcbeac74]
**人間との相違点 [#a32f8d26]
***人間 [#g4d541ec]
-口語的、主観的
-発散的で他の話題に移行しやすい
-強い感情を表現
***ChatGP [#sc589b2e]
-フォーマル、客観的
-質問に厳密に集中している
-感情をあまり表現しない
**複数の欠点 [#i5a40753]
ただし、機能は豊富なものの、複数の欠点もある。
***確率的オウム [#l5411899]
本質的に確率的オウム（統計ルールからのみ知識を得ている）...
***知識の範囲 [#rd785f45]
-書籍、Wikipedia、WebSite、電子掲示板、Blogなどのネット上...
-ソースの開示を行なっておらず、ステレオタイプを反映する可...
-データ範囲外のニッチで専門的なテーマやトピックは精度が低...
-また、2021年以降に発生した出来事については知識が全く無い...
***強化学習の弊害 [#g59d35e9]
もっともらしく見える誤回答（正誤不明な回答）を作成する。
-報酬モデルは人間による監視を中心としているため。
-これに最適化されすぎて精度（パフォーマンス）に影響を及ぼ...
**過大評価されている話 [#rf725f59]
[[Transformer>#w71eff02]]に[[強化学習>#v0990000]]を組み合...
-ChatGPTは、一見するともっともらしい答えを返せるように上...
-[[OpenAI>G検定：試験対策#b06228eb]]は誇大広告とも言える...
--GPT-2：｢人間を超えたAIを開発してしまったのであまりにも...
--GPT-3：その誇大広告気味な宣伝によって期待値は膨らんだが...
--GPT-3.5：ChatGPTはOpenAIとしてはほとんど初めて｢すごい｣...
***[[Transformer>#v72d4823]]は凄い。 [#w71eff02]
-例外はGPTやDALL-E、StableDiffusionのような[[Transformer>...
-これは[[Transformer>#v72d4823]]という学習モデルを使った...
***強化学習の取り入れ [#v0990000]
-従来のGPT-2、GPT-3との明らかな違いは、ChatGPTはおそらく｢...
-識者によれば｢すごい人工知能ができた！｣と騒がれるケースは...
***雰囲気が重視されている。 [#r3bd6d90]
-人間の「教師」は回答の正当性などに関係なく、~
長い回答を好んでいたので長い回答が多い（専門性を感じるた...
-簡単なことはスラスラ回答するが、難しい事を｢知りません｣と...
--｢それっぽい会話｣を試行錯誤で作り出そうとして失敗した結...
--｢過度の知ったかぶりはしない｣という調教が行われている（...
--｢適当に嘘をついて下さい｣といった指示を与えると俄然、活...
-強化学習を重ねた弊害~
「とりあえずそれっぽいことを表面的に語るだけの実は無能な...
--内部的には確率的オウム（統計ルールからのみ知識を得てい...
--強化学習によって詐欺師的な側面が強調された（笑）
---文法的に間違っているようなプログラムを回答したらダメ
---過度の知ったかぶりはバレ易く評価が低くなるからダメ
---自信がないように見える答えは評価が低くなるからダメ
-｢面白い話ができるAI｣をつくることが難しい理由
--AIを指導する人間が増えるとAIは必然的に没個性的な存在に...
--解決策があるとすれば、AIを調教する人間を一度に一人に絞...
--差別や偏見を撒き散らすような会話AIが生まれないよう抑制...
**得意なタスクと苦手なタスク [#v44309fe]
***[[そもそもの仕組み（LLMの特徴）>言語処理（AI）#x6414d9...
-[[プロンプト>#hd0e5f05]]は次単語予測の汎用性とコンテキス...
-Zero-Shot学習とも呼ばれ、[[プロンプト>#hd0e5f05]]（過去...
Attention機構を変形して見方を変えると勾配降下法をシミュレ...
-AIは逆問題だがLLMは順問題を言語的には学習する事ができる。
-ただし、この順問題の定義の学習は、あくまで言語的＆確率的...
言語からの学習で、論理的なモデルを構築し、それを使用して...
***得意とするタスク [#y922f34a]
特に、文章生成や自然言語対話システムなどを構築する場合に...
-他の言語モデルと比べて
--自然言語を理解する能力が高い。
--大規模な[[テキスト・コーパス>言語処理（AI）#ee57ac60]]...
-自然言語を理解し、
--新しい文章、自然でリズムのある文章を生成できる。
--質問に答えることや、文章を要約すること、文章を翻訳する...
--自然言語を入力として受け取り、それを基に様々なタスクを...
***苦手とするタスク [#z722cd79]
-論理的な思考は一切していないので、論理的に考えて回答する...
--数学的な計算や論理的推論のタスクでは、人間並みの精度を...
--具体的な指示や手順を追うタスクでは、人間並みの精度を発...
--語彙や文法の誤りを検出するタスク（≒ 校正）では、人間並...
--例：
---数学的な計算や論理的推論、具体的な指示や手順を追うタス...
---語彙や文法の誤りを検出するタスク~
「①～④のうちから誤りを含むものを1つ選べ」という問いです。...
Our CEO gives ① <her> feedback ② <at> production targets,...
誤りが含まれているのは、「①<her>」です。正しい表現は 「hi...
-[[定義を説明することは苦手ではない>LLMへの様々な質問例#z...
--ChatGPTに「XXXX（固有名詞）」について聞いてみたら、トン...
--「Chat-GPTは文章作成のAIであって科学的な事物の検証用で...
…何かの情報とゴッチャになってる…？😳質問系の回答は鵜呑みに...
--キノコ専門家がAmazonで売られている「AIが書いたキノコ採...
--ChatGPT、以前とある薬剤について質問したらまったく別の薬...
-試験問題から見る苦手な分野
--ChatGPTの共通テスト・国語が200点中50点、登場人物の気持...
--GPT-4 Technical Reportで報告されている結果を見ると、ま...
-出来ない事は、まだまだ多い。
--[[フレーム問題>人工知能（AI）#bd2791da]]（期待はある）
--[[記号接地問題>人工知能（AI）#f2b272c2]]（視覚を加えた...
--[[身体性>人工知能（AI）#kd11c451]]（聴覚、触覚、味覚、...
--[[知識獲得のボトルネック>人工知能（AI）#o8dacbc6]]（期...
-ポランニーのパラドックス、
--人間は暗黙知を持つが、LLMは暗黙知を持たない。
--≒ 前述の身体性の様な所から学習し論理的なモデルを構築し...
**質問例を分析しユースケースを絞込む [#x6963d3d]
***[[LLMへの様々な質問例]] [#p2d46574]
***[[LLMのユースケース]] [#k9fef6df]
*参考 [#zf747616]
-Introducing ChatGPT~
https://openai.com/blog/chatgpt
-ChatGPT - Wikipedia~
https://ja.wikipedia.org/wiki/ChatGPT
-ChatGPTとは？開発に役立つ使い方、トレンド記事やtips - Qi...
https://qiita.com/tags/chatgpt
-深層学習についてのレポート（LLM編）~
https://www.osscons.jp/joho108j0-537/#_537
**ChatGPTとは？ [#o5ed5dd2]
-【連載】ChatGPT入門 - 初めてのAIチャット活用 | TECH+（テ...
https://news.mynavi.jp/techplus/series/chat_gpt/
--ChatGPTとは~
https://news.mynavi.jp/techplus/article/chat_gpt-1/
--ChatGPTを使ってみる~
https://news.mynavi.jp/techplus/article/chat_gpt-2/
--ChatGPTでできること・できないこと~
https://news.mynavi.jp/techplus/article/chat_gpt-3/
--ChatGPTのアーキテクチャ・動作原理~
https://news.mynavi.jp/techplus/article/chat_gpt-4/
--ChatGPTの出現で始まる!「言葉」によるプロンプトセントリ...
https://news.mynavi.jp/techplus/article/chat_gpt-5/
--ChatGPTの今後 - 前編：ChatGPTの進化~
https://news.mynavi.jp/techplus/article/chat_gpt-6/
--ChatGPTの今後 - 後編：ChatGPTを取り巻く環境とさまざまな...
https://news.mynavi.jp/techplus/article/chat_gpt-7/
-エンジニアなら知っておきたいGPTのキホン 記事一覧 | Think...
https://thinkit.co.jp/series/10884
--第1回 GPTで始まる大規模言語モデル時代~
https://thinkit.co.jp/article/22084
--第2回 大規模言語モデルの概要~
https://thinkit.co.jp/article/22168
--第3回 大規模言語モデルの自然言語処理「Transformer」モデ...
https://thinkit.co.jp/article/22231
--第4回 マイクロソフトのAI搭載ツール「Bing」と「Copilot」~
https://thinkit.co.jp/article/22281
--第5回 ChatGPTのプラグイン【前半】~
https://thinkit.co.jp/article/22352
--第6回 ChatGPTのプラグイン【後半】~
https://thinkit.co.jp/article/22397
--第7回 「ChatGPT Enterprise」と「Microsoft 365 Copilot」~
https://thinkit.co.jp/article/22454
--第8回 「Microsoft 365 Copilot」の3つのポイントと「Micro...
https://thinkit.co.jp/article/22545
**使い方 [#o3b5cc67]
***始め方 [#xbf513fd]
-ChatGPTとは？始め方やアカウント登録・ログイン、使い方を...
https://www.btcc.com/ja-JP/academy/crypto-basics/what-is-...
-ChatGPTとは？初心者でも分かる始め方を解説~
Digital Shift Times（デジタル シフト タイムズ） その変革...
https://digital-shift.jp/flash_news/s_230306_1
***プロンプト・エンジニアリング [#eb14b1a7]
-[[LLMのPE]]（プロンプト・エンジニアリング）
-Prompt Engineering Guide~
https://www.promptingguide.ai/jp
-Free ChatGPT Prompting Cheat Sheet (PDF) – Be on the Rig...
https://blog.finxter.com/free-chatgpt-prompting-cheat-she...
-AIの思考を人間が助ける。AI領域で人気の職種「プロンプトエ...
Digital Shift Times（デジタル シフト タイムズ） その変革...
https://digital-shift.jp/ai/221122
-ChatGPTは馬鹿じゃない！ 真の実力を解放するプロンプトエン...
https://zenn.dev/noritamarino/articles/a2321a65fe2be8
-AIの思考を人間が助ける「プロンプトエンジニアリング」、能...
https://xtech.nikkei.com/atcl/nxt/column/18/00692/0609000...
-「プロンプトエンジニアリング」の“教科書”、日本語版が登場...
https://www.itmedia.co.jp/news/articles/2304/05/news175.h...
-【連載】柳谷智宣の「ChatGPTプロンプトクリエイティブラボ...
https://news.mynavi.jp/techplus/series/chatgpt_prompt/
--GPTって？プロンプトって？ - ChatGPTの基本を学ぼう~
https://news.mynavi.jp/techplus/article/chatgpt_prompt-1/
--ChatGPTでプレゼン資料のたたき台を超短時間で作る~
https://news.mynavi.jp/techplus/article/chatgpt_prompt-2/
--ChatGPTに記事・議事録・音声を要約してもらう~
https://news.mynavi.jp/techplus/article/chatgpt_prompt-3/
--言葉の意味を知る、言語を学ぶ、新語を生み出す~
https://news.mynavi.jp/techplus/article/chatgpt_prompt-4/
--自然言語でプログラムを作成・実行できるCode Interpreter...
https://news.mynavi.jp/techplus/article/chatgpt_prompt-5/
--有名人に扮したChatGPTにインタビュー案を作ってもらう~
https://news.mynavi.jp/techplus/article/chatgpt_prompt-6/
--企画会議に提出するアイデアをChatGPTに作ってもらう~
https://news.mynavi.jp/techplus/article/chatgpt_prompt-7/
--ChatGPTにダメ出しをしてもらってブラッシュアップする~
https://news.mynavi.jp/techplus/article/chatgpt_prompt-8/
***ChatGPT vs Google翻訳 [#f5d71214]
-【ChatGPT vs Google翻訳】どちらの翻訳が優れているか？ | ...
https://novanexus.jp/know-how/19636/13/02/2023/
**理解、疑問 [#z629b691]
-chatGPTに聞いて理解するchatGPT - Qiita~
https://qiita.com/ipeblb/items/87b74666c1ce1167d609
-ChatGPTを社内に配ってもあまり使われない本当の理由 #AI - ...
https://qiita.com/jw-automation/items/cf8ffc7a0edab512d917
-ChatGPTについて学術関係者が知っておきたい4つの疑問~
https://www.editage.jp/insights/four-burning-questions-ac...
***ChatGPTの限界 [#x8b5afea]
-チャットできるAI、ChatGPTが｢そこまですごくない｣理由。見...
https://www.businessinsider.jp/post-263042
-MIT Tech Review: GPT-3とそれを取り巻く周辺、パラダイ...
https://www.technologyreview.jp/s/250066/gpt-3-and-relate...
***ChatGPTの仕組みを理解する [#n3e1ab2b]
-前編：https://tech-blog.abeja.asia/entry/chat-gpt-first-...
-後編：https://tech-blog.abeja.asia/entry/chat-gpt-second...
**GPT評価 [#if5b79cb]
GPT系サービスを利用し評価を解説した。~
https://1drv.ms/x/s!Amfs5caPP9r5kXO9VvIB-QoBVKzZ?e=r6DHBw
※ 以下の「LC」は、ロング・コンテキストの略♨
***目次 [#u001703f]
***マップ [#c2ab5c21]
ユースケース・マップ（以下のユースケースのマップ）
***前提 [#k6bbdc1a]
「GPT3.5、GPT4混在」（「今や昔」感ありますが）
***導入 [#o82d01e6]
-GPTとは
-図でポイントを理解する
-Few-shot Learning
-ロングコンテキスト
-得手不得手情報集
-得手不得手評価
-GPTのバージョン
-GPT-3とGPT-4の違い
-GPTまとめ
***活用促進 [#o0e45e9c]
-事例集が難しい理由
-GPTユーザの特徴
***質問応答 [#h9a26bb1]
-一般的な質問
-特定分野の知識
-対話の流暢さ
-倫理的・バイアスの評価
***問題解決 [#od626417]
-ロジカルな推論
-クリエイティブな問題解決
***深い考察 [#q98ba23a]
-「需要と供給の法則を説明してください。」
-「がん治療における免疫療法の最新の進展について教えてくだ...
-「デジタルプライバシー法の最新の動向とその影響について説...
-「機械学習における過学習の問題とその対策について詳しく説...
-「中央銀行がインフレを管理するための政策手段について説明...
-「再生可能エネルギー技術の現状と未来の展望について説明し...
***ロングコンテキスト [#ocdfe07e]
-追加知識を学習無しでコンテキストとして与える例
-以降【LC】はロングコンテキスト対応プロンプトの意
***文章生成 [#c10d4d06]
-翻訳【LC】
-要約【LC】
-文章生成
--文章生成【テンプレ】
--文章生成【LC】
--技術文章生成【テンプレ】
--技術文章生成【LC】
***文章チェック [#pcf0bbf3]
-校正【LC】
-正誤【LC】
***データ分析 [#ub69892f]
-データ分析【Excel】
-データ分析【LC】
-データ分析【Advanced data analysis】
-データ分析コード生成【LC】
***コーディングとデバッグ [#v4dc33a8]
-コード生成【テンプレ】
-コード生成【LC】
-コンバージョン【LC】
-ドキュメンテーション【LC】
-テストコード生成【LC】
-コードの問題の指摘と修正【LC】
***EUC [#y441fbf7]
-EUC Linuxシェル
-EUC Linuxシェル【テンプレ】
-EUC Excelマクロ
-EUC Excelマクロ【テンプレ】
--Excelデータ・シート
--Excelピボット・テーブル
***手動RAG【LC】 [#efd4eb9f]
-トラブルシューティング【LC】
-設計ディシジョン【LC】
-規則・規格系【LC】
***博識家・専門家の支援 [#y7fa6c6f]
-ダブルダイアモンドの例
-意思決定例
***製品別 [#s0b5783e]
-GitHub Copilot
-Copilot企業版
-Copilot for M365
--Outlook
--Teams
--Forms
***マルチモーダル [#ke2867d9]
-イラスト
-図解
-音声
-動画
***参考 [#l57b3006]
-YouTube生成字幕を使った要約
-ハルシネーションについて
-輸出管理や機密情報・個人情報
-他者の知的財産の取扱
終了行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-[[戻る>テキスト生成系（Transformer系）]] > [[開発系>テキ...
--[[OpenAI]]
---ChatGPT
---[[OpenAI API]]
---[[Library>OpenAI#w24acc85]]
--[[Azure OpenAI>https://techinfoofmicrosofttech.osscons....
--[[OSSのLLM]]
--[[LLM系ツール]]
*目次 [#o1b35ff8]
#contents
*概要 [#pbac884d]
ChatGPT（チャットジーピーティー、Chat Generative Pre-trai...
-[[OpenAI>G検定：試験対策#b06228eb]]が2022年11月に公開し...
-複数の言語を認識し、人間らしく応答する。
-第3世代の生成言語モデルである[[GPT-3>#m3b370c4]]に由来
-モデルは、AzureのHPCIを使用しMicrosoftと共同でトレーニン...
**アーキテクチャ [#y659144d]
***[[GPT>言語処理（AI）#a1d46512]]-3, 4 [#m3b370c4]
（Generative Pre-training Transformer 3, 4）
-[[OpenAI>G検定：試験対策#b06228eb]]のGPT-3.5, 4モデルを...
-[[Transformer>#v72d4823]]という深層学習モデルを基にして...
--テキストを入力に文章を生成する[[ニューラルネットワーク]...
--約 570GBの大規模な[[テキスト・コーパス>言語処理（AI）#e...
***[[Transformer>言語処理（AI）#a5995dbe]] [#v72d4823]
-[[機械翻訳]]は、[[BERTなどの「Transformer」>言語処理（AI...
-コレらは、次に現れる単語の確率分布を（文脈的なものを考慮...
-画像生成系AIもTransformerでテキスト（[[プロンプト>LLMへ...
***学習の仕組み [#l85409ac]
-[[Transformer>#v72d4823]]は
--以下のような学習方法で、
---[[事前学習>深層学習のテクニック#ebe9edcc]]~
ラベルなしデータで教師なし学習して言語自体を理解
---[[ファイン・チューニング>深層学習のテクニック#ea94272b...
ラベルありデータで教師あり学習してタスクを理解
--以下を実現した。
---データやモデルを大きくして精度を向上。
---多用なタスク（翻訳やチャット）を１つのモデルで処理。
-GPTでは、教師あり学習と強化学習を行い、~
その両方の手法で転移学習を併用している。
--教師あり学習~
トレーナーがユーザーとAIアシスタントの両方を演じる会話を...
--強化学習~
人間のトレーナーが、モデルが以前の会話で作成した応答をラ...
***自然言語を理解する能力 [#r24c2ef7]
GPTは自然言語を理解する能力を持っていると言う。
-自然でリズムのある文章を生成できる。
-また、自然言語を入力として受け取り、
-それをもとに様々なタスクを実行するもできる。
**反響 [#tb81ebc1]
***知名度、評価など [#e323676b]
-公開から6日目にして利用者が｢100万ユーザを突破した｣とアル...
-[[OpenAI>G検定：試験対策#b06228eb]]の評価額は290億米ドル...
-ChatGPTがアクティブユーザー数1億人に到達するのにかかった...
TikTokとInstagramがそれぞれ9カ月と2年半であるのに対して、...
***肯定的な意見 [#ne4bb95b]
-知識労働者、クリエイターの供給に比類する可能性。
-生徒が課題に使い出力結果が優秀な生徒による回答と同レベル。
-Googleは検索エンジン事業にもたらす脅威を受け「緊急事態」...
***否定的な意見 [#be51a142]
-知識労働者、クリエイターの需要に影響する可能性。
-卒業生用テストで合格水準に達した。
--ミネソタ大学でC+
--ウォートン・スクールの同様のテストでBからB-
-学習データ
--文章生成に報道機関の記事を無報酬で使用
--インターネット上のコンテンツの信頼性
-誤回答
--2+2=4を回答して、指摘しても正しいと言い張る。
--中央アメリカでメキシコの次に大きな国にグアテマラと回答...
--曲の歌詞を生成するよう求めた時、実際の歌詞ではなく新し...
--物語のあらすじを生成するよう求めた時、実際のあらすじで...
--Stack Overflowは、誤答が少なくないことを理由としてChatG...
-倫理
--コンテンツモデレーションを[[プロンプト・エンジニアリン...
--ユーザーがナチス・ドイツに関する質問を入力した際に生成...
-教育
--複数の論文が既にChatGPTを共同著者として挙げていることが...
--教師は生徒が課題をChatGPT任せにしていることを問題視する...
-リスク
--不正行為や雇用の喪失、差別、偽情報をもたらす可能性があ...
--フィッシング詐欺などを目的とするメールを書くことができ~
「サイバーセキュリティにおける大きなリスク」などをもたら...
-シンギュラリティ的
--制御不能な軍事的応用による「大量破壊」を引き起こす可能...
*詳細 [#tcbeac74]
**人間との相違点 [#a32f8d26]
***人間 [#g4d541ec]
-口語的、主観的
-発散的で他の話題に移行しやすい
-強い感情を表現
***ChatGP [#sc589b2e]
-フォーマル、客観的
-質問に厳密に集中している
-感情をあまり表現しない
**複数の欠点 [#i5a40753]
ただし、機能は豊富なものの、複数の欠点もある。
***確率的オウム [#l5411899]
本質的に確率的オウム（統計ルールからのみ知識を得ている）...
***知識の範囲 [#rd785f45]
-書籍、Wikipedia、WebSite、電子掲示板、Blogなどのネット上...
-ソースの開示を行なっておらず、ステレオタイプを反映する可...
-データ範囲外のニッチで専門的なテーマやトピックは精度が低...
-また、2021年以降に発生した出来事については知識が全く無い...
***強化学習の弊害 [#g59d35e9]
もっともらしく見える誤回答（正誤不明な回答）を作成する。
-報酬モデルは人間による監視を中心としているため。
-これに最適化されすぎて精度（パフォーマンス）に影響を及ぼ...
**過大評価されている話 [#rf725f59]
[[Transformer>#w71eff02]]に[[強化学習>#v0990000]]を組み合...
-ChatGPTは、一見するともっともらしい答えを返せるように上...
-[[OpenAI>G検定：試験対策#b06228eb]]は誇大広告とも言える...
--GPT-2：｢人間を超えたAIを開発してしまったのであまりにも...
--GPT-3：その誇大広告気味な宣伝によって期待値は膨らんだが...
--GPT-3.5：ChatGPTはOpenAIとしてはほとんど初めて｢すごい｣...
***[[Transformer>#v72d4823]]は凄い。 [#w71eff02]
-例外はGPTやDALL-E、StableDiffusionのような[[Transformer>...
-これは[[Transformer>#v72d4823]]という学習モデルを使った...
***強化学習の取り入れ [#v0990000]
-従来のGPT-2、GPT-3との明らかな違いは、ChatGPTはおそらく｢...
-識者によれば｢すごい人工知能ができた！｣と騒がれるケースは...
***雰囲気が重視されている。 [#r3bd6d90]
-人間の「教師」は回答の正当性などに関係なく、~
長い回答を好んでいたので長い回答が多い（専門性を感じるた...
-簡単なことはスラスラ回答するが、難しい事を｢知りません｣と...
--｢それっぽい会話｣を試行錯誤で作り出そうとして失敗した結...
--｢過度の知ったかぶりはしない｣という調教が行われている（...
--｢適当に嘘をついて下さい｣といった指示を与えると俄然、活...
-強化学習を重ねた弊害~
「とりあえずそれっぽいことを表面的に語るだけの実は無能な...
--内部的には確率的オウム（統計ルールからのみ知識を得てい...
--強化学習によって詐欺師的な側面が強調された（笑）
---文法的に間違っているようなプログラムを回答したらダメ
---過度の知ったかぶりはバレ易く評価が低くなるからダメ
---自信がないように見える答えは評価が低くなるからダメ
-｢面白い話ができるAI｣をつくることが難しい理由
--AIを指導する人間が増えるとAIは必然的に没個性的な存在に...
--解決策があるとすれば、AIを調教する人間を一度に一人に絞...
--差別や偏見を撒き散らすような会話AIが生まれないよう抑制...
**得意なタスクと苦手なタスク [#v44309fe]
***[[そもそもの仕組み（LLMの特徴）>言語処理（AI）#x6414d9...
-[[プロンプト>#hd0e5f05]]は次単語予測の汎用性とコンテキス...
-Zero-Shot学習とも呼ばれ、[[プロンプト>#hd0e5f05]]（過去...
Attention機構を変形して見方を変えると勾配降下法をシミュレ...
-AIは逆問題だがLLMは順問題を言語的には学習する事ができる。
-ただし、この順問題の定義の学習は、あくまで言語的＆確率的...
言語からの学習で、論理的なモデルを構築し、それを使用して...
***得意とするタスク [#y922f34a]
特に、文章生成や自然言語対話システムなどを構築する場合に...
-他の言語モデルと比べて
--自然言語を理解する能力が高い。
--大規模な[[テキスト・コーパス>言語処理（AI）#ee57ac60]]...
-自然言語を理解し、
--新しい文章、自然でリズムのある文章を生成できる。
--質問に答えることや、文章を要約すること、文章を翻訳する...
--自然言語を入力として受け取り、それを基に様々なタスクを...
***苦手とするタスク [#z722cd79]
-論理的な思考は一切していないので、論理的に考えて回答する...
--数学的な計算や論理的推論のタスクでは、人間並みの精度を...
--具体的な指示や手順を追うタスクでは、人間並みの精度を発...
--語彙や文法の誤りを検出するタスク（≒ 校正）では、人間並...
--例：
---数学的な計算や論理的推論、具体的な指示や手順を追うタス...
---語彙や文法の誤りを検出するタスク~
「①～④のうちから誤りを含むものを1つ選べ」という問いです。...
Our CEO gives ① <her> feedback ② <at> production targets,...
誤りが含まれているのは、「①<her>」です。正しい表現は 「hi...
-[[定義を説明することは苦手ではない>LLMへの様々な質問例#z...
--ChatGPTに「XXXX（固有名詞）」について聞いてみたら、トン...
--「Chat-GPTは文章作成のAIであって科学的な事物の検証用で...
…何かの情報とゴッチャになってる…？😳質問系の回答は鵜呑みに...
--キノコ専門家がAmazonで売られている「AIが書いたキノコ採...
--ChatGPT、以前とある薬剤について質問したらまったく別の薬...
-試験問題から見る苦手な分野
--ChatGPTの共通テスト・国語が200点中50点、登場人物の気持...
--GPT-4 Technical Reportで報告されている結果を見ると、ま...
-出来ない事は、まだまだ多い。
--[[フレーム問題>人工知能（AI）#bd2791da]]（期待はある）
--[[記号接地問題>人工知能（AI）#f2b272c2]]（視覚を加えた...
--[[身体性>人工知能（AI）#kd11c451]]（聴覚、触覚、味覚、...
--[[知識獲得のボトルネック>人工知能（AI）#o8dacbc6]]（期...
-ポランニーのパラドックス、
--人間は暗黙知を持つが、LLMは暗黙知を持たない。
--≒ 前述の身体性の様な所から学習し論理的なモデルを構築し...
**質問例を分析しユースケースを絞込む [#x6963d3d]
***[[LLMへの様々な質問例]] [#p2d46574]
***[[LLMのユースケース]] [#k9fef6df]
*参考 [#zf747616]
-Introducing ChatGPT~
https://openai.com/blog/chatgpt
-ChatGPT - Wikipedia~
https://ja.wikipedia.org/wiki/ChatGPT
-ChatGPTとは？開発に役立つ使い方、トレンド記事やtips - Qi...
https://qiita.com/tags/chatgpt
-深層学習についてのレポート（LLM編）~
https://www.osscons.jp/joho108j0-537/#_537
**ChatGPTとは？ [#o5ed5dd2]
-【連載】ChatGPT入門 - 初めてのAIチャット活用 | TECH+（テ...
https://news.mynavi.jp/techplus/series/chat_gpt/
--ChatGPTとは~
https://news.mynavi.jp/techplus/article/chat_gpt-1/
--ChatGPTを使ってみる~
https://news.mynavi.jp/techplus/article/chat_gpt-2/
--ChatGPTでできること・できないこと~
https://news.mynavi.jp/techplus/article/chat_gpt-3/
--ChatGPTのアーキテクチャ・動作原理~
https://news.mynavi.jp/techplus/article/chat_gpt-4/
--ChatGPTの出現で始まる!「言葉」によるプロンプトセントリ...
https://news.mynavi.jp/techplus/article/chat_gpt-5/
--ChatGPTの今後 - 前編：ChatGPTの進化~
https://news.mynavi.jp/techplus/article/chat_gpt-6/
--ChatGPTの今後 - 後編：ChatGPTを取り巻く環境とさまざまな...
https://news.mynavi.jp/techplus/article/chat_gpt-7/
-エンジニアなら知っておきたいGPTのキホン 記事一覧 | Think...
https://thinkit.co.jp/series/10884
--第1回 GPTで始まる大規模言語モデル時代~
https://thinkit.co.jp/article/22084
--第2回 大規模言語モデルの概要~
https://thinkit.co.jp/article/22168
--第3回 大規模言語モデルの自然言語処理「Transformer」モデ...
https://thinkit.co.jp/article/22231
--第4回 マイクロソフトのAI搭載ツール「Bing」と「Copilot」~
https://thinkit.co.jp/article/22281
--第5回 ChatGPTのプラグイン【前半】~
https://thinkit.co.jp/article/22352
--第6回 ChatGPTのプラグイン【後半】~
https://thinkit.co.jp/article/22397
--第7回 「ChatGPT Enterprise」と「Microsoft 365 Copilot」~
https://thinkit.co.jp/article/22454
--第8回 「Microsoft 365 Copilot」の3つのポイントと「Micro...
https://thinkit.co.jp/article/22545
**使い方 [#o3b5cc67]
***始め方 [#xbf513fd]
-ChatGPTとは？始め方やアカウント登録・ログイン、使い方を...
https://www.btcc.com/ja-JP/academy/crypto-basics/what-is-...
-ChatGPTとは？初心者でも分かる始め方を解説~
Digital Shift Times（デジタル シフト タイムズ） その変革...
https://digital-shift.jp/flash_news/s_230306_1
***プロンプト・エンジニアリング [#eb14b1a7]
-[[LLMのPE]]（プロンプト・エンジニアリング）
-Prompt Engineering Guide~
https://www.promptingguide.ai/jp
-Free ChatGPT Prompting Cheat Sheet (PDF) – Be on the Rig...
https://blog.finxter.com/free-chatgpt-prompting-cheat-she...
-AIの思考を人間が助ける。AI領域で人気の職種「プロンプトエ...
Digital Shift Times（デジタル シフト タイムズ） その変革...
https://digital-shift.jp/ai/221122
-ChatGPTは馬鹿じゃない！ 真の実力を解放するプロンプトエン...
https://zenn.dev/noritamarino/articles/a2321a65fe2be8
-AIの思考を人間が助ける「プロンプトエンジニアリング」、能...
https://xtech.nikkei.com/atcl/nxt/column/18/00692/0609000...
-「プロンプトエンジニアリング」の“教科書”、日本語版が登場...
https://www.itmedia.co.jp/news/articles/2304/05/news175.h...
-【連載】柳谷智宣の「ChatGPTプロンプトクリエイティブラボ...
https://news.mynavi.jp/techplus/series/chatgpt_prompt/
--GPTって？プロンプトって？ - ChatGPTの基本を学ぼう~
https://news.mynavi.jp/techplus/article/chatgpt_prompt-1/
--ChatGPTでプレゼン資料のたたき台を超短時間で作る~
https://news.mynavi.jp/techplus/article/chatgpt_prompt-2/
--ChatGPTに記事・議事録・音声を要約してもらう~
https://news.mynavi.jp/techplus/article/chatgpt_prompt-3/
--言葉の意味を知る、言語を学ぶ、新語を生み出す~
https://news.mynavi.jp/techplus/article/chatgpt_prompt-4/
--自然言語でプログラムを作成・実行できるCode Interpreter...
https://news.mynavi.jp/techplus/article/chatgpt_prompt-5/
--有名人に扮したChatGPTにインタビュー案を作ってもらう~
https://news.mynavi.jp/techplus/article/chatgpt_prompt-6/
--企画会議に提出するアイデアをChatGPTに作ってもらう~
https://news.mynavi.jp/techplus/article/chatgpt_prompt-7/
--ChatGPTにダメ出しをしてもらってブラッシュアップする~
https://news.mynavi.jp/techplus/article/chatgpt_prompt-8/
***ChatGPT vs Google翻訳 [#f5d71214]
-【ChatGPT vs Google翻訳】どちらの翻訳が優れているか？ | ...
https://novanexus.jp/know-how/19636/13/02/2023/
**理解、疑問 [#z629b691]
-chatGPTに聞いて理解するchatGPT - Qiita~
https://qiita.com/ipeblb/items/87b74666c1ce1167d609
-ChatGPTを社内に配ってもあまり使われない本当の理由 #AI - ...
https://qiita.com/jw-automation/items/cf8ffc7a0edab512d917
-ChatGPTについて学術関係者が知っておきたい4つの疑問~
https://www.editage.jp/insights/four-burning-questions-ac...
***ChatGPTの限界 [#x8b5afea]
-チャットできるAI、ChatGPTが｢そこまですごくない｣理由。見...
https://www.businessinsider.jp/post-263042
-MIT Tech Review: GPT-3とそれを取り巻く周辺、パラダイ...
https://www.technologyreview.jp/s/250066/gpt-3-and-relate...
***ChatGPTの仕組みを理解する [#n3e1ab2b]
-前編：https://tech-blog.abeja.asia/entry/chat-gpt-first-...
-後編：https://tech-blog.abeja.asia/entry/chat-gpt-second...
**GPT評価 [#if5b79cb]
GPT系サービスを利用し評価を解説した。~
https://1drv.ms/x/s!Amfs5caPP9r5kXO9VvIB-QoBVKzZ?e=r6DHBw
※ 以下の「LC」は、ロング・コンテキストの略♨
***目次 [#u001703f]
***マップ [#c2ab5c21]
ユースケース・マップ（以下のユースケースのマップ）
***前提 [#k6bbdc1a]
「GPT3.5、GPT4混在」（「今や昔」感ありますが）
***導入 [#o82d01e6]
-GPTとは
-図でポイントを理解する
-Few-shot Learning
-ロングコンテキスト
-得手不得手情報集
-得手不得手評価
-GPTのバージョン
-GPT-3とGPT-4の違い
-GPTまとめ
***活用促進 [#o0e45e9c]
-事例集が難しい理由
-GPTユーザの特徴
***質問応答 [#h9a26bb1]
-一般的な質問
-特定分野の知識
-対話の流暢さ
-倫理的・バイアスの評価
***問題解決 [#od626417]
-ロジカルな推論
-クリエイティブな問題解決
***深い考察 [#q98ba23a]
-「需要と供給の法則を説明してください。」
-「がん治療における免疫療法の最新の進展について教えてくだ...
-「デジタルプライバシー法の最新の動向とその影響について説...
-「機械学習における過学習の問題とその対策について詳しく説...
-「中央銀行がインフレを管理するための政策手段について説明...
-「再生可能エネルギー技術の現状と未来の展望について説明し...
***ロングコンテキスト [#ocdfe07e]
-追加知識を学習無しでコンテキストとして与える例
-以降【LC】はロングコンテキスト対応プロンプトの意
***文章生成 [#c10d4d06]
-翻訳【LC】
-要約【LC】
-文章生成
--文章生成【テンプレ】
--文章生成【LC】
--技術文章生成【テンプレ】
--技術文章生成【LC】
***文章チェック [#pcf0bbf3]
-校正【LC】
-正誤【LC】
***データ分析 [#ub69892f]
-データ分析【Excel】
-データ分析【LC】
-データ分析【Advanced data analysis】
-データ分析コード生成【LC】
***コーディングとデバッグ [#v4dc33a8]
-コード生成【テンプレ】
-コード生成【LC】
-コンバージョン【LC】
-ドキュメンテーション【LC】
-テストコード生成【LC】
-コードの問題の指摘と修正【LC】
***EUC [#y441fbf7]
-EUC Linuxシェル
-EUC Linuxシェル【テンプレ】
-EUC Excelマクロ
-EUC Excelマクロ【テンプレ】
--Excelデータ・シート
--Excelピボット・テーブル
***手動RAG【LC】 [#efd4eb9f]
-トラブルシューティング【LC】
-設計ディシジョン【LC】
-規則・規格系【LC】
***博識家・専門家の支援 [#y7fa6c6f]
-ダブルダイアモンドの例
-意思決定例
***製品別 [#s0b5783e]
-GitHub Copilot
-Copilot企業版
-Copilot for M365
--Outlook
--Teams
--Forms
***マルチモーダル [#ke2867d9]
-イラスト
-図解
-音声
-動画
***参考 [#l57b3006]
-YouTube生成字幕を使った要約
-ハルシネーションについて
-輸出管理や機密情報・個人情報
-他者の知的財産の取扱
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
