![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfrastructure.osscons.jp]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。 -[[戻る>テキスト生成系（Transformer系）]] > [[開発系>テキスト生成系（Transformer系）#cf2e3279]] --[[OpenAI]] ---ChatGPT ---[[OpenAI API]] ---[[Library>OpenAI#w24acc85]] --[[Azure OpenAI>https://techinfoofmicrosofttech.osscons.jp/index.php?Azure%20OpenAI%20Service]] --[[OSSのLLM]] --[[LLM系ツール]] *目次 [#o1b35ff8] #contents *概要 [#pbac884d] ChatGPT（チャットジーピーティー、Chat Generative Pre-trained Transformer） -[[OpenAI>G検定：試験対策#b06228eb]]が2022年11月に公開した人工知能チャットボット -複数の言語を認識し、人間らしく応答する。 -第3世代の生成言語モデルである[[GPT-3>#m3b370c4]]に由来 -モデルは、AzureのHPCIを使用しMicrosoftと共同でトレーニングされた。 **アーキテクチャ [#y659144d] ***[[GPT>言語処理（AI）#a1d46512]]-3, 4 [#m3b370c4] （Generative Pre-training Transformer 3, 4） -[[OpenAI>G検定：試験対策#b06228eb]]のGPT-3.5, 4モデルを採用、 -[[Transformer>#v72d4823]]という深層学習モデルを基にしている大規模な自然言語生成モデル --テキストを入力に文章を生成する[[ニューラルネットワーク]]の[[生成モデル>機械学習（machine learning）#ibaa375a]] --約 570GBの大規模な[[テキスト・コーパス>言語処理（AI）#ee57ac60]]を使用し約 1,750 億のパラメタを学習。 ***[[Transformer>言語処理（AI）#a5995dbe]] [#v72d4823] -[[機械翻訳]]は、[[BERTなどの「Transformer」>言語処理（AI）#k8328489]]と呼ばれる「[[生成モデル>機械学習（machine learning）#ibaa375a]]」で実装された[[ニューラル機械翻訳（NMT）>機械翻訳#m65ab882]]で大きく進化した。 -コレらは、次に現れる単語の確率分布を（文脈的なものを考慮した上で）学習し、ソレを推論で使用して文章を生成する。 -画像生成系AIもTransformerでテキスト（[[プロンプト>LLMへの様々な質問例#hd0e5f05]]）を入力に画像を生成しており、コレらはジェネレーティブAIと呼ばれる。 ***学習の仕組み [#l85409ac] -[[Transformer>#v72d4823]]は --以下のような学習方法で、 ---[[事前学習>深層学習のテクニック#ebe9edcc]]~ ラベルなしデータで教師なし学習して言語自体を理解 ---[[ファイン・チューニング>深層学習のテクニック#ea94272b]]~ ラベルありデータで教師あり学習してタスクを理解 --以下を実現した。 ---データやモデルを大きくして精度を向上。 ---多用なタスク（翻訳やチャット）を１つのモデルで処理。 -GPTでは、教師あり学習と強化学習を行い、~ その両方の手法で転移学習を併用している。 --教師あり学習~ トレーナーがユーザーとAIアシスタントの両方を演じる会話を提供。 --強化学習~ 人間のトレーナーが、モデルが以前の会話で作成した応答をランク付け。 ***自然言語を理解する能力 [#r24c2ef7] GPTは自然言語を理解する能力を持っていると言う。 -自然でリズムのある文章を生成できる。 -また、自然言語を入力として受け取り、 -それをもとに様々なタスクを実行するもできる。 **反響 [#tb81ebc1] ***知名度、評価など [#e323676b] -公開から6日目にして利用者が｢100万ユーザを突破した｣とアルトマンCEOが公表。 -[[OpenAI>G検定：試験対策#b06228eb]]の評価額は290億米ドルとなり、2021年時の140億ドルと比べて2倍以上増加。 -ChatGPTがアクティブユーザー数1億人に到達するのにかかった時間は、~ TikTokとInstagramがそれぞれ9カ月と2年半であるのに対して、2か月と史上最速である。 ***肯定的な意見 [#ne4bb95b] -知識労働者、クリエイターの供給に比類する可能性。 -生徒が課題に使い出力結果が優秀な生徒による回答と同レベル。 -Googleは検索エンジン事業にもたらす脅威を受け「緊急事態」を発動。 ***否定的な意見 [#be51a142] -知識労働者、クリエイターの需要に影響する可能性。 -卒業生用テストで合格水準に達した。 --ミネソタ大学でC+ --ウォートン・スクールの同様のテストでBからB- -学習データ --文章生成に報道機関の記事を無報酬で使用 --インターネット上のコンテンツの信頼性 -誤回答 --2+2=4を回答して、指摘しても正しいと言い張る。 --中央アメリカでメキシコの次に大きな国にグアテマラと回答（正しい答えはニカラグア） --曲の歌詞を生成するよう求めた時、実際の歌詞ではなく新しく自身で生成した歌詞を回答。 --物語のあらすじを生成するよう求めた時、実際のあらすじではなく新しく自身で生成したあらすじを回答。 --Stack Overflowは、誤答が少なくないことを理由としてChatGPTを使って回答することを禁止。 -倫理 --コンテンツモデレーションを[[プロンプト・エンジニアリング>#hd0e5f05]]で回避できた。 --ユーザーがナチス・ドイツに関する質問を入力した際に生成する回答を賛美した。 -教育 --複数の論文が既にChatGPTを共同著者として挙げていることが知られている。 --教師は生徒が課題をChatGPT任せにしていることを問題視するべきだと指摘 -リスク --不正行為や雇用の喪失、差別、偽情報をもたらす可能性がある。 --フィッシング詐欺などを目的とするメールを書くことができ~ 「サイバーセキュリティにおける大きなリスク」などをもたらす可能性がある -シンギュラリティ的 --制御不能な軍事的応用による「大量破壊」を引き起こす可能性がある。 *詳細 [#tcbeac74] **人間との相違点 [#a32f8d26] ***人間 [#g4d541ec] -口語的、主観的 -発散的で他の話題に移行しやすい -強い感情を表現 ***ChatGP [#sc589b2e] -フォーマル、客観的 -質問に厳密に集中している -感情をあまり表現しない **複数の欠点 [#i5a40753] ただし、機能は豊富なものの、複数の欠点もある。 ***確率的オウム [#l5411899] 本質的に確率的オウム（統計ルールからのみ知識を得ている）という指摘。 ***知識の範囲 [#rd785f45] -書籍、Wikipedia、WebSite、電子掲示板、Blogなどのネット上のテキスト -ソースの開示を行なっておらず、ステレオタイプを反映する可能性がある。 -データ範囲外のニッチで専門的なテーマやトピックは精度が低く有効性が下がる。 -また、2021年以降に発生した出来事については知識が全く無いこともある。 ***強化学習の弊害 [#g59d35e9] もっともらしく見える誤回答（正誤不明な回答）を作成する。 -報酬モデルは人間による監視を中心としているため。 -これに最適化されすぎて精度（パフォーマンス）に影響を及ぼす。 **過大評価されている話 [#rf725f59] [[Transformer>#w71eff02]]に[[強化学習>#v0990000]]を組み合わせるともっと凄いと言う発見だけが今回のポイント -ChatGPTは、一見するともっともらしい答えを返せるように上手く調整されている。 -[[OpenAI>G検定：試験対策#b06228eb]]は誇大広告とも言える主張を繰り返してきた前科がある。 --GPT-2：｢人間を超えたAIを開発してしまったのであまりにも危険｣ --GPT-3：その誇大広告気味な宣伝によって期待値は膨らんだが、実際に触ってみると「やっぱりな」という諦観すべき場面も少なくない。 --GPT-3.5：ChatGPTはOpenAIとしてはほとんど初めて｢すごい｣という主張を裏付けるデモと同時公開されている点は、確かにこれまでとは異なる。 ***[[Transformer>#v72d4823]]は凄い。 [#w71eff02] -例外はGPTやDALL-E、StableDiffusionのような[[Transformer>#v72d4823]]と呼ばれる｢[[生成モデル>機械学習（machine learning）#ibaa375a]]｣。 -これは[[Transformer>#v72d4823]]という学習モデルを使った深層学習単体の成果になる。 ***強化学習の取り入れ [#v0990000] -従来のGPT-2、GPT-3との明らかな違いは、ChatGPTはおそらく｢初めて強化学習を取り入れた｣点にある。 -識者によれば｢すごい人工知能ができた！｣と騒がれるケースは深層強化学習の成果である事が多かったとの事。 ***雰囲気が重視されている。 [#r3bd6d90] -人間の「教師」は回答の正当性などに関係なく、~ 長い回答を好んでいたので長い回答が多い（専門性を感じるため）。 -簡単なことはスラスラ回答するが、難しい事を｢知りません｣と白状するのは --｢それっぽい会話｣を試行錯誤で作り出そうとして失敗した結果。 --｢過度の知ったかぶりはしない｣という調教が行われている（推定）。 --｢適当に嘘をついて下さい｣といった指示を与えると俄然、活き活きしてくる。 -強化学習を重ねた弊害~ 「とりあえずそれっぽいことを表面的に語るだけの実は無能なヤバい奴」とも。 --内部的には確率的オウム（統計ルールからのみ知識を得ている）に過ぎないが、 --強化学習によって詐欺師的な側面が強調された（笑） ---文法的に間違っているようなプログラムを回答したらダメ ---過度の知ったかぶりはバレ易く評価が低くなるからダメ ---自信がないように見える答えは評価が低くなるからダメ -｢面白い話ができるAI｣をつくることが難しい理由 --AIを指導する人間が増えるとAIは必然的に没個性的な存在になっていく。 --解決策があるとすれば、AIを調教する人間を一度に一人に絞ること。 --差別や偏見を撒き散らすような会話AIが生まれないよう抑制的に制御している。 **得意なタスクと苦手なタスク [#v44309fe] ***[[そもそもの仕組み（LLMの特徴）>言語処理（AI）#x6414d9b]] [#la76c429] -[[プロンプト>#hd0e5f05]]は次単語予測の汎用性とコンテキスト内学習によって実現されている。 -Zero-Shot学習とも呼ばれ、[[プロンプト>#hd0e5f05]]（過去文脈）でパラメタ更新はしないが~ Attention機構を変形して見方を変えると勾配降下法をシミュレーションしている。 -AIは逆問題だがLLMは順問題を言語的には学習する事ができる。 -ただし、この順問題の定義の学習は、あくまで言語的＆確率的であって~ 言語からの学習で、論理的なモデルを構築し、それを使用して質問に回答している訳ではない。 ***得意とするタスク [#y922f34a] 特に、文章生成や自然言語対話システムなどを構築する場合には有効。 -他の言語モデルと比べて --自然言語を理解する能力が高い。 --大規模な[[テキスト・コーパス>言語処理（AI）#ee57ac60]]を使用して学習されている -自然言語を理解し、 --新しい文章、自然でリズムのある文章を生成できる。 --質問に答えることや、文章を要約すること、文章を翻訳することなど。 --自然言語を入力として受け取り、それを基に様々なタスクを実行する事もできる。 ***苦手とするタスク [#z722cd79] -論理的な思考は一切していないので、論理的に考えて回答する必要があるケース。 --数学的な計算や論理的推論のタスクでは、人間並みの精度を発揮しない。 --具体的な指示や手順を追うタスクでは、人間並みの精度を発揮しない。 --語彙や文法の誤りを検出するタスク（≒ 校正）では、人間並みの精度を発揮しない。 --例： ---数学的な計算や論理的推論、具体的な指示や手順を追うタスクの例は[[論理クイズ>https://www.google.com/search?q=%E8%AB%96%E7%90%86%E3%82%AF%E3%82%A4%E3%82%BA]]などでググると出てくる。 ---語彙や文法の誤りを検出するタスク~ 「①～④のうちから誤りを含むものを1つ選べ」という問いです。正解はどれですか。 ~ Our CEO gives ① <her> feedback ② <at> production targets, ③ <based on the ④ <company's> budget.~ 誤りが含まれているのは、「①<her>」です。正しい表現は 「his」 または 「their」 です。 -[[定義を説明することは苦手ではない>LLMへの様々な質問例#zf660778]]が間違った時に大きな信用毀損になる。 --ChatGPTに「XXXX（固有名詞）」について聞いてみたら、トンチンカンな回答が --「Chat-GPTは文章作成のAIであって科学的な事物の検証用ではない。」と言う意見。~ …何かの情報とゴッチャになってる…？😳質問系の回答は鵜呑みにできないな💦 --キノコ専門家がAmazonで売られている「AIが書いたキノコ採りガイド」を買わないよう呼びかけ、命に関わる危険も。 --ChatGPT、以前とある薬剤について質問したらまったく別の薬剤の説明をされたから慎重に使ってる。 -試験問題から見る苦手な分野 --ChatGPTの共通テスト・国語が200点中50点、登場人物の気持ちの理解を問う問題がズタボロ --GPT-4 Technical Reportで報告されている結果を見ると、まだ数学・上級文学・競プロあたりは苦手。 -出来ない事は、まだまだ多い。 --[[フレーム問題>人工知能（AI）#bd2791da]]（期待はある） --[[記号接地問題>人工知能（AI）#f2b272c2]]（視覚を加えたマルチモーダル） --[[身体性>人工知能（AI）#kd11c451]]（聴覚、触覚、味覚、嗅覚を加えたマルチモーダル） --[[知識獲得のボトルネック>人工知能（AI）#o8dacbc6]]（期待はある） -ポランニーのパラドックス、 --人間は暗黙知を持つが、LLMは暗黙知を持たない。 --≒ 前述の身体性の様な所から学習し論理的なモデルを構築しているかいないか？ **評価（質問例を分析しユースケースを絞込） [#x6963d3d] **質問例を分析しユースケースを絞込む [#x6963d3d] ***[[LLMへの様々な質問例]] [#p2d46574] ***[[LLMのユースケース]] [#k9fef6df] *参考 [#zf747616] -Introducing ChatGPT~ https://openai.com/blog/chatgpt -ChatGPT - Wikipedia~ https://ja.wikipedia.org/wiki/ChatGPT -ChatGPTとは？開発に役立つ使い方、トレンド記事やtips - Qiita~ https://qiita.com/tags/chatgpt -深層学習についてのレポート（LLM編）~ https://www.osscons.jp/joho108j0-537/#_537 **ChatGPTとは？ [#o5ed5dd2] -【連載】ChatGPT入門 - 初めてのAIチャット活用 | TECH+（テックプラス）~ https://news.mynavi.jp/techplus/series/chat_gpt/ --ChatGPTとは~ https://news.mynavi.jp/techplus/article/chat_gpt-1/ --ChatGPTを使ってみる~ https://news.mynavi.jp/techplus/article/chat_gpt-2/ --ChatGPTでできること・できないこと~ https://news.mynavi.jp/techplus/article/chat_gpt-3/ --ChatGPTのアーキテクチャ・動作原理~ https://news.mynavi.jp/techplus/article/chat_gpt-4/ --ChatGPTの出現で始まる!「言葉」によるプロンプトセントリックな世界~ https://news.mynavi.jp/techplus/article/chat_gpt-5/ --ChatGPTの今後 - 前編：ChatGPTの進化~ https://news.mynavi.jp/techplus/article/chat_gpt-6/ --ChatGPTの今後 - 後編：ChatGPTを取り巻く環境とさまざまな生成AIサービス~ https://news.mynavi.jp/techplus/article/chat_gpt-7/ -エンジニアなら知っておきたいGPTのキホン 記事一覧 | Think IT（シンクイット）~ https://thinkit.co.jp/series/10884 --第1回 GPTで始まる大規模言語モデル時代~ https://thinkit.co.jp/article/22084 --第2回 大規模言語モデルの概要~ https://thinkit.co.jp/article/22168 --第3回 大規模言語モデルの自然言語処理「Transformer」モデルの仕組み~ https://thinkit.co.jp/article/22231 --第4回 マイクロソフトのAI搭載ツール「Bing」と「Copilot」~ https://thinkit.co.jp/article/22281 --第5回 ChatGPTのプラグイン【前半】~ https://thinkit.co.jp/article/22352 --第6回 ChatGPTのプラグイン【後半】~ https://thinkit.co.jp/article/22397 --第7回 「ChatGPT Enterprise」と「Microsoft 365 Copilot」~ https://thinkit.co.jp/article/22454 --第8回 「Microsoft 365 Copilot」の3つのポイントと「Microsoft 365 Loop」を構成する3つの要素~ https://thinkit.co.jp/article/22545 **使い方 [#o3b5cc67] ***始め方 [#xbf513fd] -ChatGPTとは？始め方やアカウント登録・ログイン、使い方を解説 - BTCC~ https://www.btcc.com/ja-JP/academy/crypto-basics/what-is-chatgpt -ChatGPTとは？初心者でも分かる始め方を解説~ Digital Shift Times（デジタル シフト タイムズ） その変革に勇気と希望を~ https://digital-shift.jp/flash_news/s_230306_1 ***プロンプト・エンジニアリング [#eb14b1a7] -[[LLMのPE]]（プロンプト・エンジニアリング） -Prompt Engineering Guide~ https://www.promptingguide.ai/jp -Free ChatGPT Prompting Cheat Sheet (PDF) – Be on the Right Side of Change~ https://blog.finxter.com/free-chatgpt-prompting-cheat-sheet-pdf/ -AIの思考を人間が助ける。AI領域で人気の職種「プロンプトエンジニア」とは何か~ Digital Shift Times（デジタル シフト タイムズ） その変革に勇気と希望を~ https://digital-shift.jp/ai/221122 -ChatGPTは馬鹿じゃない！ 真の実力を解放するプロンプトエンジニアリングの最前線~ https://zenn.dev/noritamarino/articles/a2321a65fe2be8 -AIの思考を人間が助ける「プロンプトエンジニアリング」、能力の劇的進化に要注目 | 日経クロステック（xTECH）~ https://xtech.nikkei.com/atcl/nxt/column/18/00692/060900081/ -「プロンプトエンジニアリング」の“教科書”、日本語版が登場 無償でAIの上手な使い方を解説~ https://www.itmedia.co.jp/news/articles/2304/05/news175.html -【連載】柳谷智宣の「ChatGPTプロンプトクリエイティブラボ」 | TECH+（テックプラス）~ https://news.mynavi.jp/techplus/series/chatgpt_prompt/ --GPTって？プロンプトって？ - ChatGPTの基本を学ぼう~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-1/ --ChatGPTでプレゼン資料のたたき台を超短時間で作る~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-2/ --ChatGPTに記事・議事録・音声を要約してもらう~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-3/ --言葉の意味を知る、言語を学ぶ、新語を生み出す~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-4/ --自然言語でプログラムを作成・実行できるCode Interpreterで作業をさせてみる~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-5/ --有名人に扮したChatGPTにインタビュー案を作ってもらう~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-6/ --企画会議に提出するアイデアをChatGPTに作ってもらう~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-7/ --ChatGPTにダメ出しをしてもらってブラッシュアップする~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-8/ ***ChatGPT vs Google翻訳 [#f5d71214] -【ChatGPT vs Google翻訳】どちらの翻訳が優れているか？ | 【翻訳商社®】ノーヴァネクサス~ https://novanexus.jp/know-how/19636/13/02/2023/ **理解、疑問 [#z629b691] -chatGPTに聞いて理解するchatGPT - Qiita~ https://qiita.com/ipeblb/items/87b74666c1ce1167d609 -ChatGPTを社内に配ってもあまり使われない本当の理由 #AI - Qiita~ https://qiita.com/jw-automation/items/cf8ffc7a0edab512d917 -ChatGPTについて学術関係者が知っておきたい4つの疑問~ https://www.editage.jp/insights/four-burning-questions-academia-has-about-chatgpt ***ChatGPTの限界 [#x8b5afea] -チャットできるAI、ChatGPTが｢そこまですごくない｣理由。見えてしまった限界 | Business Insider Japan~ https://www.businessinsider.jp/post-263042 -MIT Tech Review: GPT-3とそれを取り巻く周辺、パラダイムと限界~ https://www.technologyreview.jp/s/250066/gpt-3-and-related-ai-technologies-paradigms-and-limitations/ ***ChatGPTの仕組みを理解する [#n3e1ab2b] -前編：https://tech-blog.abeja.asia/entry/chat-gpt-first-half-202307 -後編：https://tech-blog.abeja.asia/entry/chat-gpt-second-half-202307 **GPT評価 [#if5b79cb] GPT系サービスを利用し評価を解説した。~ https://1drv.ms/x/s!Amfs5caPP9r5kXO9VvIB-QoBVKzZ?e=r6DHBw ※ 以下の「LC」は、ロング・コンテキストの略♨ ***目次 [#u001703f] ***マップ [#c2ab5c21] ユースケース・マップ（以下のユースケースのマップ） ***前提 [#k6bbdc1a] 「GPT3.5、GPT4混在」（「今や昔」感ありますが） ***導入 [#o82d01e6] -GPTとは -図でポイントを理解する -Few-shot Learning -ロングコンテキスト -得手不得手情報集 -得手不得手評価 -GPTのバージョン -GPT-3とGPT-4の違い -GPTまとめ ***活用促進 [#o0e45e9c] -事例集が難しい理由 -GPTユーザの特徴 ***質問応答 [#h9a26bb1] -一般的な質問 -特定分野の知識 -対話の流暢さ -倫理的・バイアスの評価 ***問題解決 [#od626417] -ロジカルな推論 -クリエイティブな問題解決 ***深い考察 [#q98ba23a] -「需要と供給の法則を説明してください。」 -「がん治療における免疫療法の最新の進展について教えてください。 -「デジタルプライバシー法の最新の動向とその影響について説明して -「機械学習における過学習の問題とその対策について詳しく説明して -「中央銀行がインフレを管理するための政策手段について説明してく -「再生可能エネルギー技術の現状と未来の展望について説明してくだ ***ロングコンテキスト [#ocdfe07e] -追加知識を学習無しでコンテキストとして与える例 -以降【LC】はロングコンテキスト対応プロンプトの意 ***文章生成 [#c10d4d06] -翻訳【LC】 -要約【LC】 -文章生成 --文章生成【テンプレ】 --文章生成【LC】 --技術文章生成【テンプレ】 --技術文章生成【LC】 ***文章チェック [#pcf0bbf3] -校正【LC】 -正誤【LC】 ***データ分析 [#ub69892f] -データ分析【Excel】 -データ分析【LC】 -データ分析【Advanced data analysis】 -データ分析コード生成【LC】 ***コーディングとデバッグ [#v4dc33a8] -コード生成【テンプレ】 -コード生成【LC】 -コンバージョン【LC】 -ドキュメンテーション【LC】 -テストコード生成【LC】 -コードの問題の指摘と修正【LC】 ***EUC [#y441fbf7] -EUC Linuxシェル -EUC Linuxシェル【テンプレ】 -EUC Excelマクロ -EUC Excelマクロ【テンプレ】 --Excelデータ・シート --Excelピボット・テーブル ***手動RAG【LC】 [#efd4eb9f] -トラブルシューティング【LC】 -設計ディシジョン【LC】 -規則・規格系【LC】 ***博識家・専門家の支援 [#y7fa6c6f] -ダブルダイアモンドの例 -意思決定例 ***製品別 [#s0b5783e] -GitHub Copilot -Copilot企業版 -Copilot for M365 --Outlook --Teams --Forms ***マルチモーダル [#ke2867d9] -イラスト -図解 -音声 -動画 ***参考 [#l57b3006] -YouTube生成字幕を使った要約 -ハルシネーションについて -輸出管理や機密情報・個人情報 -他者の知的財産の取扱
