![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfrastructure.osscons.jp]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。 -[[戻る>テキスト生成系（Transformer系）]] > 開発系 -[[戻る>テキスト生成系（Transformer系）]] > [[開発系>テキスト生成系（Transformer系）#cf2e3279]] --[[OpenAI]] ---ChatGPT ---[[OpenAI API]] ---[[Library>OpenAI#w24acc85]] --[[Azure OpenAI>https://techinfoofmicrosofttech.osscons.jp/index.php?Azure%20OpenAI%20Service]] --[[OSSのLLM]] --[[LLM系ツール]] *目次 [#o1b35ff8] #contents *概要 [#pbac884d] ChatGPT（チャットジーピーティー、Chat Generative Pre-trained Transformer） -[[OpenAI>G検定：試験対策#b06228eb]]が2022年11月に公開した人工知能チャットボット -複数の言語を認識し、人間らしく応答する。 -第3世代の生成言語モデルである[[GPT-3>#m3b370c4]]に由来 -モデルは、AzureのHPCIを使用しMicrosoftと共同でトレーニングされた。 **アーキテクチャ [#y659144d] ***[[GPT>言語処理（AI）#a1d46512]]-3, 4 [#m3b370c4] （Generative Pre-training Transformer 3, 4） -[[OpenAI>G検定：試験対策#b06228eb]]のGPT-3.5, 4モデルを採用、 -[[Transformer>#v72d4823]]という深層学習モデルを基にしている大規模な自然言語生成モデル --テキストを入力に文章を生成する[[ニューラルネットワーク]]の[[生成モデル>機械学習（machine learning）#ibaa375a]] --約 570GBの大規模な[[テキスト・コーパス>言語処理（AI）#ee57ac60]]を使用し約 1,750 億のパラメタを学習。 ***[[Transformer>言語処理（AI）#a5995dbe]] [#v72d4823] -[[機械翻訳]]は、[[BERTなどの「Transformer」>言語処理（AI）#k8328489]]と呼ばれる「[[生成モデル>機械学習（machine learning）#ibaa375a]]」で実装された[[ニューラル機械翻訳（NMT）>機械翻訳#m65ab882]]で大きく進化した。 -コレらは、次に現れる単語の確率分布を（文脈的なものを考慮した上で）学習し、ソレを推論で使用して文章を生成する。 -画像生成系AIもTransformerでテキスト（[[プロンプト>#hd0e5f05]]）を入力に画像を生成しており、コレらはジェネレーティブAIと呼ばれる。 ***学習の仕組み [#l85409ac] -[[Transformer>#v72d4823]]は --以下のような学習方法で、 ---[[事前学習>深層学習のテクニック#ebe9edcc]]~ ラベルなしデータで教師なし学習して言語自体を理解 ---[[ファイン・チューニング>深層学習のテクニック#ea94272b]]~ ラベルありデータで教師あり学習してタスクを理解 --以下を実現した。 ---データやモデルを大きくして精度を向上。 ---多用なタスク（翻訳やチャット）を１つのモデルで処理。 -GPTでは、教師あり学習と強化学習を行い、~ その両方の手法で転移学習を併用している。 --教師あり学習~ トレーナーがユーザーとAIアシスタントの両方を演じる会話を提供。 --強化学習~ 人間のトレーナーが、モデルが以前の会話で作成した応答をランク付け。 ***自然言語を理解する能力 [#r24c2ef7] GPTは自然言語を理解する能力を持っていると言う。 -自然でリズムのある文章を生成できる。 -また、自然言語を入力として受け取り、 -それをもとに様々なタスクを実行するもできる。 **反響 [#tb81ebc1] ***知名度、評価など [#e323676b] -公開から6日目にして利用者が｢100万ユーザを突破した｣とアルトマンCEOが公表。 -[[OpenAI>G検定：試験対策#b06228eb]]の評価額は290億米ドルとなり、2021年時の140億ドルと比べて2倍以上増加。 -ChatGPTがアクティブユーザー数1億人に到達するのにかかった時間は、~ TikTokとInstagramがそれぞれ9カ月と2年半であるのに対して、2か月と史上最速である。 ***肯定的な意見 [#ne4bb95b] -知識労働者、クリエイターの供給に比類する可能性。 -生徒が課題に使い出力結果が優秀な生徒による回答と同レベル。 -Googleは検索エンジン事業にもたらす脅威を受け「緊急事態」を発動。 ***否定的な意見 [#be51a142] -知識労働者、クリエイターの需要に影響する可能性。 -卒業生用テストで合格水準に達した。 --ミネソタ大学でC+ --ウォートン・スクールの同様のテストでBからB- -学習データ --文章生成に報道機関の記事を無報酬で使用 --インターネット上のコンテンツの信頼性 -誤回答 --2+2=4を回答して、指摘しても正しいと言い張る。 --中央アメリカでメキシコの次に大きな国にグアテマラと回答（正しい答えはニカラグア） --曲の歌詞を生成するよう求めた時、実際の歌詞ではなく新しく自身で生成した歌詞を回答。 --物語のあらすじを生成するよう求めた時、実際のあらすじではなく新しく自身で生成したあらすじを回答。 --Stack Overflowは、誤答が少なくないことを理由としてChatGPTを使って回答することを禁止。 -倫理 --コンテンツモデレーションを[[プロンプト・エンジニアリング>#hd0e5f05]]で回避できた。 --ユーザーがナチス・ドイツに関する質問を入力した際に生成する回答を賛美した。 -教育 --複数の論文が既にChatGPTを共同著者として挙げていることが知られている。 --教師は生徒が課題をChatGPT任せにしていることを問題視するべきだと指摘 -リスク --不正行為や雇用の喪失、差別、偽情報をもたらす可能性がある。 --フィッシング詐欺などを目的とするメールを書くことができ~ 「サイバーセキュリティにおける大きなリスク」などをもたらす可能性がある -シンギュラリティ的 --制御不能な軍事的応用による「大量破壊」を引き起こす可能性がある。 *詳細 [#tcbeac74] **人間との相違点 [#a32f8d26] ***人間 [#g4d541ec] -口語的、主観的 -発散的で他の話題に移行しやすい -強い感情を表現 ***ChatGP [#sc589b2e] -フォーマル、客観的 -質問に厳密に集中している -感情をあまり表現しない **複数の欠点 [#i5a40753] ただし、機能は豊富なものの、複数の欠点もある。 ***確率的オウム [#l5411899] 本質的に確率的オウム（統計ルールからのみ知識を得ている）という指摘。 ***知識の範囲 [#rd785f45] -書籍、Wikipedia、WebSite、電子掲示板、Blogなどのネット上のテキスト -ソースの開示を行なっておらず、ステレオタイプを反映する可能性がある。 -データ範囲外のニッチで専門的なテーマやトピックは精度が低く有効性が下がる。 -また、2021年以降に発生した出来事については知識が全く無いこともある。 ***強化学習の弊害 [#g59d35e9] もっともらしく見える誤回答（正誤不明な回答）を作成する。 -報酬モデルは人間による監視を中心としているため。 -これに最適化されすぎて精度（パフォーマンス）に影響を及ぼす。 **過大評価されている話 [#rf725f59] [[Transformer>#w71eff02]]に[[強化学習>#v0990000]]を組み合わせるともっと凄いと言う発見だけが今回のポイント -ChatGPTは、一見するともっともらしい答えを返せるように上手く調整されている。 -[[OpenAI>G検定：試験対策#b06228eb]]は誇大広告とも言える主張を繰り返してきた前科がある。 --GPT-2：｢人間を超えたAIを開発してしまったのであまりにも危険｣ --GPT-3：その誇大広告気味な宣伝によって期待値は膨らんだが、実際に触ってみると「やっぱりな」という諦観すべき場面も少なくない。 --GPT-3.5：ChatGPTはOpenAIとしてはほとんど初めて｢すごい｣という主張を裏付けるデモと同時公開されている点は、確かにこれまでとは異なる。 ***[[Transformer>#v72d4823]]は凄い。 [#w71eff02] -例外はGPTやDALL-E、StableDiffusionのような[[Transformer>#v72d4823]]と呼ばれる｢[[生成モデル>機械学習（machine learning）#ibaa375a]]｣。 -これは[[Transformer>#v72d4823]]という学習モデルを使った深層学習単体の成果になる。 ***強化学習の取り入れ [#v0990000] -従来のGPT-2、GPT-3との明らかな違いは、ChatGPTはおそらく｢初めて強化学習を取り入れた｣点にある。 -識者によれば｢すごい人工知能ができた！｣と騒がれるケースは深層強化学習の成果である事が多かったとの事。 ***雰囲気が重視されている。 [#r3bd6d90] -人間の「教師」は回答の正当性などに関係なく、~ 長い回答を好んでいたので長い回答が多い（専門性を感じるため）。 -簡単なことはスラスラ回答するが、難しい事を｢知りません｣と白状するのは --｢それっぽい会話｣を試行錯誤で作り出そうとして失敗した結果。 --｢過度の知ったかぶりはしない｣という調教が行われている（推定）。 --｢適当に嘘をついて下さい｣といった指示を与えると俄然、活き活きしてくる。 -強化学習を重ねた弊害~ 「とりあえずそれっぽいことを表面的に語るだけの実は無能なヤバい奴」とも。 --内部的には確率的オウム（統計ルールからのみ知識を得ている）に過ぎないが、 --強化学習によって詐欺師的な側面が強調された（笑） ---文法的に間違っているようなプログラムを回答したらダメ ---過度の知ったかぶりはバレ易く評価が低くなるからダメ ---自信がないように見える答えは評価が低くなるからダメ -｢面白い話ができるAI｣をつくることが難しい理由 --AIを指導する人間が増えるとAIは必然的に没個性的な存在になっていく。 --解決策があるとすれば、AIを調教する人間を一度に一人に絞ること。 --差別や偏見を撒き散らすような会話AIが生まれないよう抑制的に制御している。 **得意なタスクと苦手なタスク [#v44309fe] ***[[そもそもの仕組み（LLMの特徴）>言語処理（AI）#x6414d9b]] [#la76c429] -[[プロンプト>#hd0e5f05]]は次単語予測の汎用性とコンテキスト内学習によって実現されている。 -Zero-Shot学習とも呼ばれ、[[プロンプト>#hd0e5f05]]（過去文脈）でパラメタ更新はしないが~ Attention機構を変形して見方を変えると勾配降下法をシミュレーションしている。 -AIは逆問題だがLLMは順問題を言語的には学習する事ができる。 -ただし、この順問題の定義の学習は、あくまで言語的＆確率的であって~ 言語からの学習で、論理的なモデルを構築し、それを使用して質問に回答している訳ではない。 ***得意とするタスク [#y922f34a] 特に、文章生成や自然言語対話システムなどを構築する場合には有効。 -他の言語モデルと比べて --自然言語を理解する能力が高い。 --大規模な[[テキスト・コーパス>言語処理（AI）#ee57ac60]]を使用して学習されている -自然言語を理解し、 --新しい文章、自然でリズムのある文章を生成できる。 --質問に答えることや、文章を要約すること、文章を翻訳することなど。 --自然言語を入力として受け取り、それを基に様々なタスクを実行する事もできる。 ***苦手とするタスク [#z722cd79] -論理的な思考は一切していないので、論理的に考えて回答する必要があるケース。 --数学的な計算や論理的推論のタスクでは、人間並みの精度を発揮しない。 --具体的な指示や手順を追うタスクでは、人間並みの精度を発揮しない。 --語彙や文法の誤りを検出するタスク（≒ 校正）では、人間並みの精度を発揮しない。 --例： ---数学的な計算や論理的推論、具体的な指示や手順を追うタスクの例は[[論理クイズ>https://www.google.com/search?q=%E8%AB%96%E7%90%86%E3%82%AF%E3%82%A4%E3%82%BA]]などでググると出てくる。 ---語彙や文法の誤りを検出するタスク~ 「①～④のうちから誤りを含むものを1つ選べ」という問いです。正解はどれですか。 ~ Our CEO gives ① <her> feedback ② <at> production targets, ③ <based on the ④ <company's> budget.~ 誤りが含まれているのは、「①<her>」です。正しい表現は 「his」 または 「their」 です。 -[[定義を説明することは苦手ではない>#zf660778]]が間違った時に大きな信用毀損になる。 --ChatGPTに「XXXX（固有名詞）」について聞いてみたら、トンチンカンな回答が --「Chat-GPTは文章作成のAIであって科学的な事物の検証用ではない。」と言う意見。~ …何かの情報とゴッチャになってる…？😳質問系の回答は鵜呑みにできないな💦 --キノコ専門家がAmazonで売られている「AIが書いたキノコ採りガイド」を買わないよう呼びかけ、命に関わる危険も。 --ChatGPT、以前とある薬剤について質問したらまったく別の薬剤の説明をされたから慎重に使ってる。 -試験問題から見る苦手な分野 --ChatGPTの共通テスト・国語が200点中50点、登場人物の気持ちの理解を問う問題がズタボロ --GPT-4 Technical Reportで報告されている結果を見ると、まだ数学・上級文学・競プロあたりは苦手。 -出来ない事は、まだまだ多い。 --[[フレーム問題>人工知能（AI）#bd2791da]]（期待はある） --[[記号接地問題>人工知能（AI）#f2b272c2]]（視覚を加えたマルチモーダル） --[[身体性>人工知能（AI）#kd11c451]]（聴覚、触覚、味覚、嗅覚を加えたマルチモーダル） --[[知識獲得のボトルネック>人工知能（AI）#o8dacbc6]]（期待はある） -ポランニーのパラドックス、 --人間は暗黙知を持つが、LLMは暗黙知を持たない。 --≒ 前述の身体性の様な所から学習し論理的なモデルを構築しているかいないか？ *用法 [#e98bbac3] **ユースケース [#v9009f8b] 様々なテキスト生成のユースケース ***チャットボット [#oe4deefa] -人間と人間の対話を模範する主要機能 --自然言語を入力として受け取り、自然言語を出力として生成する。 --このため、自然な会話をするチャットボットを作成できる。 -前作のInstructGPTと比べ、ChatGPTは攻撃的・欺瞞的な回答の生成をできるだけ避ける仕様 -攻撃的な回答が生成されるのを防ぐため、入力と出力はコンテンツ・モデレーションAPIによってフィルターされる。 ***パーソナル・エージェント [#nabd1cc9] -プランニング：プロジェクトのプランニング（企画・計画）をさせる。 -キャンペーン：プロジェクトの作戦行動（実行、監視・制御）をさせる。 -メッセージの生成 --特定のテンプレートを使用してメッセージを生成できる。 --例えば、 ---自動化された電子メールを生成 ---自然な言語での挨拶や感謝の手紙を生成 -セラピスト --ほとんどのチャットボットとは対照的に、過去の入力を記憶している。 --これにより、個人に最適化されたセラピストとして使える可能性がある。 --例えば、 ---車を買いたいのですが妻の合意が得られません。どうしたらいいですか？ ***テキスト翻訳や要約、校正 [#cacc74dc] -翻訳~ Google翻訳の優位性に戦いを挑めるだけの可能性を持った翻訳ツール --Google翻訳は大規模な投資の結果、特に力を入れている言語に於いてはChatGPTを凌駕している --しかし、ChatGPTは、ユーザーから提供された文脈を基に、翻訳を調整することができる。 -要約 --長い文章や記事から要約を生成できる。 --大量のテキストの概要をより簡潔に把握できる。 -校正 --文章校正された文書を生成できる。 --ただし、内容の間違いや意味の誤認は修正できない。 ***検索代替、質疑応答 [#i9449703] -特定のトピックに関する情報を探す --学習済みであるか？Retrievalしているか？が必要になる。 --[[Google検索>AIの活用例#c22f6006]]に代わる新しい検索方法 -質疑応答~ 人間と同水準かそれ以上の回答を生成 --特に教科書的な質疑応答は得意 --それ以外は、Retrievalが必要になる。 ***プログラミングやデバッグ [#ea8cf996] -この程度のことは実はGPT-2（2019）でもできていた。 -GitHubにもCopilotと言うAIプログラミング機能がある。 -表計算ソフトの関数記述などに利用できる（あまり難しいことは出来ない）。 --AAA, BBB, CCC, DDD...をアルファベット順で並び替えるプログラムを JavaScriptで書いてください。 --一見きちんとしたプログラムを書くようだが、実際には雰囲気でプログラミングのようなものを見せている。 --マインスイーパーを作成する例もあるが、丸暗記しているものを提示しているように見える。 ***プログラムの模範 [#rd32d61e] -[[Linux]]システムの模範 -○☓ゲーム（3 or 5目並べ）のNPCの模範~ 簡単に負けて、負けを判定できず、負けてもゲームを続けようとする（笑） -自然言語を使用したテキスト生成ゲーム ***クリエイティブ [#b3435935] 小説、脚本、詩、歌詞、音楽など。 **利用目的アンケート1-10位 [#ff2aa1c0] ***アイデア出し [#p0c1d16e] -[[パーソナル・エージェント>#nabd1cc9]] -[[クリエイティブ>#b3435935]] ***メールなどの文章生成 [#jadaa3a0] -[[パーソナル・エージェント>#nabd1cc9]] -[[クリエイティブ>#b3435935]] ***飲食店などの検索 [#ud71b164] -[[検索代替、質疑応答>#i9449703]] ***日常の相談 [#ndec04c1] -[[チャットボット>#oe4deefa]] -[[パーソナル・エージェント>#nabd1cc9]] ***仕事の相談相手 [#be0af7b5] -[[パーソナル・エージェント>#nabd1cc9]] -[[クリエイティブ>#b3435935]] ***雑談相手 [#uc789d1e] -[[チャットボット>#oe4deefa]] -[[パーソナル・エージェント>#nabd1cc9]] ***献立・レシピ [#pa0b6967] -[[検索代替、質疑応答>#i9449703]] ***創作への活用 [#x4e2012b] -[[パーソナル・エージェント>#nabd1cc9]] -[[クリエイティブ>#b3435935]] ***プログラム作成 [#h62756f9] -[[プログラミングやデバッグ>#ea8cf996]] ***要約文の作成 [#x105b1c0] [[テキスト翻訳や要約、校正>#cacc74dc]] ***文章構正 [#jd622ed2] [[テキスト翻訳や要約、校正>#cacc74dc]] ***機械翻訳 [#z3f3e53f] [[テキスト翻訳や要約、校正>#cacc74dc]] ***その他・仕事での活用 [#pb1e745a] https://www.osscons.jp/joho108j0-537/#_537 -個人学習 -リサーチ **期待外れのユースケース [#k1832229] -複雑な議事録の自動作成 -最新ニュースの正確な要約 -特定ドメインの高い専門性が必要な処理 --契約書・法的文書 --医療・薬事関連文書 --技術仕様書・設計書 -財務・会計関連の分析 -感情分析や心理カウンセリング -創造性が求められるコンテンツ制作 ***議事録自動作成 [#e316e915] 以下のような理由で苦手。 -そもそもの複雑さ --単に音声をテキスト化するだけでなく、発言の真意や背景にある文脈を正確に理解し、議論の要点を抽出し、簡潔にまとめる必要がある。 --会議では、複数の参加者が同時に発言したり、指示詞、専門用語が飛び交ったり、非言語的な情報（ジェスチャー、表情など）も含まれる。 --AIにとって判断が難しい「決定事項、タスク、重要な議論のポイント」などを取捨選択してまとめる必要がある。 -音声認識（ASR）の限界 --背景音や咳払いなどの雑音、発言者の話し方（早口・なまり）によって認識精度が落ちる。 --複数人が同時に話す（ダイアログのオーバーラップ）と誰が何を言ったかが曖昧になる。 --特に指示詞、専門用語や固有名詞、社内用語などは誤認識されやすい。 -発言の文脈・意図の理解が困難 --会議中の発言は省略や曖昧さが多く、逐語的に記録しても意味が通じにくい。 --暗黙の了解や前提知識、非言語的情報（表情、ジェスチャー）に依存する場合もある。 --AIは「何が重要だったか」「何が決定されたのか」を自動で判断するのが難しい。 -要約・構造化の難しさ --会話は冗長で、要点が散らばっていたり、途中で話題が飛んだりする。 --会議の目的（情報共有／意思決定／ブレストなど）によって必要な要約の形式が異なる。 --「決定事項」「次のアクション」「担当者」などの抽出は定型的でないと精度が出にくい。 >※ 決定事項の抽出：「意見」と「決定」を区別するには深い文脈理解が必要。 -個人・組織ごとの書き方の差異 --議事録には企業・組織ごとにフォーマットや書き方の文化がある。 --例えば「丁寧に」「簡潔に」「発言者を明示する/しない」といった違いがあり、汎用モデルでは対応が困難。 -セキュリティ・プライバシーの懸念 --会議内容には機密情報が含まれることが多く、クラウド上のモデル利用が難しい。 --特に生成AIを用いる場合、データが外部に送信されることへの懸念が強い（社内利用に制限）。 -責任と信頼性の問題 --議事録は法的な意味を持つ場合も多く、内容の正確性が極めて重要。 --誤りがあった場合の責任の所在が不明確であり、組織として利用することにリスクが伴う。 |項目|得意 / 不得意|説明|h |テキスト要約|△（構造化されていれば）|会話形式だと精度が落ちる| |固定フォーマット出力|△|定型的な会議（定例報告など）には適用可能| |意思決定の抽出|×|意図や合意形成を自動で理解するのは困難| |会話の構造理解|×|会話の流れや関係性をモデルが理解しきれない| |文書生成（清書）|○|下書きがあれば文書化には有効| ***... [#a513819c] *質問のタイプ [#q22d06ae] **回答に必要となる知識や処理で分類 [#i3e427c7] ***言語的＆確率的に学習した結果で回答可能な質問 [#s5abde9b] ≒ [[得意とするタスク>#y922f34a]]~ ***論理クイズなど、論理的な思考が必要な質問 [#na378e7c] ≒ [[苦手とするタスク>#z722cd79]]~ ***LLMが学習していない暗黙知を必要とする質問 [#f1c036e1] -案外、言語で質問できるものは既に形式知化されており、~ 暗黙知に対する質問を言語で行うこと自体が困難と判明した。 -暗黙知の例えに出てくる自転車の乗り方~ 自転車に乗る時どのようにして倒れないようにバランスを取っているか教えてください。 --自転車に乗る時、バランスを取るためには、ペダルを踏んで前進することが必要です。 --初めて自転車に乗る場合は、ペダルを外して自転車に乗り、バランス感覚を身につけることから始めましょう。 --また、自転車を押して歩くことで、ハンドル操作の感覚を覚えることも大切です。 -例えば、以下のような質問はネット上に情報が無く、解答が難しいと考えた。 --三角錐と立方体のうち転がり難いものは？~ → 回答は間違いだった（ネット上に情報を確認できない） --3本足の椅子、4、5、6、本足の椅子のうち安定性が高いのは？~ → 回答が可能だった（ネット上に情報を確認できる） -実際に該当する様な質問（文字列か可能な暗黙知）が存在し、~ それを質問した場合、LLMは類推する事で答えられる可能性はある。 --例：以下の質問に、一応、それっぽく応えはする。 ---仮に日中が暗く夜間が明るかった場合、人間の生活はどのように変化すると考えられますか？ ---仮に法律が悪行を推奨し善行を裁くように定義されれていた場合、人間の生活はどのように変化すると考えられますか？ --全体的に、 ---常識の範囲で回答しようとするが、 ---考察が浅い傾向がある（逆に言うと考察は現時点で人間の仕事）。~ ・世の中に深く考察した情報が無い。~ ・そもそもLLMは深く考察していない。 -また、特定の組織内の話題も、一般的な話題の一部に含まれることがある（一般化することで回答が期待できる）。 --ツールが組織に浸透しない。一般的にどのような理由が考えられますか？ --開発したツールの評判が悪い。一般的にどのような理由が考えられますか？ ***LLMが学習していない事物に対する質問 [#jce64f1d] マイナーなものに対する質問やノウハウについての質問 -ChatGPTが学習している言語データの中で、最も大きな割合を占めるのは英語で、~ 「日本固有の知識を問う質問には誤った回答が散見さた。」と言う情報があり実際、その様な体感。 -サブカル問題 --「スンドコベロンチョ」（世にも奇妙な物語）に対する質問 → 知ってた。 --お笑い芸人明石家さんまの経歴を教えてください。→ デタラメ。 --[[キン肉マンに出てくるレオパルドン>https://www.google.com/search?q=%E3%82%AD%E3%83%B3%E8%82%89%E3%83%9E%E3%83%B3+%E3%83%AC%E3%82%AA%E3%83%91%E3%83%AB%E3%83%89%E3%83%B3&tbm=isch]] → 知らなかった。~ ---回答１：キン肉マンではなく[[スパイダーマンに出てくるキャラクター。>https://www.google.com/search?q=%E3%82%B9%E3%83%91%E3%82%A4%E3%83%80%E3%83%BC%E3%83%9E%E3%83%B3+%E3%83%AC%E3%82%AA%E3%83%91%E3%83%AB%E3%83%89%E3%83%B3&tbm=isch]] ---回答２：レオパルドンは、~ ・その名前の通り、ヒョウのような模様が特徴の豹のような外見を持つ。~ ・様々な必殺技があり、ストーリーにおいて重要な役割を果たすこともあった。 -単語（を組み合わせた）固有名詞に対する質問は、構成される単語から、~ その固有名詞がどのようなものか？を推論して、でっち上げる傾向がある。 --デタラメを言うケース~ 前述のレオパルドンの「回答２」はデタラメを言うケースのうちの一つ。 --セーブしたケース~ ・漫画、珍遊記の内容を教えてください。~ ・一般的に「珍遊記」と呼ばれる作品の中には「西遊記」（または「西遊記」に基づく作品）を元にした作品もあります。~ ・中国の古典文学作品「西遊記」を元にした冒険ファンタジーです。原作「西遊記」は、孫悟空（猿の王）や三蔵法師などの仏教伝説に基づいています。~ ・主要な登場キャラクターには、孫悟空、三蔵法師、猪八戒、沙悟浄などが含まれます。それぞれが異なる能力や個性を持っています。~ ・物語は、三蔵法師が仏典を取りに天竺（インド）へ向かう冒険の旅を描いています。~ ・孫悟空やその他の仲間たちと共に、数々の試練や戦いに立ち向かりながら、仏典を取り戻すための旅路を進みます。~ ・「西遊記」は仏教の教えや神話を基にしており登場人物たちが様々な試練や成長を通じて修行を積む様子が描かれています。~ ・また、悟りや仏教的なメッセージも含まれています。~ --知らないと言ったケース -自作の名詞 --プログラミングのデバッグで障害発生部位を特定するのに効果的な「最小セット」とはどの様な技法ですか？~ → コレは、プログラムのステップをビルド・実行可能で障害を発生させる最小のセットにまでステップ削減し、~ 障害を発生させるステップの部位を明確化する技法を意図していたが、意図した回答は得られなかった。 **対象の特性で分類 [#h0e53985] ***LLMがテキスト・コーパスで学習した事物に対する質問 [#f9732d17] [[言語的＆確率的に学習した結果で回答可能な質問>#s5abde9b]] -「[[定義>#zf660778]]」「[[真偽>#he31885e]]」についての質問 -テンプレ的な[[クリエイティブ>#b3435935]]の生成 ***[[LLMがテキスト・コーパスで学習していない事物に対する質問>#jce64f1d]] [#da866633] ***LLMにプロンプトで読み込ませた事物に対する質問 [#c4417fdb] -要約、翻訳、校正 --要約、翻訳は得意とされるタスク --校正は苦手とされるタスク。 -要約、翻訳、校正の意味を理解していると言うより、~ 原文と要約、翻訳、構正のコンテキストを与えられ次単語予測が要約、翻訳、校正になる。 ***複雑な構造をしている対象についての質問 [#v5989485] -「[[事物の「定義」についての質問>#zf660778]]」中の複雑な構造のもの。 -「[[LLMがテキスト・コーパスで学習していない事物に対する質問>#da866633]] 」的な側面 --そもそも説明し切る事が困難 --また分野毎に様々な側面がある。 --ソレにより、説明文が不足している。 --業界毎のマニュアルや文字列化されたノウハウが役立つ可能性 **質問の特性で分類 [#sdc3edf5] ***事物の「真偽」についての質問 [#he31885e] -学習した内容で真偽を回答する。何をどう学習したかによる。 -プロンプトで与えた事項に対して学習した常識で真偽を回答する。 -確率的に生成されたリスクある情報であることを考えると真疑を扱うのはあまり適切ではない。 -ChatGPT~ 一般的に信頼性が高いとされるメディアとして、なんというメディアがありますか？ --信頼性のある報道機関はバイアスを排除し客観的な事実報道を提供することに専念するメディア組織です。 --以下は、一般的に信頼性が高いとされる国際的な報道機関の一部です --(2021年の情報を元にしていますが、状況は変化する可能性があります): ---ニューヨーク・タイムズ (The New York Times) ---ワシントン・ポスト (The Washington Post) ---BBCニュース (BBC News) ---ロイター (Reuters) ---アソシエイテッドプレス (The Associated Press) ---フィナンシャル・タイムズ (Financial Times) ---ガーディアン (The Guardian) ---エコノミスト (The Economist) ---フランス通信社 ( Agence France-Presse) ---ブルームバーグ (Bloomberg) --これらの報道機関は、国際的に信頼性が高く、報道倫理を重視しています。 --ただし、どのメディアも完璧ではなく、偏見が含まれている可能性もあるため、... ***事物の「定義」についての質問 [#zf660778] 苦手ではないものの、「定義」に付いての質問は、間違うとクリティカルなケースがある。 -定義：ある概念内容・語義や処理手続をはっきりと定めること。それを述べたもの。 --辞典：言葉、漢字、物事を集め解説した書籍 ---主に言葉について書かれたものが「辞典」 ---主に文字について書かれた辞典は「字典」 ---主に事物に就いて詳細に書かれた辞典は「事典」 --マニュアル ---マニュアル：~ ある条件に対応する方法を知らない者に対して示し、~ 教えるために標準化・体系化して作られた文書、取扱説明書、ユーザーガイド。 ---リファレンス・マニュアル：~ ハードウェアやソフトウェアの機能一覧を解説したマニュアル。 -構造：幾つかの部分から全体を成り立たせる組立て。~ 全体を形作る、諸要素の依存・対立の関係のあり方の総称。 --物理的な構造の説明 ---複雑な物理構造を文字列で視覚的に説明する事は難しい。 ---物理スキーマ的等の場合はリファレンス・マニュアルなどに記載されているので回答可能。 --論理的な構造の説明 ---論理構造は文字列で説明されていることが多いので、説明する事は可能。 ---論理スキーマ的等の場合はリファレンス・マニュアルなどに記載されているので回答可能。 --体系（システム）的な構造の説明、一つの統一的全体を構成する、科学的あるいは哲学的命題の集合 ---体系は論理構造と同じように文字列として学習した結果で確率的に、説明する事は可能。 ---ただし、複雑な個々の要素が多数スタック＆コラボレーションしているシステムは文字列だけでの説明は困難。 ***質問者が知らない事物についての質問 [#ue389afe] -質問対象の構造が解っていないと自分が解っていないポイントについて質問ができない。 -家庭教師などなら手引してくれる可能性があるがLLMは手引してくれない~ （FAQがある場合、それを元にした手引を生成する可能性はある）。 *質問のポイント [#fd119cc0] **入力の質問を作成する際のポイント [#xcff408a] -入力として与えられた情報を基に回答を生成するため... -ただし、GPTが苦手な事をプロンプトでなんとか出来ると思わない方が良い。 ***明確で具体的な質問をする [#zd564225] -明確で具体的な質問に対してより適切な回答を生成できる。 -抽象的な質問や、複数の解釈ができる質問に対しては、正確な回答は困難。 ***必要な情報をすべて含める [#s154ae38] 質問をする際には、必要な情報をすべて含めることで、より適切な回答を生成できる。 ***質問を分割する [#j4801807] -複雑な質問や、複数の質問を一度にすることは、より適切な回答を得ることが困難。 -複雑な質問は、複数の分割された質問に分けることで、より適切な回答を生成できる。 ***情報が含まれる範囲を明確にする [#u09aab74] -質問をする際には、回答を求める情報が含まれる範囲を明確にすることで、より適切な回答を生成できる。 ***[[プロンプト・エンジニアリング>#eb14b1a7]] [#hd0e5f05] -[[そもそもの仕組み（LLMの特徴）>#la76c429]] -入力（質問の仕方）を工夫すると、出力（回答の質）が変わる。 -このため適切な出力を得るために入力を工夫することとして注目されている。 **出力の回答を解釈する際のポイント [#t3222485] 入力として与えられた情報を基に回答を生成するため... ***正確であることを確認する [#y66e2427] -回答が正確であるとは限らない。 -回答が正確であることを確認することが重要。 ***抽象的である場合、具体的に解釈する [#va52f977] -抽象的な質問に対しても回答を生成できる。 -具体的な意味を求めるようにすることが重要。 ***複数の解釈ができる場合、質問を再確認する [#x883825b] -複数の解釈ができる質問に対しても回答を生成できる。 -質問を再確認し正確な意味を確認することが重要。 ***回答が省略されている場合は、補足する [#i61fe61a] -（入力で与えられた）必要な情報が省略されることがある。 -このような場合には、回答を補足することで、正確な意味を理解できる。 *参考 [#zf747616] -Introducing ChatGPT~ https://openai.com/blog/chatgpt -ChatGPT - Wikipedia~ https://ja.wikipedia.org/wiki/ChatGPT -ChatGPTとは？開発に役立つ使い方、トレンド記事やtips - Qiita~ https://qiita.com/tags/chatgpt -深層学習についてのレポート（LLM編）~ https://www.osscons.jp/joho108j0-537/#_537 **ChatGPTとは？ [#o5ed5dd2] -【連載】ChatGPT入門 - 初めてのAIチャット活用 | TECH+（テックプラス）~ https://news.mynavi.jp/techplus/series/chat_gpt/ --ChatGPTとは~ https://news.mynavi.jp/techplus/article/chat_gpt-1/ --ChatGPTを使ってみる~ https://news.mynavi.jp/techplus/article/chat_gpt-2/ --ChatGPTでできること・できないこと~ https://news.mynavi.jp/techplus/article/chat_gpt-3/ --ChatGPTのアーキテクチャ・動作原理~ https://news.mynavi.jp/techplus/article/chat_gpt-4/ --ChatGPTの出現で始まる!「言葉」によるプロンプトセントリックな世界~ https://news.mynavi.jp/techplus/article/chat_gpt-5/ --ChatGPTの今後 - 前編：ChatGPTの進化~ https://news.mynavi.jp/techplus/article/chat_gpt-6/ --ChatGPTの今後 - 後編：ChatGPTを取り巻く環境とさまざまな生成AIサービス~ https://news.mynavi.jp/techplus/article/chat_gpt-7/ -エンジニアなら知っておきたいGPTのキホン 記事一覧 | Think IT（シンクイット）~ https://thinkit.co.jp/series/10884 --第1回 GPTで始まる大規模言語モデル時代~ https://thinkit.co.jp/article/22084 --第2回 大規模言語モデルの概要~ https://thinkit.co.jp/article/22168 --第3回 大規模言語モデルの自然言語処理「Transformer」モデルの仕組み~ https://thinkit.co.jp/article/22231 --第4回 マイクロソフトのAI搭載ツール「Bing」と「Copilot」~ https://thinkit.co.jp/article/22281 --第5回 ChatGPTのプラグイン【前半】~ https://thinkit.co.jp/article/22352 --第6回 ChatGPTのプラグイン【後半】~ https://thinkit.co.jp/article/22397 --第7回 「ChatGPT Enterprise」と「Microsoft 365 Copilot」~ https://thinkit.co.jp/article/22454 --第8回 「Microsoft 365 Copilot」の3つのポイントと「Microsoft 365 Loop」を構成する3つの要素~ https://thinkit.co.jp/article/22545 **使い方 [#o3b5cc67] ***始め方 [#xbf513fd] -ChatGPTとは？始め方やアカウント登録・ログイン、使い方を解説 - BTCC~ https://www.btcc.com/ja-JP/academy/crypto-basics/what-is-chatgpt -ChatGPTとは？初心者でも分かる始め方を解説~ Digital Shift Times（デジタル シフト タイムズ） その変革に勇気と希望を~ https://digital-shift.jp/flash_news/s_230306_1 ***プロンプト・エンジニアリング [#eb14b1a7] -[[LLMのPE]]（プロンプト・エンジニアリング） -Prompt Engineering Guide~ https://www.promptingguide.ai/jp -Free ChatGPT Prompting Cheat Sheet (PDF) – Be on the Right Side of Change~ https://blog.finxter.com/free-chatgpt-prompting-cheat-sheet-pdf/ -AIの思考を人間が助ける。AI領域で人気の職種「プロンプトエンジニア」とは何か~ Digital Shift Times（デジタル シフト タイムズ） その変革に勇気と希望を~ https://digital-shift.jp/ai/221122 -ChatGPTは馬鹿じゃない！ 真の実力を解放するプロンプトエンジニアリングの最前線~ https://zenn.dev/noritamarino/articles/a2321a65fe2be8 -AIの思考を人間が助ける「プロンプトエンジニアリング」、能力の劇的進化に要注目 | 日経クロステック（xTECH）~ https://xtech.nikkei.com/atcl/nxt/column/18/00692/060900081/ -「プロンプトエンジニアリング」の“教科書”、日本語版が登場 無償でAIの上手な使い方を解説~ https://www.itmedia.co.jp/news/articles/2304/05/news175.html -【連載】柳谷智宣の「ChatGPTプロンプトクリエイティブラボ」 | TECH+（テックプラス）~ https://news.mynavi.jp/techplus/series/chatgpt_prompt/ --GPTって？プロンプトって？ - ChatGPTの基本を学ぼう~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-1/ --ChatGPTでプレゼン資料のたたき台を超短時間で作る~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-2/ --ChatGPTに記事・議事録・音声を要約してもらう~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-3/ --言葉の意味を知る、言語を学ぶ、新語を生み出す~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-4/ --自然言語でプログラムを作成・実行できるCode Interpreterで作業をさせてみる~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-5/ --有名人に扮したChatGPTにインタビュー案を作ってもらう~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-6/ --企画会議に提出するアイデアをChatGPTに作ってもらう~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-7/ --ChatGPTにダメ出しをしてもらってブラッシュアップする~ https://news.mynavi.jp/techplus/article/chatgpt_prompt-8/ ***ChatGPT vs Google翻訳 [#f5d71214] -【ChatGPT vs Google翻訳】どちらの翻訳が優れているか？ | 【翻訳商社®】ノーヴァネクサス~ https://novanexus.jp/know-how/19636/13/02/2023/ **理解、疑問 [#z629b691] -chatGPTに聞いて理解するchatGPT - Qiita~ https://qiita.com/ipeblb/items/87b74666c1ce1167d609 -ChatGPTを社内に配ってもあまり使われない本当の理由 #AI - Qiita~ https://qiita.com/jw-automation/items/cf8ffc7a0edab512d917 -ChatGPTについて学術関係者が知っておきたい4つの疑問~ https://www.editage.jp/insights/four-burning-questions-academia-has-about-chatgpt ***ChatGPTの限界 [#x8b5afea] -チャットできるAI、ChatGPTが｢そこまですごくない｣理由。見えてしまった限界 | Business Insider Japan~ https://www.businessinsider.jp/post-263042 -MIT Tech Review: GPT-3とそれを取り巻く周辺、パラダイムと限界~ https://www.technologyreview.jp/s/250066/gpt-3-and-related-ai-technologies-paradigms-and-limitations/ ***ChatGPTの仕組みを理解する [#n3e1ab2b] -前編：https://tech-blog.abeja.asia/entry/chat-gpt-first-half-202307 -後編：https://tech-blog.abeja.asia/entry/chat-gpt-second-half-202307 **GPT評価 [#if5b79cb] GPT系サービスを利用し評価を解説した。~ https://1drv.ms/x/s!Amfs5caPP9r5kXO9VvIB-QoBVKzZ?e=r6DHBw ***目次 [#u001703f] ***マップ [#c2ab5c21] ユースケース・マップ（以下のユースケースのマップ） ***前提 [#k6bbdc1a] ***導入 [#o82d01e6] -GPTとは -図でポイントを理解する -Few-shot Learning -ロングコンテキスト -得手不得手情報集 -得手不得手評価 -GPTのバージョン -GPT-3とGPT-4の違い -GPTまとめ ***活用促進 [#o0e45e9c] -事例集が難しい理由 -GPTユーザの特徴 ***質問応答 [#h9a26bb1] -一般的な質問 -特定分野の知識 -対話の流暢さ -倫理的・バイアスの評価 ***問題解決 [#od626417] -ロジカルな推論 -クリエイティブな問題解決 ***深い考察 [#q98ba23a] -「需要と供給の法則を説明してください。」 -「がん治療における免疫療法の最新の進展について教えてください。 -「デジタルプライバシー法の最新の動向とその影響について説明して -「機械学習における過学習の問題とその対策について詳しく説明して -「中央銀行がインフレを管理するための政策手段について説明してく -「再生可能エネルギー技術の現状と未来の展望について説明してくだ ***ロングコンテキスト [#ocdfe07e] -追加知識を学習無しでコンテキストとして与える例 -以降【LC】はロングコンテキスト対応プロンプトの意 ***文章生成 [#c10d4d06] -翻訳【LC】 -要約【LC】 -文章生成 --文章生成【テンプレ】 --文章生成【LC】 --技術文章生成【テンプレ】 --技術文章生成【LC】 ***文章チェック [#pcf0bbf3] -校正【LC】 -正誤【LC】 ***データ分析 [#ub69892f] -データ分析【Excel】 -データ分析【LC】 -データ分析【Advanced data analysis】 -データ分析コード生成【LC】 ***コーディングとデバッグ [#v4dc33a8] -コード生成【テンプレ】 -コード生成【LC】 -コンバージョン【LC】 -ドキュメンテーション【LC】 -テストコード生成【LC】 -コードの問題の指摘と修正【LC】 ***EUC [#y441fbf7] -EUC Linuxシェル -EUC Linuxシェル【テンプレ】 -EUC Excelマクロ -EUC Excelマクロ【テンプレ】 --Excelデータ・シート --Excelピボット・テーブル ***手動RAG【LC】 [#efd4eb9f] -トラブルシューティング【LC】 -設計ディシジョン【LC】 -規則・規格系【LC】 ***博識家・専門家の支援 [#y7fa6c6f] -ダブルダイアモンドの例 -意思決定例 ***製品別 [#s0b5783e] -GitHub Copilot -Copilot企業版 -Copilot for M365 --Outlook --Teams --Forms ***マルチモーダル [#ke2867d9] -イラスト -図解 -音声 -動画 ***参考 [#l57b3006] -YouTube生成字幕を使った要約 -ハルシネーションについて -輸出管理や機密情報・個人情報 -他者の知的財産の取扱
