LLMへの様々な質問例
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-[[戻る>ChatGPT#x6963d3d]]
--LLMへの様々な質問例
--[[LLMのユースケース]]
*目次 [#fe2ec917]
#contents
*概要 [#bc0475c4]
-[[プロンプト・エンジニアリング>LLMのPE]]ではなくLLMの傾...
-2023-2024年に作成したコンテンツなので現在のLLMとの回答と...
-ただし、LLMの動作原理からして、当初の方が、純粋なLLMの回...
*質問のタイプ [#q22d06ae]
**回答に必要となる知識や処理で分類 [#i3e427c7]
***言語的＆確率的に学習した結果で回答可能な質問 [#s5abde9b]
≒ [[得意とするタスク>ChatGPT#y922f34a]]~
***論理クイズなど、論理的な思考が必要な質問 [#na378e7c]
≒ [[苦手とするタスク>ChatGPT#z722cd79]]~
***LLMが学習していない暗黙知を必要とする質問 [#f1c036e1]
-案外、言語で質問できるものは既に形式知化されており、~
暗黙知に対する質問を言語で行うこと自体が困難と判明した。
-暗黙知の例えに出てくる自転車の乗り方~
自転車に乗る時どのようにして倒れないようにバランスを取っ...
--自転車に乗る時、バランスを取るためには、ペダルを踏んで...
--初めて自転車に乗る場合は、ペダルを外して自転車に乗り、...
--また、自転車を押して歩くことで、ハンドル操作の感覚を覚...
-例えば、以下のような質問はネット上に情報が無く、解答が難...
--三角錐と立方体のうち転がり難いものは？~
→ 回答は間違いだった（ネット上に情報を確認できない）
--3本足の椅子、4、5、6、本足の椅子のうち安定性が高いのは？~
→ 回答が可能だった（ネット上に情報を確認できる）
-実際に該当する様な質問（文字列か可能な暗黙知）が存在し、~
それを質問した場合、LLMは類推する事で答えられる可能性はあ...
--例：以下の質問に、一応、それっぽく応えはする。
---仮に日中が暗く夜間が明るかった場合、人間の生活はどのよ...
---仮に法律が悪行を推奨し善行を裁くように定義されれていた...
--全体的に、
---常識の範囲で回答しようとするが、
---考察が浅い傾向がある（逆に言うと考察は現時点で人間の仕...
・世の中に深く考察した情報が無い。~
・そもそもLLMは深く考察していない。
-また、特定の組織内の話題も、一般的な話題の一部に含まれる...
--ツールが組織に浸透しない。一般的にどのような理由が考え...
--開発したツールの評判が悪い。一般的にどのような理由が考...
***LLMが学習していない事物に対する質問 [#jce64f1d]
マイナーなものに対する質問やノウハウについての質問
-ChatGPTが学習している言語データの中で、最も大きな割合を...
「日本固有の知識を問う質問には誤った回答が散見さた。」と...
-サブカル問題
--「スンドコベロンチョ」（世にも奇妙な物語）に対する質問 ...
--お笑い芸人明石家さんまの経歴を教えてください。→ デタラ...
--[[キン肉マンに出てくるレオパルドン>https://www.google.c...
---回答１：キン肉マンではなく[[スパイダーマンに出てくるキ...
---回答２：レオパルドンは、~
・その名前の通り、ヒョウのような模様が特徴の豹のような外...
・様々な必殺技があり、ストーリーにおいて重要な役割を果た...
-単語（を組み合わせた）固有名詞~
に対する質問は、構成される単語から、その固有名詞がどのよ...
--デタラメを言うケース
---前述のレオパルドンの「回答２」はデタラメを言うケースの...
---東映スパイダーマンにレオパルドンという特撮巨大ロボが居...
--知らないと言ったケース~
結構会ったがメモし忘れている。最近はInformation Retrieval...
--セーブしたケース~
・漫画、珍遊記の内容を教えてください。~
・一般的に「珍遊記」と呼ばれる作品の中には「西遊記」（ま...
・中国の古典文学作品「西遊記」を元にした冒険ファンタジー...
・主要な登場キャラクターには、孫悟空、三蔵法師、猪八戒、...
・物語は、三蔵法師が仏典を取りに天竺（インド）へ向かう冒...
・孫悟空やその他の仲間たちと共に、数々の試練や戦いに立ち...
・「西遊記」は仏教の教えや神話を基にしており登場人物たち...
・また、悟りや仏教的なメッセージも含まれています。~
-自作の名詞
--「最小セット」~
プログラミングのデバッグで障害発生部位を特定するのに効果...
→ コレは、プログラムのステップをビルド・実行可能で障害を...
障害を発生させるステップの部位を明確化する技法を意図し...
**対象の特性で分類 [#h0e53985]
***LLMがテキスト・コーパスで学習した事物に対する質問 [#f9...
[[言語的＆確率的に学習した結果で回答可能な質問>#s5abde9b]]
-「[[定義>#zf660778]]」「[[真偽>#he31885e]]」についての質問
-テンプレ的な[[クリエイティブ>LLMのユースケース#b3435935]...
***[[LLMがテキスト・コーパスで学習していない事物に対する...
***LLMにプロンプトで読み込ませた事物に対する質問 [#c4417f...
-土台の能力は次単語予測によって提供されている。
-追加でインストラクション・チューニング（指示チューニング...
--指示への追従性向上
--ゼロショット性能の向上
--対話・チャット能力の獲得
-質問（指示）：要約、翻訳、校正
--要約、翻訳は得意とされるタスク
--校正は苦手とされるタスク。
***複雑な構造をしている対象についての質問 [#v5989485]
-「[[事物の「定義」についての質問>#zf660778]]」中の複雑な...
-「[[LLMがテキスト・コーパスで学習していない事物に対する...
--そもそも説明し切る事が困難
--また分野毎に様々な側面がある。
--ソレにより、説明文が不足している。
--業界毎のマニュアルや文字列化されたノウハウが役立つ可能性
**質問の特性で分類 [#sdc3edf5]
***事物の「真偽」についての質問 [#he31885e]
-学習した内容で真偽を回答する。何をどう学習したかによる。
-プロンプトで与えた事項に対して学習した常識で真偽を回答す...
-確率的に生成されたリスクある情報であることを考えると真疑...
-ChatGPT~
一般的に信頼性が高いとされるメディアとして、なんというメ...
--信頼性のある報道機関はバイアスを排除し客観的な事実報道...
--以下は、一般的に信頼性が高いとされる国際的な報道機関の...
--(2021年の情報を元にしていますが、状況は変化する可能性が...
---ニューヨーク・タイムズ (The New York Times)
---ワシントン・ポスト (The Washington Post)
---BBCニュース (BBC News)
---ロイター (Reuters)
---アソシエイテッドプレス (The Associated Press)
---フィナンシャル・タイムズ (Financial Times)
---ガーディアン (The Guardian)
---エコノミスト (The Economist)
---フランス通信社 ( Agence France-Presse)
---ブルームバーグ (Bloomberg)
--これらの報道機関は、国際的に信頼性が高く、報道倫理を重...
--ただし、どのメディアも完璧ではなく、偏見が含まれている...
***事物の「定義」についての質問 [#zf660778]
苦手ではないものの、「定義」に付いての質問は、間違うとク...
-定義：ある概念内容・語義や処理手続をはっきりと定めること...
--辞典：言葉、漢字、物事を集め解説した書籍
---主に言葉について書かれたものが「辞典」
---主に文字について書かれた辞典は「字典」
---主に事物に就いて詳細に書かれた辞典は「事典」
--マニュアル
---マニュアル：~
ある条件に対応する方法を知らない者に対して示し、~
教えるために標準化・体系化して作られた文書、取扱説明書、...
---リファレンス・マニュアル：~
ハードウェアやソフトウェアの機能一覧を解説したマニュアル。
-構造：幾つかの部分から全体を成り立たせる組立て。~
全体を形作る、諸要素の依存・対立の関係のあり方の総称。
--物理的な構造の説明
---複雑な物理構造を文字列で視覚的に説明する事は難しい。
---物理スキーマ的等の場合はリファレンス・マニュアルなどに...
--論理的な構造の説明
---論理構造は文字列で説明されていることが多いので、説明す...
---論理スキーマ的等の場合はリファレンス・マニュアルなどに...
--体系（システム）的な構造の説明、一つの統一的全体を構成...
---体系は論理構造と同じように文字列として学習した結果で確...
---ただし、複雑な個々の要素が多数スタック＆コラボレーショ...
***質問者が知らない事物についての質問 [#ue389afe]
-質問対象の構造が解っていないと自分が解っていないポイント...
-家庭教師などなら手引してくれる可能性があるがLLMは手引し...
（FAQがある場合、それを元にした手引を生成する可能性はある...
*質問のポイント [#fd119cc0]
**入力の質問を作成する際のポイント [#xcff408a]
-入力として与えられた情報を基に回答を生成するため...
-ただし、GPTが苦手な事をプロンプトでなんとか出来ると思わ...
***明確で具体的な質問をする [#zd564225]
-明確で具体的な質問に対してより適切な回答を生成できる。
-抽象的な質問や、複数の解釈ができる質問に対しては、正確な...
***必要な情報をすべて含める [#s154ae38]
質問をする際には、必要な情報をすべて含めることで、より適...
***質問を分割する [#j4801807]
-複雑な質問や、複数の質問を一度にすることは、より適切な回...
-複雑な質問は、複数の分割された質問に分けることで、より適...
***情報が含まれる範囲を明確にする [#u09aab74]
-質問をする際には、回答を求める情報が含まれる範囲を明確に...
***[[プロンプト・エンジニアリング>ChatGPT#eb14b1a7]] [#hd...
-[[そもそもの仕組み（LLMの特徴）>ChatGPT#la76c429]]
-入力（質問の仕方）を工夫すると、出力（回答の質）が変わる。
-このため適切な出力を得るために入力を工夫することとして注...
**出力の回答を解釈する際のポイント [#t3222485]
入力として与えられた情報を基に回答を生成するため...
***正確であることを確認する [#y66e2427]
-回答が正確であるとは限らない。
-回答が正確であることを確認することが重要。
***抽象的である場合、具体的に解釈する [#va52f977]
-抽象的な質問に対しても回答を生成できる。
-具体的な意味を求めるようにすることが重要。
***複数の解釈ができる場合、質問を再確認する [#x883825b]
-複数の解釈ができる質問に対しても回答を生成できる。
-質問を再確認し正確な意味を確認することが重要。
***回答が省略されている場合は、補足する [#i61fe61a]
-（入力で与えられた）必要な情報が省略されることがある。
-このような場合には、回答を補足することで、正確な意味を理...
*参考 [#x00e31cb]
**[[LLMのPE]] [#c09203ca]
終了行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-[[戻る>ChatGPT#x6963d3d]]
--LLMへの様々な質問例
--[[LLMのユースケース]]
*目次 [#fe2ec917]
#contents
*概要 [#bc0475c4]
-[[プロンプト・エンジニアリング>LLMのPE]]ではなくLLMの傾...
-2023-2024年に作成したコンテンツなので現在のLLMとの回答と...
-ただし、LLMの動作原理からして、当初の方が、純粋なLLMの回...
*質問のタイプ [#q22d06ae]
**回答に必要となる知識や処理で分類 [#i3e427c7]
***言語的＆確率的に学習した結果で回答可能な質問 [#s5abde9b]
≒ [[得意とするタスク>ChatGPT#y922f34a]]~
***論理クイズなど、論理的な思考が必要な質問 [#na378e7c]
≒ [[苦手とするタスク>ChatGPT#z722cd79]]~
***LLMが学習していない暗黙知を必要とする質問 [#f1c036e1]
-案外、言語で質問できるものは既に形式知化されており、~
暗黙知に対する質問を言語で行うこと自体が困難と判明した。
-暗黙知の例えに出てくる自転車の乗り方~
自転車に乗る時どのようにして倒れないようにバランスを取っ...
--自転車に乗る時、バランスを取るためには、ペダルを踏んで...
--初めて自転車に乗る場合は、ペダルを外して自転車に乗り、...
--また、自転車を押して歩くことで、ハンドル操作の感覚を覚...
-例えば、以下のような質問はネット上に情報が無く、解答が難...
--三角錐と立方体のうち転がり難いものは？~
→ 回答は間違いだった（ネット上に情報を確認できない）
--3本足の椅子、4、5、6、本足の椅子のうち安定性が高いのは？~
→ 回答が可能だった（ネット上に情報を確認できる）
-実際に該当する様な質問（文字列か可能な暗黙知）が存在し、~
それを質問した場合、LLMは類推する事で答えられる可能性はあ...
--例：以下の質問に、一応、それっぽく応えはする。
---仮に日中が暗く夜間が明るかった場合、人間の生活はどのよ...
---仮に法律が悪行を推奨し善行を裁くように定義されれていた...
--全体的に、
---常識の範囲で回答しようとするが、
---考察が浅い傾向がある（逆に言うと考察は現時点で人間の仕...
・世の中に深く考察した情報が無い。~
・そもそもLLMは深く考察していない。
-また、特定の組織内の話題も、一般的な話題の一部に含まれる...
--ツールが組織に浸透しない。一般的にどのような理由が考え...
--開発したツールの評判が悪い。一般的にどのような理由が考...
***LLMが学習していない事物に対する質問 [#jce64f1d]
マイナーなものに対する質問やノウハウについての質問
-ChatGPTが学習している言語データの中で、最も大きな割合を...
「日本固有の知識を問う質問には誤った回答が散見さた。」と...
-サブカル問題
--「スンドコベロンチョ」（世にも奇妙な物語）に対する質問 ...
--お笑い芸人明石家さんまの経歴を教えてください。→ デタラ...
--[[キン肉マンに出てくるレオパルドン>https://www.google.c...
---回答１：キン肉マンではなく[[スパイダーマンに出てくるキ...
---回答２：レオパルドンは、~
・その名前の通り、ヒョウのような模様が特徴の豹のような外...
・様々な必殺技があり、ストーリーにおいて重要な役割を果た...
-単語（を組み合わせた）固有名詞~
に対する質問は、構成される単語から、その固有名詞がどのよ...
--デタラメを言うケース
---前述のレオパルドンの「回答２」はデタラメを言うケースの...
---東映スパイダーマンにレオパルドンという特撮巨大ロボが居...
--知らないと言ったケース~
結構会ったがメモし忘れている。最近はInformation Retrieval...
--セーブしたケース~
・漫画、珍遊記の内容を教えてください。~
・一般的に「珍遊記」と呼ばれる作品の中には「西遊記」（ま...
・中国の古典文学作品「西遊記」を元にした冒険ファンタジー...
・主要な登場キャラクターには、孫悟空、三蔵法師、猪八戒、...
・物語は、三蔵法師が仏典を取りに天竺（インド）へ向かう冒...
・孫悟空やその他の仲間たちと共に、数々の試練や戦いに立ち...
・「西遊記」は仏教の教えや神話を基にしており登場人物たち...
・また、悟りや仏教的なメッセージも含まれています。~
-自作の名詞
--「最小セット」~
プログラミングのデバッグで障害発生部位を特定するのに効果...
→ コレは、プログラムのステップをビルド・実行可能で障害を...
障害を発生させるステップの部位を明確化する技法を意図し...
**対象の特性で分類 [#h0e53985]
***LLMがテキスト・コーパスで学習した事物に対する質問 [#f9...
[[言語的＆確率的に学習した結果で回答可能な質問>#s5abde9b]]
-「[[定義>#zf660778]]」「[[真偽>#he31885e]]」についての質問
-テンプレ的な[[クリエイティブ>LLMのユースケース#b3435935]...
***[[LLMがテキスト・コーパスで学習していない事物に対する...
***LLMにプロンプトで読み込ませた事物に対する質問 [#c4417f...
-土台の能力は次単語予測によって提供されている。
-追加でインストラクション・チューニング（指示チューニング...
--指示への追従性向上
--ゼロショット性能の向上
--対話・チャット能力の獲得
-質問（指示）：要約、翻訳、校正
--要約、翻訳は得意とされるタスク
--校正は苦手とされるタスク。
***複雑な構造をしている対象についての質問 [#v5989485]
-「[[事物の「定義」についての質問>#zf660778]]」中の複雑な...
-「[[LLMがテキスト・コーパスで学習していない事物に対する...
--そもそも説明し切る事が困難
--また分野毎に様々な側面がある。
--ソレにより、説明文が不足している。
--業界毎のマニュアルや文字列化されたノウハウが役立つ可能性
**質問の特性で分類 [#sdc3edf5]
***事物の「真偽」についての質問 [#he31885e]
-学習した内容で真偽を回答する。何をどう学習したかによる。
-プロンプトで与えた事項に対して学習した常識で真偽を回答す...
-確率的に生成されたリスクある情報であることを考えると真疑...
-ChatGPT~
一般的に信頼性が高いとされるメディアとして、なんというメ...
--信頼性のある報道機関はバイアスを排除し客観的な事実報道...
--以下は、一般的に信頼性が高いとされる国際的な報道機関の...
--(2021年の情報を元にしていますが、状況は変化する可能性が...
---ニューヨーク・タイムズ (The New York Times)
---ワシントン・ポスト (The Washington Post)
---BBCニュース (BBC News)
---ロイター (Reuters)
---アソシエイテッドプレス (The Associated Press)
---フィナンシャル・タイムズ (Financial Times)
---ガーディアン (The Guardian)
---エコノミスト (The Economist)
---フランス通信社 ( Agence France-Presse)
---ブルームバーグ (Bloomberg)
--これらの報道機関は、国際的に信頼性が高く、報道倫理を重...
--ただし、どのメディアも完璧ではなく、偏見が含まれている...
***事物の「定義」についての質問 [#zf660778]
苦手ではないものの、「定義」に付いての質問は、間違うとク...
-定義：ある概念内容・語義や処理手続をはっきりと定めること...
--辞典：言葉、漢字、物事を集め解説した書籍
---主に言葉について書かれたものが「辞典」
---主に文字について書かれた辞典は「字典」
---主に事物に就いて詳細に書かれた辞典は「事典」
--マニュアル
---マニュアル：~
ある条件に対応する方法を知らない者に対して示し、~
教えるために標準化・体系化して作られた文書、取扱説明書、...
---リファレンス・マニュアル：~
ハードウェアやソフトウェアの機能一覧を解説したマニュアル。
-構造：幾つかの部分から全体を成り立たせる組立て。~
全体を形作る、諸要素の依存・対立の関係のあり方の総称。
--物理的な構造の説明
---複雑な物理構造を文字列で視覚的に説明する事は難しい。
---物理スキーマ的等の場合はリファレンス・マニュアルなどに...
--論理的な構造の説明
---論理構造は文字列で説明されていることが多いので、説明す...
---論理スキーマ的等の場合はリファレンス・マニュアルなどに...
--体系（システム）的な構造の説明、一つの統一的全体を構成...
---体系は論理構造と同じように文字列として学習した結果で確...
---ただし、複雑な個々の要素が多数スタック＆コラボレーショ...
***質問者が知らない事物についての質問 [#ue389afe]
-質問対象の構造が解っていないと自分が解っていないポイント...
-家庭教師などなら手引してくれる可能性があるがLLMは手引し...
（FAQがある場合、それを元にした手引を生成する可能性はある...
*質問のポイント [#fd119cc0]
**入力の質問を作成する際のポイント [#xcff408a]
-入力として与えられた情報を基に回答を生成するため...
-ただし、GPTが苦手な事をプロンプトでなんとか出来ると思わ...
***明確で具体的な質問をする [#zd564225]
-明確で具体的な質問に対してより適切な回答を生成できる。
-抽象的な質問や、複数の解釈ができる質問に対しては、正確な...
***必要な情報をすべて含める [#s154ae38]
質問をする際には、必要な情報をすべて含めることで、より適...
***質問を分割する [#j4801807]
-複雑な質問や、複数の質問を一度にすることは、より適切な回...
-複雑な質問は、複数の分割された質問に分けることで、より適...
***情報が含まれる範囲を明確にする [#u09aab74]
-質問をする際には、回答を求める情報が含まれる範囲を明確に...
***[[プロンプト・エンジニアリング>ChatGPT#eb14b1a7]] [#hd...
-[[そもそもの仕組み（LLMの特徴）>ChatGPT#la76c429]]
-入力（質問の仕方）を工夫すると、出力（回答の質）が変わる。
-このため適切な出力を得るために入力を工夫することとして注...
**出力の回答を解釈する際のポイント [#t3222485]
入力として与えられた情報を基に回答を生成するため...
***正確であることを確認する [#y66e2427]
-回答が正確であるとは限らない。
-回答が正確であることを確認することが重要。
***抽象的である場合、具体的に解釈する [#va52f977]
-抽象的な質問に対しても回答を生成できる。
-具体的な意味を求めるようにすることが重要。
***複数の解釈ができる場合、質問を再確認する [#x883825b]
-複数の解釈ができる質問に対しても回答を生成できる。
-質問を再確認し正確な意味を確認することが重要。
***回答が省略されている場合は、補足する [#i61fe61a]
-（入力で与えられた）必要な情報が省略されることがある。
-このような場合には、回答を補足することで、正確な意味を理...
*参考 [#x00e31cb]
**[[LLMのPE]] [#c09203ca]
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
