AIプロジェクトのマネジメント
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-[[戻る>人工知能（AI）]]
--[[AIの活用例]]
--[[ロボティクス>人工知能（AI）：ロボティクス]]
--AIプロジェクトのマネジメント
*目次 [#k71255ac]
#contents
*概要 [#x2ad7fd7]
ルールベース → [[機械学習>機械学習（machine learning）]]...
*詳細 [#t84af5ce]
**違い [#h0f6364f]
***企画 [#b53444c9]
[[PoC>#md4f8042]]的
***色々な難しさ [#a6b82222]
-エラーの責任~
混同行列（[[侵入検知>SC：対策技術 - 防御・侵入検知#xd5bee...
|実値＼予測値|異常がある（Positive）|異常がない（Negative...
|異常がある（Positive）|真陽性（TP：True Positive|偽陰性...
|異常がない（Negative）|偽陽性（FP：False Positive|真陰性...
-中身を説明できない。
-倫理的・法的・社会的課題~
（ELSI：Ethical, Legal and Social Issues）
***開発の流れ [#f4ee2a83]
→ [[AIの開発>#k889e177]]
***保守・運用 [#ob4329db]
AIの運用と更新があるので、~
保守・運用の重要性が高い（→ [[ポイント>#p8079bde]]）。
**組織と文化 [#x6e66bce]
AI活用を拡大するための組織~
主な挑戦は技術ではなく文化
***体制 [#q4eb10bc]
-チームの構築~
[[強いマトリックス型>PMP：環境 - 組織のシステム#k080b079]]
--Hub（中心となるグループ）
--Spork（ビジネスユニット）
--Gray Area（繋ぐ領域）
-CTO直下
--決裁権がある。
--ビジネスインパクトが解る。
--技術もプロダクトも解る。
***成功例と失敗例 [#r214922d]
-失敗した企業の例
--発注ベースで取り組んでいる。
--技術やプロダクトが解っていない。
--現場の理解が得られずデータが集まらない。
-成功する企業の例
--内製化に成功している。
--人材の戦略的育成
--担当者と現場の協力体制
--スピード感のある柔軟な進め方
**AIの開発 [#k889e177]
***ステップ [#za95750b]
-ビジネス・イシューをブレークダウン~
（AIが得意な所を発見して適用する）
-[[アルゴリズムの選択>#pc96eef3]]
--それぞれのモデルで[[目的関数（損失関数）>ニューラルネッ...
--論文レベルで良いモデルを選択する。
-[[データの収集>#lae152b1]]
-[[試作モデルの開発と評価>#kfe5bc49]]
***アルゴリズムの選択 [#pc96eef3]
アルゴリズムのアーキテクチャをデザイン
-確認事項
--タスク要件の確認
---画像認識で言うと[[目的軸、時間軸、次元軸>画像処理とコ...
---タスク要件を間違うと出口なき開発（≒ 地獄）へ突入する。
--データ要件の確認
---データ取得が可能か？~
運用でないと or 運用ですらデータ取得できない。
---ラベル定義が可能か？~
・人間すら正解が解らない。~
・[[学習方法の選択肢>機械学習（machine learning）#aeb76d7...
--説明性の要件を確認~
ただし、以下は異なる可能性。
---研究領域の説明性
---事業領域の説明性
-組み合わせも可能。
--[[深層学習>深層学習（deep learning）]]
--[[機械学習>機械学習（machine learning）]]
---[[HMM（隠れマルコフモデル>機械学習（machine learning）...
---[[サポートベクターマシン>機械学習（machine learning）#...
---[[ベイジアンネットワーク>機械学習（machine learning）#...
--その他
---進化論的計算
---ファジィ理論
***データの収集 [#lae152b1]
-中長期的なデータ収集設計の重要性
--取得に時間がかかる。
--後戻りができない。
-設計の手順
--実現したいことを整理
--実現に向けて必要なデータを整理
---構造的なデータ
---未来の運用を想定
---プライバシーへの配慮~
[[個人情報、個人データ、保有個人データ>SC：法制度 - 個人...
--データを取得できるシステムを構築
---重要要素~
・データセットの収集方法~
・画像認識で言うと撮影方法等）~
・画角、照明、距離、画質 / FPS~
・[[教師データ>機械学習（machine learning）#m79c9f7e]]の...
***試作モデルの開発と評価 [#kfe5bc49]
-選定~
[[適切なモデルの選択>#pc96eef3]]
-作成
--[[フレームワーク>深層学習（deep learning）#aee683ea]]の...
--[[収集したデータ>#lae152b1]]の活用
-評価
--精度評価指標には色々ある~
タスクに合わせて精度評価指標を選択
---[[エラーのタイプによる指標>データマイニング（DM）- CRI...
---画像認識の指標
|指標|説明|h
|IoU|物体検出の指標|
|AP|物体検出の各クラスのクラス分類の指標|
|mAP|物体検出の全クラスのクラス分類の指標（= (AP1 + AP2 +...
--精度とどう向き合うか？
---精度 ≠ 100％~
・PM~
・スコープの定義~
・期待値のコントロール~
・実装~
UI / UX、運用でカバー~
・確信度毎に通知方法を変える。~
・確信度と判断基準を出力する。~
---[[追加学習>機械学習（machine learning）#w6d3e08c]]の重...
**ポイント [#n54322e3]
***PoC（概念実証） [#md4f8042]
-PoC（Proof of Concept：概念実証）
-ステップ
--PoCの前の課題分析・仮説構築~
必須で最重要
---課題の特定
---不確実性の特定~
・技術的に解決~
・運用で解決
---仮説を持つ~
・解かり易い仮説~
・YES / NO、数値で答えられる。
---最小工数で検証
--PoCとはリスクヘッジ~
投資の意思決定に資するインサイトが収集できたか~
（洞察ができたか、本質を見抜けたか）が重要
---仮説を検証可能なサンプル・データを収集する。
---簡易なモデルを用いて結果を見てみる。
---仮説のTrue / Falseが明らかになる。
---新たに発生した不確実性 / 問題点を整理
---上記の不確実性 / 問題点を解決できるか検討する（PoC2）。
--PoC後に投資の意思決定をする。
--[[本開発・導入>#f4ee2a83]]、[[運用>#ob4329db]]
***アジャイル [#r11d527b]
-試してみないと解らない（仮説検証の試行錯誤を含む）。
-適応型ライフサイクル（アジャイル手法、変化駆手法）が基本。
***評価方法の決定 [#w996fad2]
プロジェクト目標を明確化して共有する。
-難易度への理解
-ベンチマーク方法の策定
-指標の決定
-参考：[[AIのアルゴリズム・モデル]]
***説明可能なAI [#if5c23fc]
-XAI（Explainable AI、説明可能なAI）
-例えば「人への高度な提案」のようなケースで要求される。
--疾患の発見
--与信審査
--新商品開発
--火災、犯罪、交通事故予測
-参考：[[AIのアルゴリズム・モデル]]
***自社オペレーション [#ta44e4f5]
（✕：業務委託
-[[データの収集>#lae152b1]]
-[[教師データ>機械学習（machine learning）#m79c9f7e]]の作成
-[[保守・運用>#p8079bde]]
***保守・運用 [#p8079bde]
-[[MLOps>機械学習（machine learning）#s81c0338]]プロセス...
--[[追加学習>機械学習（machine learning）#w6d3e08c]]
--[[CX(CI/CD、CT/CM)>機械学習（machine learning）#g816eac...
-推論システム
--システムの冗長化
--[[GPU>深層学習（deep learning）#y9b7e27c]]リソースのプ...
***PDCA速度の向上 [#o13d8c3f]
リリース後の改善する計画も必要
***品質保証 [#t0d7f06c]
-5つの軸とそのバランスで品質保証の活動を評価
--Data Integrity
---質においても量においても適切かつ充分なデータの確保と、
---学習用データと検証用データが独立しているかどうかなどに...
--Model Robustness~
モデルの精度と頑健性、デグレードなどについて考慮
--System Quality~
AI プロダクト全体の品質の確保について考慮
--Process Agility~
プロセスの機動性について考慮する（アジャイル、MLOps的）。
--Customer Expectation~
よい顧客との関係性について考慮
-検証技術のツール化（DeepSaucer~
https://github.com/hitachi-rd-yokohama/deep_saucer
--形式手法活用網羅検証~
機械学習モデルを論理式にエンコードし、形式手法によって網...
--ニューロンカバレッジ~
テスト与えられたテストケースの集合によりどのニューロンが...
--リファレンスモデル照合テスト~
正解値のついていないテストケースに疑似的な正解値を付与し...
--メタモルフィックテスト~
テストケースの入力値に微細な変更を加えても出力値が変わら...
--外れ値自動生成テスト~
人手では作成困難な外れ値・異常値を自動生成することでロバ...
--不確実性ベーステスト~
訓練データの不足などに起因する認識論的不確実性のロバスト...
**アンチパターン [#yac3a0a4]
***[[組織と文化>#x6e66bce]] [#v02c4ff9]
-主な挑戦は技術ではなく文化
-ビジネス上の価値を見誤る。
--技術はオープン化の流れ。
--データに価値がある。
-実現可能性を見誤る。
--特定の手法に入れ込み過ぎない。
--高度な手法が良いとは限らない。
-時間軸を見誤る。
--試してみないと解らない~
（仮説検証の試行錯誤を含む）。
--見切りをつける。
---データと精度
---可能性の検討
-少数のケースを超える戦略がない。
***[[ポイント>#n54322e3]] [#z7ed47f4]
-Po死
--費用対効果の説明ができなかった。
--成功・失敗のインサイトに価値が無い
--精度≠100％（AIは100％は無理、でも人間も無理。）。
--[[導入>#b53444c9]]ノウハウ、[[運用>#ob4329db]]ノウハウ...
-スケジュール遅延（[[アジャイルで対応>#r11d527b]]）
-不明瞭なゴール（[[評価方法の明確化で対応>#w996fad2]]）
-作業の質低下（[[自社オペレーションで対応>#ta44e4f5]]）
**事例 [#o575d3f2]
***AI原料検査 [#m374c02b]
-ビジネス価値があり、経営層からの理解とバックアップがあっ...
--自社の理念に結びついている
--現場が苦労し困っている
--業界に共通の課題
-[[立上げプロセス>PMP：立上]]はテクニカル・フェロー自身が...
--アプリは自社、AIは協業（覚悟のある２社）、設備は中小企...
--経営層、幹部には丁寧に解説・説明。
--その他、公募精度などを作った。
-試作機は２ヶ月程度でできた。
--（最初は）工場では全く見向きもされなかった
--（最初の）テストで200以上の指摘事項を受け不合格
--一生懸命やっていると現場の人たちが助けてくれるようにな...
--[[（良品の）撮影のフィジカル系（撮影環境）の模索>AIの活...
***[[ゴミ識別AI搭載自動運転クレーン>画像処理とコンピュー...
-ビジネス価値があり、経営層からの理解とバックアップがあっ...
-足りないAIスキルは外部ベンダーをパートナーに選定し適切に...
-AIベンダーは技術よりコンセプトを固める所のパフォーマンス...
-オペレーターとディスカッションしシステムに反映して行くプ...
-AI開発が必要な部分をできるだけコンパクトにしてスピーディ...
--コンセプトで教師データを用意してしてトライ・アンド・エ...
--AIの眼から判断した情報とクレーンを操作するロジックの結...
*参考 [#hec11dcb]
-AIの基盤となるデータに「ラベル付けの間違い」が蔓延、その...
https://wired.jp/2021/05/10/foundations-ai-riddled-errors/
終了行:
「[[.NET 開発基盤部会 Wiki>http://dotnetdevelopmentinfras...
-[[戻る>人工知能（AI）]]
--[[AIの活用例]]
--[[ロボティクス>人工知能（AI）：ロボティクス]]
--AIプロジェクトのマネジメント
*目次 [#k71255ac]
#contents
*概要 [#x2ad7fd7]
ルールベース → [[機械学習>機械学習（machine learning）]]...
*詳細 [#t84af5ce]
**違い [#h0f6364f]
***企画 [#b53444c9]
[[PoC>#md4f8042]]的
***色々な難しさ [#a6b82222]
-エラーの責任~
混同行列（[[侵入検知>SC：対策技術 - 防御・侵入検知#xd5bee...
|実値＼予測値|異常がある（Positive）|異常がない（Negative...
|異常がある（Positive）|真陽性（TP：True Positive|偽陰性...
|異常がない（Negative）|偽陽性（FP：False Positive|真陰性...
-中身を説明できない。
-倫理的・法的・社会的課題~
（ELSI：Ethical, Legal and Social Issues）
***開発の流れ [#f4ee2a83]
→ [[AIの開発>#k889e177]]
***保守・運用 [#ob4329db]
AIの運用と更新があるので、~
保守・運用の重要性が高い（→ [[ポイント>#p8079bde]]）。
**組織と文化 [#x6e66bce]
AI活用を拡大するための組織~
主な挑戦は技術ではなく文化
***体制 [#q4eb10bc]
-チームの構築~
[[強いマトリックス型>PMP：環境 - 組織のシステム#k080b079]]
--Hub（中心となるグループ）
--Spork（ビジネスユニット）
--Gray Area（繋ぐ領域）
-CTO直下
--決裁権がある。
--ビジネスインパクトが解る。
--技術もプロダクトも解る。
***成功例と失敗例 [#r214922d]
-失敗した企業の例
--発注ベースで取り組んでいる。
--技術やプロダクトが解っていない。
--現場の理解が得られずデータが集まらない。
-成功する企業の例
--内製化に成功している。
--人材の戦略的育成
--担当者と現場の協力体制
--スピード感のある柔軟な進め方
**AIの開発 [#k889e177]
***ステップ [#za95750b]
-ビジネス・イシューをブレークダウン~
（AIが得意な所を発見して適用する）
-[[アルゴリズムの選択>#pc96eef3]]
--それぞれのモデルで[[目的関数（損失関数）>ニューラルネッ...
--論文レベルで良いモデルを選択する。
-[[データの収集>#lae152b1]]
-[[試作モデルの開発と評価>#kfe5bc49]]
***アルゴリズムの選択 [#pc96eef3]
アルゴリズムのアーキテクチャをデザイン
-確認事項
--タスク要件の確認
---画像認識で言うと[[目的軸、時間軸、次元軸>画像処理とコ...
---タスク要件を間違うと出口なき開発（≒ 地獄）へ突入する。
--データ要件の確認
---データ取得が可能か？~
運用でないと or 運用ですらデータ取得できない。
---ラベル定義が可能か？~
・人間すら正解が解らない。~
・[[学習方法の選択肢>機械学習（machine learning）#aeb76d7...
--説明性の要件を確認~
ただし、以下は異なる可能性。
---研究領域の説明性
---事業領域の説明性
-組み合わせも可能。
--[[深層学習>深層学習（deep learning）]]
--[[機械学習>機械学習（machine learning）]]
---[[HMM（隠れマルコフモデル>機械学習（machine learning）...
---[[サポートベクターマシン>機械学習（machine learning）#...
---[[ベイジアンネットワーク>機械学習（machine learning）#...
--その他
---進化論的計算
---ファジィ理論
***データの収集 [#lae152b1]
-中長期的なデータ収集設計の重要性
--取得に時間がかかる。
--後戻りができない。
-設計の手順
--実現したいことを整理
--実現に向けて必要なデータを整理
---構造的なデータ
---未来の運用を想定
---プライバシーへの配慮~
[[個人情報、個人データ、保有個人データ>SC：法制度 - 個人...
--データを取得できるシステムを構築
---重要要素~
・データセットの収集方法~
・画像認識で言うと撮影方法等）~
・画角、照明、距離、画質 / FPS~
・[[教師データ>機械学習（machine learning）#m79c9f7e]]の...
***試作モデルの開発と評価 [#kfe5bc49]
-選定~
[[適切なモデルの選択>#pc96eef3]]
-作成
--[[フレームワーク>深層学習（deep learning）#aee683ea]]の...
--[[収集したデータ>#lae152b1]]の活用
-評価
--精度評価指標には色々ある~
タスクに合わせて精度評価指標を選択
---[[エラーのタイプによる指標>データマイニング（DM）- CRI...
---画像認識の指標
|指標|説明|h
|IoU|物体検出の指標|
|AP|物体検出の各クラスのクラス分類の指標|
|mAP|物体検出の全クラスのクラス分類の指標（= (AP1 + AP2 +...
--精度とどう向き合うか？
---精度 ≠ 100％~
・PM~
・スコープの定義~
・期待値のコントロール~
・実装~
UI / UX、運用でカバー~
・確信度毎に通知方法を変える。~
・確信度と判断基準を出力する。~
---[[追加学習>機械学習（machine learning）#w6d3e08c]]の重...
**ポイント [#n54322e3]
***PoC（概念実証） [#md4f8042]
-PoC（Proof of Concept：概念実証）
-ステップ
--PoCの前の課題分析・仮説構築~
必須で最重要
---課題の特定
---不確実性の特定~
・技術的に解決~
・運用で解決
---仮説を持つ~
・解かり易い仮説~
・YES / NO、数値で答えられる。
---最小工数で検証
--PoCとはリスクヘッジ~
投資の意思決定に資するインサイトが収集できたか~
（洞察ができたか、本質を見抜けたか）が重要
---仮説を検証可能なサンプル・データを収集する。
---簡易なモデルを用いて結果を見てみる。
---仮説のTrue / Falseが明らかになる。
---新たに発生した不確実性 / 問題点を整理
---上記の不確実性 / 問題点を解決できるか検討する（PoC2）。
--PoC後に投資の意思決定をする。
--[[本開発・導入>#f4ee2a83]]、[[運用>#ob4329db]]
***アジャイル [#r11d527b]
-試してみないと解らない（仮説検証の試行錯誤を含む）。
-適応型ライフサイクル（アジャイル手法、変化駆手法）が基本。
***評価方法の決定 [#w996fad2]
プロジェクト目標を明確化して共有する。
-難易度への理解
-ベンチマーク方法の策定
-指標の決定
-参考：[[AIのアルゴリズム・モデル]]
***説明可能なAI [#if5c23fc]
-XAI（Explainable AI、説明可能なAI）
-例えば「人への高度な提案」のようなケースで要求される。
--疾患の発見
--与信審査
--新商品開発
--火災、犯罪、交通事故予測
-参考：[[AIのアルゴリズム・モデル]]
***自社オペレーション [#ta44e4f5]
（✕：業務委託
-[[データの収集>#lae152b1]]
-[[教師データ>機械学習（machine learning）#m79c9f7e]]の作成
-[[保守・運用>#p8079bde]]
***保守・運用 [#p8079bde]
-[[MLOps>機械学習（machine learning）#s81c0338]]プロセス...
--[[追加学習>機械学習（machine learning）#w6d3e08c]]
--[[CX(CI/CD、CT/CM)>機械学習（machine learning）#g816eac...
-推論システム
--システムの冗長化
--[[GPU>深層学習（deep learning）#y9b7e27c]]リソースのプ...
***PDCA速度の向上 [#o13d8c3f]
リリース後の改善する計画も必要
***品質保証 [#t0d7f06c]
-5つの軸とそのバランスで品質保証の活動を評価
--Data Integrity
---質においても量においても適切かつ充分なデータの確保と、
---学習用データと検証用データが独立しているかどうかなどに...
--Model Robustness~
モデルの精度と頑健性、デグレードなどについて考慮
--System Quality~
AI プロダクト全体の品質の確保について考慮
--Process Agility~
プロセスの機動性について考慮する（アジャイル、MLOps的）。
--Customer Expectation~
よい顧客との関係性について考慮
-検証技術のツール化（DeepSaucer~
https://github.com/hitachi-rd-yokohama/deep_saucer
--形式手法活用網羅検証~
機械学習モデルを論理式にエンコードし、形式手法によって網...
--ニューロンカバレッジ~
テスト与えられたテストケースの集合によりどのニューロンが...
--リファレンスモデル照合テスト~
正解値のついていないテストケースに疑似的な正解値を付与し...
--メタモルフィックテスト~
テストケースの入力値に微細な変更を加えても出力値が変わら...
--外れ値自動生成テスト~
人手では作成困難な外れ値・異常値を自動生成することでロバ...
--不確実性ベーステスト~
訓練データの不足などに起因する認識論的不確実性のロバスト...
**アンチパターン [#yac3a0a4]
***[[組織と文化>#x6e66bce]] [#v02c4ff9]
-主な挑戦は技術ではなく文化
-ビジネス上の価値を見誤る。
--技術はオープン化の流れ。
--データに価値がある。
-実現可能性を見誤る。
--特定の手法に入れ込み過ぎない。
--高度な手法が良いとは限らない。
-時間軸を見誤る。
--試してみないと解らない~
（仮説検証の試行錯誤を含む）。
--見切りをつける。
---データと精度
---可能性の検討
-少数のケースを超える戦略がない。
***[[ポイント>#n54322e3]] [#z7ed47f4]
-Po死
--費用対効果の説明ができなかった。
--成功・失敗のインサイトに価値が無い
--精度≠100％（AIは100％は無理、でも人間も無理。）。
--[[導入>#b53444c9]]ノウハウ、[[運用>#ob4329db]]ノウハウ...
-スケジュール遅延（[[アジャイルで対応>#r11d527b]]）
-不明瞭なゴール（[[評価方法の明確化で対応>#w996fad2]]）
-作業の質低下（[[自社オペレーションで対応>#ta44e4f5]]）
**事例 [#o575d3f2]
***AI原料検査 [#m374c02b]
-ビジネス価値があり、経営層からの理解とバックアップがあっ...
--自社の理念に結びついている
--現場が苦労し困っている
--業界に共通の課題
-[[立上げプロセス>PMP：立上]]はテクニカル・フェロー自身が...
--アプリは自社、AIは協業（覚悟のある２社）、設備は中小企...
--経営層、幹部には丁寧に解説・説明。
--その他、公募精度などを作った。
-試作機は２ヶ月程度でできた。
--（最初は）工場では全く見向きもされなかった
--（最初の）テストで200以上の指摘事項を受け不合格
--一生懸命やっていると現場の人たちが助けてくれるようにな...
--[[（良品の）撮影のフィジカル系（撮影環境）の模索>AIの活...
***[[ゴミ識別AI搭載自動運転クレーン>画像処理とコンピュー...
-ビジネス価値があり、経営層からの理解とバックアップがあっ...
-足りないAIスキルは外部ベンダーをパートナーに選定し適切に...
-AIベンダーは技術よりコンセプトを固める所のパフォーマンス...
-オペレーターとディスカッションしシステムに反映して行くプ...
-AI開発が必要な部分をできるだけコンパクトにしてスピーディ...
--コンセプトで教師データを用意してしてトライ・アンド・エ...
--AIの眼から判断した情報とクレーンを操作するロジックの結...
*参考 [#hec11dcb]
-AIの基盤となるデータに「ラベル付けの間違い」が蔓延、その...
https://wired.jp/2021/05/10/foundations-ai-riddled-errors/
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
