BLOG · AI入門・AIエージェントの仕組み
AIの意思決定モデルの動きをアニメーションで理解する
「選択肢を並べ、結果を見積もり、評価して選ぶ」流れを、期待値と試行錯誤の2つで確かめる
AIエージェントが動くとき、中では「次に何をするか」を選ぶ処理が繰り返されています。その考え方が意思決定モデルです。状態を見て、選択肢を挙げ、結果を予測し、評価して、選ぶ。この記事では代表的な2つ、期待値で選ぶ（1回の判断）と、試行錯誤で学ぶ（強化学習、連続した判断）を、動かして確かめます。
動かして確かめる：期待値で選ぶ（1回の判断）
お店の来月の打ち手を、AIが選ぶ場面です。「1ステップ進む」を押して、①〜④を順に見てください。そのあと「リスクの好み」と「景気の見通し」を切り替えると、選ぶ答えが変わることがあります。
デモ1 期待値で選ぶ（利益の単位は万円）
- ① 選択肢を並べる
- ② 結果の確率と利益
- ③ 確率×利益を足す
- ④ 一番大きいものを選ぶ
枝の太さは確率です。「期待値」は、確率と利益を掛けたものを結果ごとに出して、足したものです。景気の見通しは、「客が増える」確率と「客が減る」確率を入れ替えます。
動かして確かめる：試して学ぶ（連続した判断）
倉庫で、配達ロボットが荷物置き場（ゴール）まで荷物を運びます。ロボットは地図を持たず、動いてみた結果の得点（報酬）だけを頼りに、少しずつ上手になります。これが強化学習の一つ、Q学習です。「再生」を押して、ロボットの動き、マスの色、矢印の変化を見てください。
倉庫の地図（ロボットは、動いた結果の得点だけで学びます）
黄色い四角＝ロボット／青いマス＝先で得点が見込める場所／赤いマス＝減点が見込まれる場所／矢印＝今いちばん良いと思っている向き
挑戦ごとの得点（点＝1回の挑戦、黄色の線＝直近10回の平均）
得点＝歩くたびに−1、減点マスで−20、ゴールで+50。少ない歩数で、減点マスを避けて着くほど高得点です。
いまの様子
「探索」は、あえてランダムに動いてみること、「活用」は、今いちばん良いと思う向きに進むことです。εは、探索する割合です。最初は迷い続けますが、学習が進むと、棚と減点マスを避けた最短に近い道を選ぶようになります。
何が起きているのか：見て、挙げて、見積もって、選ぶ
意思決定モデルとは、「いま何をするか」を選ぶまでの筋道を、数字で表したものです。どんな形でも、おおむね次の流れになります。
- 状態を見る：いまの状況をつかみます。デモ1なら来月の景気の見通し、デモ2ならロボットがいるマスです。
- 選択肢を挙げる：取れる行動を並べます。値下げ・据え置き・広告、あるいは上下左右の4方向です。
- 結果を予測する：それぞれの行動で、何がどのくらいの確率で起きそうかを見積もります。
- 評価する：結果を点数に直して、行動ごとの価値を出します。
- 選ぶ：価値がいちばん高い行動を選びます。選んだら結果を見て、また最初に戻ります。
デモ1：期待値と、リスクの好み
期待値は、「確率×利益」を結果ごとに出して足したものです。同じ判断を何度も繰り返したときの、平均的な利益だと考えてください。デモの「広告を出す」は、当たれば大きいものの、外れたときの損も大きい選択肢です。期待値だけで比べると最も高いのですが、損失を重く感じる人（慎重）の物差しに変えると、大きな損の可能性がある分だけ評価が下がり、安定した「据え置き」が選ばれます。この物差しを効用と呼びます。
つまり、同じ数字を見ても、選ぶ答えは「どこまでの損なら許せるか」という好みで変わります。さらに「景気の見通し」を変えて確率が動くと、答えも動きます。AIが出す答えは、確率の見積もりと、損得の物差しの2つに支えられています。
デモ2：強化学習と、探索と活用
連続した判断では、1つの選択が次の状況を変えます。このとき使われるのが強化学習です。やり方は、行動して、結果の報酬（得点）を受け取り、「その場所でその行動をとる価値」の見積もり（Q値）を少しずつ直す、という繰り返しです。地図も正解も教わらず、試行錯誤だけで道を見つけます。マスの色はそのマスの価値、矢印は価値が最も高い向きです。
ここで大事なのが探索と活用のバランスです。活用ばかりだと、最初に見つけた遠回りの道に居座ります。探索ばかりだと、せっかく見つけた良い道を使えません。そこで、εの確率でランダムに試し、残りは今いちばん良い行動を選びます。εを0.05にすると迷いが少なく、0.5にすると回り道が増えて得点がばらつきますが、どちらも学習が進むと、棚と減点マスを避けた道に矢印がそろいます。
デモ2の減点マスは、近道の途中に置いてあります。通れば歩数は少なくなりますが、−20点です。ロボットは「ぶつからないように」と教わったのではなく、点数を最大にするという目的だけで、遠回りを選ぶようになります。報酬の決め方が、そのまま行動の方針になります。
LLMを使ったAIエージェントとの関係
ChatGPTやClaudeのようなLLM（大規模言語モデル）を使ったAIエージェントも、「次に何をするか」を選んで動く点は同じです。メールを読む、資料を検索する、どのツールを使うかを決める、といった判断を重ねます。ただし、LLMが選ぶときの中身は、デモのような数式の計算だけとは限りません。文脈から言葉として答えを組み立てる部分が大きいです。それでも、「状態を見て、選択肢を挙げ、結果を予測し、評価して選ぶ」という枠組みで考えると、エージェントが何をしているのか、どこに見積もりの誤りが入りうるのかを整理しやすくなります。
決定木分析とは別のものです
名前が似ているので注意が必要です。デモ1の枝分かれ図は、決定木と呼ばれる形をしていますが、これから取る行動を選ぶための図です。一方、決定木分析は、過去のデータから分類のルールを作る機械学習の手法です。前者は「どの行動が得か」を、後者は「このお客様はどちらのグループか」を答えます。
使うときの注意点
- 見積もりが外れると、答えも外れます。確率や利益の数字が現実と違えば、どれだけ正しく計算しても、選ぶ行動は的外れになります。デモ1で景気の見通しを動かすと、答えが変わる様子が分かります。入力する数字の根拠を確かめることが先です。
- 報酬の設計を誤ると、望まない近道を覚えます。「早くゴールするほど高得点」とだけ決めると、減点マスを平気で通る道を選びます。たとえば「問い合わせの処理件数」だけを報酬にすると、雑に早く終わらせる動きを覚えかねません。何を良しとするかは、人が決める部分です。
- 試行錯誤は、現実では高くつきます。デモのロボットは何百回も失敗できますが、実際の発注や値引きを試行錯誤で学ばせると、損失や信用の低下が出ます。そのため強化学習は、現実と同じ動きをする模擬環境（シミュレーション）で学ばせるのが基本です。
- 状況が変わると、学んだ内容が古くなります。取引先や景気、商品が変われば、学習済みの方針は合わなくなります。見直しの時期を決めておく必要があります。
- 最終判断と責任は人にあります。AIの提案は、あくまで選択肢の比較です。お金・顧客・人事にかかわる判断は、人が結果を確かめてから決めてください。
中小企業での使いどころ
強化学習を自社で一から作る必要は、ほとんどありません。まずは期待値で比べる考え方を、日々の判断に取り入れるのが現実的です。
- 在庫の発注量：「多めに発注した場合」「少なめの場合」で、売れ残りの損と品切れの損を確率つきで並べ、期待値の表にします。表計算ソフトで作れます。
- 値引きの判断：値下げで増える客数の見込みと、粗利の減りを並べて比べます。慎重な判断が必要な場合は、損失を重めに数えて比べます。
- 配送ルート・シフトの割り当て：組み合わせが多く、人が全部は試せない問題です。専用のサービスやツールが、試行錯誤や探索の考え方を使って、良い案を出してくれます。
- 問い合わせの振り分け：AIエージェントが、内容に応じて「自動で返信する」「担当者に回す」を選ぶ場合に、誤りの損失が大きいものは人に回す、という物差しを入れます。
まずは、確率と利益の見積もりを表にして、期待値を出すだけでも効果があります。「なんとなく」で決めていた判断の根拠が、数字で残るからです。そのうえで、AIエージェントに任せる範囲は、間違えたときの損が小さいものから広げてください。
関連記事
ご相談
在庫や値引きの判断を数字で整理したい、AIエージェントにどこまで判断を任せてよいか知りたい——そうした相談は、AIエージェント自走化プログラムまたはお問い合わせからどうぞ。
