BLOG · AI入門・生成AIの仕組み
LLM（大規模言語モデル）の動きをアニメーションで理解する
ChatGPTやClaudeの中身は「次に来る言葉を、確率で予測して足していく」仕組み
ChatGPT・Claude・Geminiなどの生成AIの中で動いているのは、LLM（大規模言語モデル）と呼ばれる仕組みです。やっていることは、実は一つだけ。「ここまでの文章の、次に来そうな言葉」を確率で予測し、選んだ言葉を1つ足すことを、何度も繰り返しています。下のデモで、その1回分の流れを、順番に見てみましょう。
動かして確かめる
はじめに文の出だし（プロンプト）を選び、「1ステップ進む」を押してください。文が言葉の箱に区切られ、数字に変わり、言葉どうしが注目し合い、次の言葉の候補が確率で並び、1つが選ばれて文に足されます。「再生」を押すと、「。」が出るまで自動で繰り返します。
箱＝トークン（言葉の部品）／箱の下の数字＝番号（ID）／色の帯＝数字の並び（青＋、赤−）／金色の線の太さ＝注目の強さ／棒＝次の言葉の確率
温度を変えると、④の棒グラフの形が変わります。0に近いほど一番上の棒だけが突出し（尖る）、大きいほど棒の高さがそろい（平らになり）、意外な言葉も選ばれやすくなります。
何が起きているのか：区切って、数字にして、注目して、確率で選ぶ
LLMは、文を1つ作るために、次の流れを何度も繰り返しています。
- 区切る（トークン化）：文を「トークン」という言葉の部品に区切り、一つひとつに番号（ID）をつけます。コンピューターは言葉そのものではなく、番号で扱います。
- 数字の並びにする（埋め込み）：各トークンを、数十〜数千個の数字の並び（ベクトル）に変えます。意味の近い言葉ほど、似た数字の並びになるように作られています。デモでは色の帯がこれです（模型なので数字は6個だけです）。
- 注目する（アテンション）：いま予測したい位置の言葉が、それまでの言葉のどれを重く見るかを計算します。「これまでの文脈のどこが大事か」を選ぶ仕組みで、デモでは線の太さで示しています。デモの注目の強さは「見せるための計算」で、予測の数え上げには使っていません。本物では、この注目の結果が予測そのものに効いています。
- 次の言葉を予測する：次に来る候補すべてに、確率をつけます。デモの棒グラフがこれで、足すと100%になります。
- 選ぶ（サンプリング）：確率にしたがって、サイコロを振るように1つ選びます。確率の高い言葉が選ばれやすいだけで、低い言葉が選ばれることもあります。
- 足して、繰り返す：選ばれた言葉を文の末尾に足し、①に戻ります。「。」などの終わりの印が選ばれるか、長さの上限に達したら止まります。
LLMが長い文章を書けるのは、この「1語足す」を何百回、何千回と繰り返しているからです。途中で先の内容を全部決めているわけではなく、1語ごとに「ここまでの文章の続き」を予測しています。
温度とは：答えのばらつき具合
④で出た確率に「温度」をかけると、棒の高さの差を調整できます。温度が低いと、一番確率の高い言葉に集中し、毎回ほぼ同じ文になります。温度が高いと、確率の低い言葉も選ばれやすくなり、文が多彩になる反面、おかしな言葉の組み合わせも出ます。デモで温度を0と1.5にして、何度か「もう一度生成」を押して比べてみてください。0では毎回同じ文、1.5では毎回違う文になるはずです。
実際のAIサービスでも、事実を正確に答えさせたい場面では低め、アイデア出しでは高めに設定されることが多くあります。
本物のLLMは何が違うのか
- 学習のしかた：本物は、インターネット上の文章や書籍などの膨大な文章で「次の言葉当て」を繰り返して育ちます。予測が外れるたびに、内部の数字（重み）を少しずつ直していきます。この「外れ具合を見て直す」仕組みは、ニューラルネットワークの動きで動かして確かめられます。
- 規模：このデモの語彙は数十語です。本物は語彙が数万〜数十万、内部の数字（パラメータ）は数十億〜数兆個と言われる規模です。
- アテンションを何十層も重ねる：このデモのアテンションは1回だけです。本物は、これを何十層も重ね、さらに同時に何十通りもの見方（マルチヘッド）で文脈を読みます。この構造が「トランスフォーマー」で、現在の生成AIのほとんどが採用しています。
- 数え上げではなく、学習した計算：このデモは例文の数え上げですが、本物は膨大な数字の計算で確率を出します。そのため、見たことのない並びの文でも、もっともらしい続きを出せます。
使うときの注意点
- もっともらしい嘘（ハルシネーション）が出ます。LLMは「正しいこと」ではなく「ありそうな続き」を確率で選んでいます。デモでも、温度を上げると、文法はつながるのに意味のおかしい文が出ます。本物は精度がはるかに高いものの、数字・固有名詞・法律や制度の内容は、事実の確認が欠かせません。
- 学習した時点より後の出来事は知りません。最新のニュースや、直近の制度改正、自社の最新の価格表などは、検索機能の併用や、資料を渡して読ませる使い方が必要です。
- 一度に読める長さに上限があります（コンテキスト）。入力と出力を合わせて扱える長さに限りがあります。長い資料は、前半を忘れたり、途中の内容を取りこぼしたりすることがあります。
- 同じ質問でも、答えが毎回変わることがあります。確率で選んでいるためです。毎回同じ形で出したい業務では、出力の形式を指定する、人が確認する、といった工夫が要ります。
- 機密情報や個人情報の入力には注意が必要です。サービスの設定や契約によって、入力内容の扱いが変わります。取り扱いの考え方はAIへの入力で情報が漏れる？で整理しています。
中小企業での使いどころ
「それらしい文章を素早く作る」「長い文章を整理する」場面に向いています。たとえば、次のような使い方があります。
- 文章の下書き：お礼のメール、案内文、SNS投稿、求人文などの叩き台を作る。
- 要約・整理：会議のメモや長い資料から、要点や論点を抜き出す。
- 問い合わせの一次対応案：よくある質問への返信文の案を作り、担当者が確認して送る。
- アイデア出し：キャンペーン名、商品の紹介文、研修の進め方などを、複数案出してもらう。
いずれも、最終的な確認と責任は人が持つことが前提です。「下書きは速く、確認は人が丁寧に」と分けると、失敗が少なく、効果が出やすくなります。
関連記事
ご相談
生成AIを自社の業務に取り入れたい、AIで業務を自走化したい——そうした相談は、AIエージェント自走化プログラムまたはお問い合わせからどうぞ。
