BLOG · AI入門・機械学習
勾配ブースティング回帰の動きをアニメーションで理解する
「予測のずれ」を小さな木で少しずつ直していく仕組みを、動かして確かめる
勾配ブースティング（こうばいブースティング）回帰は、「予測のずれ」を小さな決定木で少しずつ直していくことで、数値を予測する手法です。たとえば「気温から明日の来店数を予測する」「過去の実績から商品の需要を予測する」といった場面で使われます。一度に正解を出そうとせず、少しずつ直す作業を何十回、何百回も重ねるのが特徴です。下のデモで、予測の線が実際のデータに寄っていく様子を見てみましょう。
動かして確かめる
上の図の点は、ある日の「気温」（横軸）と「来店数」（縦軸）です。青い丸が予測の練習に使うデータ（学習用）、オレンジの輪が練習に使わず取っておいた答え合わせ用のデータ（テスト用）です。黄色い太い線が、現在の予測です。まずは「再生」を押してください。
上：データと、いまの予測線
● 学習用 ○ テスト用 ━ いまの予測 ┄ 本当の傾向（「真の形を表示」で出ます）
下：予測とのずれ（残差）と、それを直す小さな木
▮ 実際のほうが多い（予測が足りない） ▮ 実際のほうが少ない（予測が多すぎる） ━ 今回の小さな木
青い線＝学習用の誤差、オレンジの線＝テスト用の誤差（どちらも小さいほど良い）。縦の点線が、テスト用の誤差が最も小さかったラウンドです。
何が起きているのか：「ずれを直す」の繰り返し
勾配ブースティング回帰がやっていることは、次の流れの繰り返しです。デモでは、1回の繰り返しを「1ラウンド」と呼んでいます。
- 最初の予測は「全体の平均」：どの日についても、とりあえず来店数の平均を予測にします。（デモの最初の、横一直線の黄色い線）
- 予測と実際の差（残差）を計算する：実際の来店数から予測を引いた値です。足りない日はプラス、多すぎる日はマイナスになります。（デモの下の図の縦棒）
- 残差を当てる小さな木を作る：「気温がこのくらいなら、ずれはこのくらい」を階段状に表す、浅い決定木です。（デモの下の図の紫の階段）
- 学習率をかけて、少しだけ足す：木の答えをそのまま足さず、0.1などの「学習率」をかけて小さくしてから予測に足します。（デモの上の図で、黄色い線が少しだけ動くところ）
足した後は残差が少し縮みます。縮んだ残差に対してまた小さな木を作り、また少しだけ足す……を繰り返すと、予測線がだんだんデータの形に寄っていきます。1本1本の木は「ざっくりした階段」にすぎませんが、何十本も重ねると、なめらかな曲線も表せるのが強みです。
「勾配」という名前の理由：予測のずれを二乗して測る場合、ずれをいちばん速く小さくできる向きは、ずれ（残差）そのものと一致します。つまり、残差を直すことは「誤差を減らす向き（勾配の逆向き）へ一歩進む」ことと同じです。そのため、この手法を勾配ブースティングと呼びます。
使うときの注意点
- 学習率が小さいほど、安定しますが回数が要ります。デモで学習率を0.05と1.0で比べてみてください。1.0だと一気に近づきますが、データのばらつきにも振り回されます。0.05だとゆっくりですが、なめらかに寄っていきます。
- 回数を増やしすぎると、ノイズまで覚えてしまいます（過学習）。グラフの青い線（学習用）は下がり続けますが、オレンジの線（テスト用）はある回数を過ぎると上がり始めます。練習用のデータの偶然のばらつきまで「覚えた」ためです。「ノイズ大」にすると、はっきり見えます。
- 止める回数は、取っておいた検証データで決めます。テスト用の誤差が最小になったところで止める方法で、「早期終了（アーリーストッピング）」と呼ばれます。学習に使ったデータだけで誤差を見ていると、止めどきが分かりません。
- データの範囲の外は、予測できません。木は「ここからここまでは同じ値」という階段なので、練習データより暑い（寒い）日の予測は、端の階段の値のまま一定になります。「もっと暑くなれば、もっと増える」といった外への延長（外挿）は苦手です。
- 木の深さも効きます。深さ1は「1か所で分けるだけ」の単純な階段で、深さ3だと細かく分けられます。細かく分けられるほど、少ない回数でデータに寄れますが、ノイズも拾いやすくなります。
中小企業での使いどころ
気温・曜日・天気・イベントの有無などから、来店数や売上、商品の需要を予測する場面に向いています。表形式の業務データ（エクセルで管理しているような数字の表）に強く、実務ではXGBoost（エックスジーブースト）やLightGBM（ライト・ジービーエム）といった、この手法を高速・高精度にした道具がよく使われます。
予測が当たれば、仕入れの量やシフトの人数を前もって決められ、欠品や廃棄を減らす助けになります。ただし、予測は「過去の傾向の延長」です。大きな制度変更や新しい競合店の出現など、過去にない出来事は読めません。数字は判断の材料にとどめ、最後は現場を知る人が決めるのが安全です。
関連記事
ご相談
自社のデータで需要予測や売上予測を試したい、AIで業務を自走化したい——そうした相談は、AIエージェント自走化プログラムまたはお問い合わせからどうぞ。
