エントロピーとは？情報量の考え方と機械学習での使いどころを実装目線で解説

エントロピーは、情報理論では「ある事象を知ったときに得られる情報の量の平均」を表す尺度です。起こりにくい珍しい出来事ほど、それを知ったときの情報量は大きくなり、逆にほぼ確実に起こる出来事を知っても情報量はほとんど増えません。この情報量を、起こりうる全事象について確率で重み付けして平均したものがエントロピーで、値が大きいほど結果が読みにくい、つまり不確実さが高い状態を意味します。本記事では、自己情報量とlog2・bitでの測り方、平均情報量としてのシャノンエントロピーの定義、混同されやすい熱力学エントロピーとの違いを整理したうえで、決定木の分岐を決める情報利得、分類モデルの損失となる交差エントロピー、KLダイバージェンスや言語モデルのパープレキシティまで、機械学習の実装でエントロピーがどこに現れるのかを、実装する側の目線でたどります。

まとめ：エントロピーが表す平均情報量と機械学習で押さえる結論

エントロピーの核心は、確率分布の不確実さを一つの数値で表す点にあります。すべての結果が同じ確率で起こる状態が最も読みにくく、このときエントロピーは最大です。逆に、ある結果がほぼ確実に起こるなら不確実さは小さく、エントロピーはゼロに近づきます。単位はlog2を使えばbitとなり、たとえば表裏が同じ確率のコイン投げは1bit、目の出方が等確率のサイコロは約2.58bitです。この「散らばりを測る物差し」という性質が、そのまま機械学習の道具になります。

実装する側の結論を先に述べます。エントロピーは概念として独立して覚えるより、機械学習のどこで使われているかとセットで押さえるのが近道です。決定木では、分岐の前後でエントロピーがどれだけ下がるか（情報利得）を見て分割条件を選びます。分類モデルの学習で使うのは、正解の分布とモデルの予測分布のずれを測る交差エントロピーです。これを損失として小さくするよう重みを調整していきます。二つの分布の隔たりそのものを測るのがKLダイバージェンス、言語モデルの生成品質を測るのがエントロピーを指数化したパープレキシティです。名前は違っても、いずれも「確率分布の不確実さや隔たりを情報量で測る」という同じ発想の上に立っています。実装でつまずかないために力を注ぐべきは、公式を暗記することではなく、いま扱っている指標がどの分布の不確実さを測っているのかを取り違えないことです。

エントロピーとは何か、情報理論における平均情報量としての基本の考え方

エントロピーを理解する出発点は、一つの事象が持つ情報量です。情報量の考え方をつかめば、それを平均したものがエントロピーだという流れが自然に見えてきます。まずは情報量の測り方から順にたどります。

珍しい事象ほど大きくなる自己情報量と、log2・bitでの測り方

情報理論では、ある事象が起こったと知ったときに得られる情報の量を自己情報量と呼びます。考え方の軸は一つです。起こる確率が低い事象ほど、それを知ったときの情報量は大きいとみなします。「明日この地域で地震が起きた」という知らせは、確率が低いぶん大きな情報量を持ちます。「明日も太陽が昇る」という、ほぼ確実な知らせの情報量はほとんどゼロです。これを式で表すと、確率pの事象の自己情報量は −log(p) となり、対数の底に2を選ぶと単位はbitになります。確率が2分の1の事象は1bit、4分の1なら2bit、8分の1なら3bitです。確率が半分になるごとに情報量が1bitずつ増える、という関係が対数を使う理由で、複数の独立な事象の情報量を足し算で合成できる扱いやすさにつながっています。コンピュータが情報を0と1で表すことと、この2を底とするbitという単位は地続きの発想です。

平均情報量としてのシャノンエントロピーの定義と、計算のイメージ

自己情報量は個々の事象一つに対する値でした。これを、起こりうるすべての事象について、それぞれの発生確率で重み付けして平均したものがエントロピーです。1948年にクロード・シャノンが定義したことから、シャノンエントロピーとも呼ばれます。式で書けば、各事象の確率pに自己情報量 −log2(p) を掛けて全事象で足し合わせた H = −Σ p・log2(p) となります。直感的には、その確率分布から結果を一つ引いたとき、平均してどれだけ「意外さ」があるかを表す量です。表裏が等確率のコイン投げは、どちらが出るか半々で読めないため、エントロピーは最大の1bitになります。ゆがんだコインで表が出る確率が0.9まで偏ると、結果はほぼ表と読めるため不確実さは下がり、エントロピーは約0.47bitまで小さくなります。片方の確率が1、つまり結果が確定している分布では、意外さがまったく無いためエントロピーはゼロです。取りうる結果の数が同じなら、確率が均一に散らばっているときにエントロピーは最も大きく、どこかに偏るほど小さくなる、というのが最も押さえておきたい性質です。

混同されやすい熱力学エントロピーと情報エントロピーの関係の整理

エントロピーという言葉は、もともと熱力学で物質の乱雑さや拡散の度合いを表す量として使われてきました。情報理論のエントロピーは別物のように見えますが、数式の形がよく似ており、どちらも「取りうる状態の散らばり具合」を測る点で発想を共有しています。熱力学では気体分子が取りうる微視的な状態の多さを、情報理論では確率変数が取りうる結果の不確実さを対象にする、という違いです。機械学習で登場するのは、断らないかぎり情報理論のエントロピー、つまり確率分布の不確実さを測るほうだと考えて差し支えありません。検索で「エントロピー」を調べると熱力学と情報理論の解説が混在しますが、決定木や損失関数の文脈で出てくるエントロピーはすべて後者です。両者を同じ土俵で比べようとすると混乱するため、本記事では以降、確率分布の不確実さを測る情報エントロピーだけを扱います。

機械学習でエントロピーが現れる場所と、それぞれが測っている不確実さ

エントロピーは、機械学習のいくつもの場面に姿を変えて登場します。ここでは代表的な三つ、決定木の分岐・分類の損失・分布間の隔たりを取り上げ、それぞれが何の不確実さを測っているのかを対応づけます。

決定木の分割基準となる情報利得と、エントロピーが下がる分岐の選び方

決定木は、データを条件で枝分かれさせて予測へたどり着く手法です。その分岐条件を決める物差しの一つがエントロピーになります。分岐前のデータには複数のクラスが混ざっており、この混ざり具合がエントロピーの高さです。ある特徴量で二つに分けたとき、分割後の各グループのエントロピーを、グループの大きさで重み付けして平均します。分割前のエントロピーから、この分割後の平均エントロピーを引いた差が情報利得です。情報利得が大きい分割ほど、混ざっていたデータが純粋なグループへときれいに分かれたことを意味します。決定木の学習は、この情報利得が最も大きくなる分割条件を全特徴量から探して採用し、それを各ノードで繰り返す処理にほかなりません。ID3やC4.5といった初期のアルゴリズムはこの情報利得を分岐の基準に用いました。分岐指標としてのエントロピーの働きや、計算がやや軽いジニ不純度との使い分けをさらに詳しく知りたい場合は、決定木分析の仕組みと不純度による分岐の選び方を解説した記事を確認すると、エントロピーが予測モデルの中でどう機能するかが具体的につかめます。

分類モデルの損失となる交差エントロピーと、予測分布のずれを測る役割

分類問題を解くニューラルネットワークは、入力に対して各クラスの予測確率を出力します。この予測分布が、正解の分布からどれだけずれているかを測る損失関数が交差エントロピー、いわゆるクロスエントロピー誤差です。正解が「クラスAである」なら、正解の分布はクラスAの確率が1で他がゼロという形です。交差エントロピーは、正解のクラスに対してモデルが与えた予測確率が高いほど小さく、低いほど大きくなる損失で、正解を自信を持って当てれば損失が下がり、外せば大きなペナルティを受けます。学習では、この交差エントロピー損失を小さくする方向へネットワークの重みを更新するのが基本の流れです。損失を各重みでどう調整するかを計算して逆向きに伝える仕組みは、誤差逆伝播法による勾配の計算と重み更新の流れを解説した記事で扱っています。エントロピーという同じ言葉でも、決定木の分岐で使うのは一つの分布の不確実さ、分類の損失で使う交差エントロピーは正解分布と予測分布という二つの分布のずれ、と測っている対象が違う点は取り違えやすいので注意してください。

二つの分布の隔たりを測るKLダイバージェンスと相互情報量の位置づけ

交差エントロピーと近い場所に、KLダイバージェンスという指標があります。これは、正解の分布とモデルの予測分布が、どれだけ離れているかそのものを測る量です。交差エントロピーは、正解分布そのものが持つエントロピーに、このKLダイバージェンスを足した形になっており、正解分布のエントロピーは学習中に動かないため、交差エントロピーを小さくすることはKLダイバージェンスを小さくすること、つまり予測分布を正解分布へ近づけることと同じ意味です。もう一つ、相互情報量という指標も情報理論から機械学習へ持ち込まれています。これは二つの変数がどれだけ情報を共有しているか、片方を知るともう片方の不確実さがどれだけ減るかを測る量で、特徴量の選択や変数間の関連の強さを測る場面で使われます。いずれもエントロピーを土台にした派生指標で、確率をどう見積もるかという点では確率論の基礎とも地続きです。条件付き確率の考え方は、ベイズの定理による事後確率の更新を解説した記事もあわせて読むと理解が深まります。

企業の機械学習実装でエントロピーをどう扱うかの見極めとパープレキシティ

ここからは概念の解説から一歩進め、実装者がエントロピー系の指標とどう向き合うべきかを示します。要点は、分類指標の選び方と、言語モデルの評価に使うパープレキシティの読み方の二つです。順に見ていきます。

交差エントロピー損失とジニ不純度、実装でどの指標を選ぶかの見極め

実装で迷いやすいのが、似た働きをする指標のどれを選ぶかです。まず、ニューラルネットワークによる分類なら、損失関数は交差エントロピーがほぼ既定の選択になります。予測確率の当たり外れに対して勾配がなだらかに効き、学習が安定して進むためで、二乗誤差を分類に使うより収束が素直です。一方、決定木やランダムフォレストの分岐基準では、エントロピーとジニ不純度のどちらを選んでも、最終的な予測精度に大きな差が出ることは少ないとされます。ジニ不純度は対数計算を含まないぶん計算がやや軽く、多くのライブラリで既定になっています。実務では、まず既定のジニ不純度で試し、精度が伸び悩んだときに交差検証でエントロピー基準も比べる、という順序が現実的です。ここで見送りたいのは、指標の理論的な優劣にこだわって選定に時間をかけすぎる進め方になります。分岐指標の差より、木の深さや葉のサンプル数といった過学習を抑える調整のほうが精度への影響がはるかに大きく、指標選びは大勢が決まったあとの微調整と位置づけるのが妥当です。取り違えを避けるうえでは、いま計算している指標が一つの分布の不確実さ（エントロピー・ジニ不純度）なのか、二つの分布のずれ（交差エントロピー）なのかを、実装の各所で意識しておくと迷いが減ります。

言語モデルの生成品質を測るパープレキシティと、エントロピーとの関係

大規模言語モデルの評価指標としてよく登場するパープレキシティも、エントロピーから直接導かれる量です。パープレキシティは、モデルが次の単語をどれだけ迷わずに予測できているかを表し、交差エントロピー損失を指数の肩に乗せた形で計算されます。値が小さいほど、モデルは次に来る単語を絞り込めている、つまり予測が確信を持てている状態を意味します。直感的には「モデルが次の単語の候補を平均して何通りに絞れているか」と読むことができ、パープレキシティが10なら平均10通り程度の候補から選んでいるイメージです。言語モデルの学習や比較では、このパープレキシティが下がっていくかを一つの目安にします。ただし、パープレキシティが低いことと、人間にとって自然で有用な文が生成されることは完全には一致しないため、実運用ではタスクに即した評価と併用する判断が要ります。自社の業務データで分類モデルや言語モデルを設計し、損失関数の設計から過学習の抑制、評価指標の読み方までを含めて任せたい場合は、機械学習・ディープラーニングの受託開発を手がける一創の機械学習モデル開発にご相談ください。指標の選定とモデルの調整の両面から、業務で使えるモデルづくりを支援します。

エントロピーの意味・計算と機械学習での使いどころに関するよくある質問

エントロピーについてよく検索される疑問に、情報理論と実装の目線で簡潔に答えます。

エントロピーとは簡単に言うと何ですか？

ある事象を知ったときに得られる情報の量を、起こりうる全事象で平均した値です。結果が読みにくく不確実なほどエントロピーは大きく、ほぼ確実に決まっているほど小さくなります。表裏が半々のコイン投げは最も読めないためエントロピーが最大、必ず表が出るコインはゼロです。ひとことで言えば、確率分布の散らばり具合を一つの数値で表した尺度です。

情報エントロピーと熱力学のエントロピーは同じものですか？

由来は別ですが、取りうる状態の散らばりを測るという発想を共有し、数式の形もよく似ています。熱力学は分子が取りうる状態の多さ、情報理論は確率変数の不確実さを対象にする違いがあります。機械学習で断りなくエントロピーと言えば、確率分布の不確実さを測る情報理論のほうを指すと考えて問題ありません。

エントロピーの単位であるbitは何を表していますか？

情報量を対数の底2で測ったときの単位がbitです。確率が2分の1の事象は1bit、4分の1なら2bitで、確率が半分になるごとに1bitずつ増えます。表裏が等確率のコイン投げのエントロピーがちょうど1bitで、これは結果を伝えるのに最低1桁の0か1が要ることに対応します。コンピュータが情報を2進で扱うことと同じ発想の単位です。

交差エントロピーと普通のエントロピーはどう違いますか？

普通のエントロピーは一つの確率分布が持つ不確実さを測る量です。交差エントロピーは、正解の分布とモデルの予測分布という二つの分布を比べ、予測が正解からどれだけずれているかを測ります。分類モデルの学習では、この交差エントロピーを損失として小さくする方向に重みを調整します。測っている対象が一つの分布か、二つの分布のずれか、という点が違いです。

決定木でエントロピーはどのように使われますか？

データを分割する条件を選ぶ基準として使われます。分割前のエントロピーから、分割後の各グループのエントロピーの加重平均を引いた差が情報利得です。決定木は、この情報利得が最も大きくなる条件を選びます。情報利得が大きいほど、混ざっていたデータが純粋なグループへきれいに分かれた合図です。この分岐選びを各ノードで繰り返して木を育てます。

関連記事

• 決定木分析とは？分類木・回帰木の仕組みと過学習を防ぐ剪定を実装目線で解説：エントロピーが情報利得として分岐選びに使われる様子を具体的に知りたい方へ。
• 誤差逆伝播法とは？勾配計算と重み更新の流れを実装目線で解説：交差エントロピー損失をどう最小化して学習が進むかを追いたい方へ。
• ニューラルネットワークとは？仕組み・種類・学習方法を実装目線で解説：交差エントロピーを損失に使う分類モデルの土台を押さえたい方へ。
• ベイズの定理とは？事後確率の更新と実務での使いどころを解説：エントロピーの土台になる確率の考え方を整理したい方へ。