平均(期待値)と分散について

機械学習やデータ分析を行っていると「平均」や「期待値」と言う言葉を聞くかと思います。
私が学生時代の頃はわかっているようでわかっていませんでした。なので、この記事では「平均」について説明します。

平均について

平均と期待値は「同じ」です。機械学習ではよく「平均」と呼ぶことが多いので本ブログでは「平均」と呼びます。Wikipediaには「期待値は、確率変数の実現値を、 確率の重みで平均した値である。」と記述されています・・・わかりづらいですね(笑)なので、以下の例題を用いて説明します。

例題
サイコロのでる目を得点とします。サイコロのでる目の得点の平均はいくらか。

 

サイコロのでる目は6通りあります。得点を確率変数\(X\)とするとサイコロのでる目の確率は以下の通りです。
\begin{eqnarray*}
P(X = i) = \frac{1}{6},\ (i = 1,2,3,4,5,6)
\end{eqnarray*}
Wikipediaには「期待値は、確率変数の実現値を、 確率の重みで平均した値である。」と記載されています。なので、確率変数の実現値とその確率を掛け算しましょう。
\begin{eqnarray*}
i \times P(X = i) = i \times \frac{1}{6},\ (i = 1,2,3,4,5,6)
\end{eqnarray*}
そして、それらを足し合わせます。
\begin{eqnarray*}
1 \times \frac{1}{6} + 2 \times \frac{1}{6} + 3 \times \frac{1}{6} + 4 \times \frac{1}{6} + 5 \times \frac{1}{6} + 6 \times \frac{1}{6} \ = \ 3.5
\end{eqnarray*}
この「3.5」がサイコロのでる目の得点の平均です。サイコロのでる目の得点は「大体3.5」になる、もしくは理論上「3.5」になるということです。サイコロを何度も繰り返し投げて得られた得点は「3.5」に収束します。
\(X\)の平均は記号で\(E(X)\)と記述します。今回の場合だと、\(E(X)=3.5\)となります。

平均
平均は「理論上の値」。算出方法は「確率変数の実現値とその確率を掛け合わせた和」。式は以下の通り。
\begin{eqnarray*}
E(X) = \sum_{i}i \times P(X=i)
\end{eqnarray*}



ということは、サイコロのでる目の得点は3.5なのか・・・
各目のでる確率は等しいので、サイコロのでる目の得点は3.5にはなりません。あくまで平均です。
平均になりやすいかどうかを表現するものが「分散」です。

分散について

分散とは「起こり得る値(平均)のばらつき」です。サイコロのでる目とその確率のグラフを見てみましょう。

当然かもしれませんが各目のでる確率は等しいです。ということは、得点が1になる確率と6になる確率は同じです。今回の場合だと、平均の3.5になりやすいというわけではありません。
分散の算出方法は以下の通りです。
\begin{eqnarray*}
V(X)=E(X^2)-E(X)^2
\end{eqnarray*}
これが\(X\)の分散の算出方法です。
サイコロの出る目の得点の分散は以下の通りです。
\begin{eqnarray*}
V(X) &=& E(X^2)-E(X)^2 \\
&=& (1^2 \times \frac{1}{6} + 2^2 \times \frac{1}{6} + 3^2 \times \frac{1}{6} + 4^2 \times \frac{1}{6} + 5^2 \times \frac{1}{6} + 6^2 \times \frac{1}{6}) \ – \ 3.5^2 \\
&=& \frac{91}{6} \ – \ 3.5 \\
&=& \frac{35}{3}
\end{eqnarray*}
分散が0に近いほど平均に近い値になりやすいです。

分散
分散は「起こり得る値(平均)のばらつき」。算出方法は以下の通り。
\begin{eqnarray*}
V(X)=E(X^2)-E(X)^2
\end{eqnarray*}

SNSでもご購読できます。

コメントを残す