連続的な確率変数

Prerequisite

離散的な確率変数

離散的な値をとる確率変数の議論を連続的な確率変数 $X$ に拡張しよう．
連続な場合，標本空間に含まれる事象の数（濃度）は連続無限である．
それゆえに各事象の総和をとったときに発散してしまい $\sum_iP(X=x_i)=1$ を満たせなくなる．
またデータ数をどれだけ増やしてもたかだか可算なので全ての事象の統計的確率は求められない（ほとんど全ての事象に対して確率が $0$ になる）．
しかしながら標本空間を有限個の領域 $\Omega_1,\cdots,\Omega_n$ に分けて連続な確率変数 $X$ のとる値がある領域 $\Omega_i$ に入る確率 $P(X\in\Omega_i)$ は定められる．

簡単のため標本空間を実数 $\mathbb{R}$ とする．
確率変数 $X$ がある実数 $x$ 以下である確率を $\mathsf{P}(X\leq x)$ とおく．
確率変数 $X$ が区間 $[x_0,\,x_1]$ に入る確率は

で計算できる．
この形を見て $\mathsf{P}(X\leq x)$ がある函数 $p(x)$ の原始函数になっているとみて

と書き換える．
$\mathsf{P}(X\leq x)$ が $x$ の単調非減少函数であることから

である．
また $\mathsf{P}(X\leq +\infty)=1$ なので

確率密度関数の規格化条件

を満たす．
この $p(x)$ を確率密度函数といい，この積分条件を規格化条件 (normalization condition) という
統計力学で登場するのはこの確率密度函数である．

$X$ が区間 $[x_0,x_1]$ に入る確率は，

で求められる．
積分変数を $x=f(y)$ によって変換すると全確率は，

となるので変数 $y$ でみたときの確率密度は $p'(y) := |f'(y)|\cdot p(f(y))$ でありJacobianが付くことに注意する．

2つの確率変数 $X,\,Y$ については離散的な場合と類似の関係式，

が成り立つ．
また条件付き確率，

が定義される．
$p(y|x)$ が2つの確率変数 $X,\,Y$ について

となるとき $X$ と $Y$ は統計的独立という．

期待値と分散も離散的な場合と同様に

で定義する．
離散的な場合と同様に期待値の計算は線型である：2つの函数 $f,\,g$ と実数 $\alpha,\,\beta$ に対し

多変数 $X_1,\cdots,\,X_N$ の場合には共分散を

と定義できる．
ここで $\mu_i:=\mathsf{E}[X_i]$ は平均．

統計学，物理学において最も重要な確率密度函数であるGauss分布，または正規分布 (normal distribution) ：

を例にあげよう．
ここで $\mu,\,\sigma$ は正の定数．
まず平均は

第1項は規格化条件より $\mu$ に等しく，第2項は被積分函数が奇函数なので $0$ である．
よって $\mathsf{E}[x]=\mu$ ．
次に分散はGauss積分の公式

を用いて定義から計算すると，

Gauss分布の2つのパラメータ $\mu,\,\sigma$ について補足しおく．
Gauss分布は山型のピークをもったグラフとなる．
$\mu$ はそのピークの位置に等しくグラフの並進移動を制御する．
ピークの幅はおよそ $2\sigma$ に等しく，ピークの高さは $1/\sqrt{2\pi\sigma}$ である．
したがって $\sigma$ が小さいととピークは高く鋭くなり，大きいとピークは低くなだらかになる．
これは全確率が $1$ に等しいことを保つためである．

Problems

$\textsc{Problem1.}$

多変数Gauss分布:以下の多変数 $X_1,\cdots,\,X_N$ に対する確率密度函数の平均，共分散を求めよ

ただし $\boldsymbol{\mu}$ は定ベクトル， $\Sigma$ は対称かつ正定値（固有値が全て正）な行列．

$\textsc{Solution.}$

まず平均は，

第1項は被積分函数が奇函数なので $0$ ，第2項は規格化条件により $\mu_i$ に等しい．
よって $\mathsf{E}[X_i]=\mu_i$ ．

次に共分散は定義より，

期待値の定義より，

Gauss積分を計算するためには一度 $\Sigma^{-1}$ を対角化するような変数 $\boldsymbol{y}$ へ移る必要がある．
$\Sigma^{-1}$ は対称行列なので直交行列 $O$ （ $O^{-1}=O^{\mathrm{T}}$ かつ $\mathrm{det}\,O=1$ ）で対角化可能である，