コラム 統計検定1級のための数学道具箱

このコラムの目的

統計検定1級の確率・統計では、確率分布の公式だけでなく、その背後にある数学を使って式を変形します。 特に必要になるのは、次の道具です。

• 集合と数え上げ
• 数列、級数、テイラー展開
• 1変数の微分・積分
• 偏微分、重積分、ヤコビアン
• ベクトル、行列、固有値、二次形式
• ガンマ関数、ベータ関数
• 制約付き最適化

このコラムでは、高校数学の範囲を越える内容について、できるだけ定義または直前の式から導きます。 目的は証明を暗記することではなく、統計の問題で「なぜこの操作を使うのか」を判断できるようになることです。

数式が苦手なときは、記号を日本語へ戻す

数式は一度に全体を理解しようとせず、記号を短い日本語へ置き換えます。 例えば、

$$P(a\leq X\leq b)=\int_a^b f(x)\,dx$$

は、「確率変数 $X$ が $a$ から $b$ に入る確率は、その区間で密度を足し合わせた面積である」と読みます。

記号	読み方	統計での役割
$\sum$	離れた値を足す	離散分布の確率・期待値
$\int$	連続的に足す	連続分布の確率・期待値
$d/dx$	入力を少し動かしたときの変化	密度、最適化、母関数
$\partial/\partial x$	ほかを固定した偏微分	多変量密度、尤度、Fisher情報量
$\mathbf x,\boldsymbol\Sigma$	ベクトル、共分散行列	多変量正規分布、二次形式
$\Gamma, B$	ガンマ関数、ベータ関数	分布の正規化、積率

各章との対応

ブログ記事	主に使う数学	直接移動
第一章 事象と確率	集合、数え上げ、条件の分割	第一章へ
第二章 確率分布と期待値	級数、微積分、変数変換	第二章へ
第三章 さまざまな確率分布	ガンマ・ベータ関数、近似、標本分布	第三章へ
第四章 多次元確率変数	偏微分、ヤコビアン、行列、二次形式	第四章へ
第五章 標本分布とその近似	Taylor展開、極限、ガンマ関数、直交分解	第五章へ

1. 集合・論理・数え上げ

集合演算を確率へ翻訳する

事象 $A,B$ に対して、

集合の記号	意味	確率での読み方
$A\cup B$	$A$ または $B$	少なくとも一方が起こる
$A\cap B$	$A$ かつ $B$	両方が起こる
$A^c$	$A$ の補集合	$A$ が起こらない
$A\setminus B$	$A$ だが $B$ でない	$A\cap B^c$

重複を二重に数えないようにすると、

$$P(A\cup B) =P(A)+P(B)-P(A\cap B)$$

です。

指示関数を使うと、この関係を点ごとに、

$$I_{A\cup B}=I_A+I_B-I_AI_B$$

と書けます。両辺の期待値を取れば、確率の加法公式が得られます。

De Morganの法則

「少なくとも1つ起こる」の反対は「すべて起こらない」です。

$$\left(\bigcup_{i=1}^n A_i\right)^c =\bigcap_{i=1}^n A_i^c$$

同様に、

$$\left(\bigcap_{i=1}^n A_i\right)^c =\bigcup_{i=1}^n A_i^c$$

です。 「少なくとも1回」の確率を余事象から求めるときに使います。

順列と組合せ

$n$ 個から順序を区別して $r$ 個を並べる方法は、

$${}_nP_r=n(n-1)\cdots(n-r+1) =\frac{n!}{(n-r)!}$$

通りです。

組合せでは、同じ $r$ 個を選んだ後の $r!$ 通りの並べ方を区別しません。 したがって、

$$\binom nr =\frac{{}_nP_r}{r!} =\frac{n!}{r!(n-r)!}$$

です。

二項定理と多項定理

$(a+b)^n$ を展開したとき、$a$ を $n-r$ 回、$b$ を $r$ 回選ぶ項は $\binom nr$ 個あります。 よって、

$$(a+b)^n =\sum_{r=0}^n\binom nr a^{n-r}b^r$$

です。

$k$ 個の項へ拡張すると、

$$(x_1+\cdots+x_k)^n = \sum_{n_1+\cdots+n_k=n} \frac{n!}{n_1!\cdots n_k!} \prod_{j=1}^k x_j^{n_j}$$

となります。 二項分布、多項分布、積率母関数の導出に直結します。

何の情報から何を学べるか

• 二値試行の成功数から、二項係数と成功確率を組み合わせた確率が得られる
• 非復元抽出では、母集団中の組合せを分母にして超幾何分布が得られる
• 複数カテゴリの個数から、多項係数を使ってカテゴリ構成の確率が得られる

2. 数列・級数・テイラー展開

有限和の記号

$$\sum_{i=1}^n x_i=x_1+\cdots+x_n$$

です。和には線形性があり、定数 $a,b$ に対して、

$$\sum_{i=1}^n(ax_i+by_i) =a\sum_{i=1}^n x_i+b\sum_{i=1}^n y_i$$

です。この性質が期待値の線形性と対応します。

等比級数の導出

$$S_n=1+r+r^2+\cdots+r^n$$

とおきます。両辺を $r$ 倍して引くと、

$$S_n-rS_n=1-r^{n+1}$$

なので、$r\neq1$ なら、

$$S_n=\frac{1-r^{n+1}}{1-r}$$

です。$|r|<1$ なら $n\to\infty$ で $r^{n+1}\to0$ なので、

$$\sum_{k=0}^{\infty}r^k=\frac1{1-r}$$

を得ます。 幾何分布の確率の総和や期待値計算で使います。

テイラー展開

十分滑らかな関数 $f$ を $x=a$ の近くで多項式に近似すると、

$$f(x) =f(a)+f'(a)(x-a) +\frac{f''(a)}{2!}(x-a)^2+\cdots$$

です。

なぜ係数に $k!$ が現れるのでしょうか。 多項式、

$$P(x)=c_0+c_1(x-a)+c_2(x-a)^2+\cdots$$

を $k$ 回微分して $x=a$ を代入すると、$k$ 次の項だけが $k!c_k$ を残します。 したがって、$P^{(k)}(a)=f^{(k)}(a)$ と合わせるには、

$$c_k=\frac{f^{(k)}(a)}{k!}$$

とすればよいことが分かります。

特に、

$$e^x=\sum_{k=0}^{\infty}\frac{x^k}{k!}$$ $$\log(1+x) =x-\frac{x^2}{2}+\frac{x^3}{3}-\cdots \qquad(|x|<1)$$

です。

指数関数の展開はポアソン分布の確率母関数、対数の展開は尤度や漸近近似に使われます。

近似で残差を意識する

1次近似は、

$$f(a+h)\approx f(a)+f'(a)h$$

です。2次まで使えば、

$$f(a+h) \approx f(a)+f'(a)h+\frac12f''(a)h^2$$

です。 デルタ法では1次項を、期待値の近似やバイアス補正では2次項まで使うことがあります。

デルタ法

確率変数 $X$ が平均 $\mu$ の近くに集中しているとき、1次のテイラー近似から、

$$g(X)\approx g(\mu)+g'(\mu)(X-\mu)$$

です。両辺の分散を取ると、定数項は分散に影響しないので、

$$\mathrm{Var}\{g(X)\} \approx\{g'(\mu)\}^2\mathrm{Var}(X)$$

を得ます。

さらに、

$$\sqrt n(\bar X-\mu) \xrightarrow{d}N(0,\sigma^2)$$

なら、同じ1次近似から、

$$\sqrt n\{g(\bar X)-g(\mu)\} \xrightarrow{d} N\left(0,\{g'(\mu)\}^2\sigma^2\right)$$

となります。オッズ、対数、比など、非線形な推定量の近似分散に使います。

INTERACTIVE

テイラー展開と近似誤差

展開次数を上げたとき、近似できる範囲と誤差がどう変わるかを比較します。

関数exp(x)sin(x)cos(x)展開次数

4

評価点 x

1.20

真の値

近似値

絶対誤差

関数とテイラー多項式を比較するグラフです。

3. 1変数の微分

微分の定義

関数 $f$ の $x$ における微分係数は、

$$f'(x) =\lim_{h\to0}\frac{f(x+h)-f(x)}{h}$$

です。 「入力を少し変えたとき、出力がどれくらい変わるか」を表します。

積の微分

$$\frac{f(x+h)g(x+h)-f(x)g(x)}{h}$$

の分子に $f(x+h)g(x)$ を足して引くと、

$$\frac{f(x+h)-f(x)}{h}g(x+h) +f(x)\frac{g(x+h)-g(x)}{h}$$

です。$h\to0$ とすれば、

$$(fg)'=f'g+fg'$$

を得ます。

合成関数の微分

$y=f(u)$、$u=g(x)$ のとき、変化量を分けると、

$$\frac{dy}{dx} =\frac{dy}{du}\frac{du}{dx}$$

です。 したがって、

$$\frac{d}{dx}f\{g(x)\} =f'\{g(x)\}g'(x)$$

です。 密度の変数変換、対数尤度、母関数の微分で頻出します。

対数微分

積やべき乗が多い正の関数 $L(\theta)$ は、対数を取ると計算しやすくなります。

$$\ell(\theta)=\log L(\theta)$$

なら、

$$\ell'(\theta) =\frac{L'(\theta)}{L(\theta)}$$

です。$L(\theta)>0$ なら、$L'(\theta)=0$ と $\ell'(\theta)=0$ は同じ停留点を与えます。 積で表された尤度が和へ変わるため、最尤推定で使います。

極値と2階微分

$f'(a)=0$ で、

• $f''(a)>0$ なら局所的な最小
• $f''(a)<0$ なら局所的な最大

です。 2次近似、

$$f(a+h)\approx f(a)+\frac12f''(a)h^2$$

で、$h^2\geq0$ であることから符号の意味が分かります。

凸関数とJensenの不等式

凸関数 $\varphi$ では、グラフが2点を結ぶ線分より下にあります。

$$\varphi\{tx+(1-t)y\} \leq t\varphi(x)+(1-t)\varphi(y) \qquad(0\leq t\leq1)$$

これを確率的な重みへ拡張すると、

$$\varphi(E[X])\leq E[\varphi(X)]$$

です。 例えば $\varphi(x)=x^2$ なら、

$$\{E[X]\}^2\leq E[X^2]$$

となり、$\mathrm{Var}(X)\geq0$ と同じ内容が得られます。

4. 1変数の積分

積分と確率

連続型確率変数では、密度の面積が確率です。

$$P(a<X\leq b)=\int_a^b f_X(x)\,dx$$

密度となる条件は、

$$f_X(x)\geq0, \qquad \int_{-\infty}^{\infty}f_X(x)\,dx=1$$

です。

置換積分の導出

$u=g(x)$ とし、$du=g'(x)dx$ と書けるとき、微小な幅の変換を補正して、

$$\int f\{g(x)\}g'(x)\,dx =\int f(u)\,du$$

です。

確率密度の変数変換で現れる、

$$f_Y(y)=f_X\{x(y)\}\left|\frac{dx}{dy}\right|$$

の絶対値は、幅を負にしないための補正です。

部分積分の導出

積の微分、

$$(uv)'=u'v+uv'$$

を積分すると、

$$uv=\int u'v\,dx+\int uv'\,dx$$

です。移項して、

$$\int u\,dv=uv-\int v\,du$$

を得ます。 ガンマ関数の漸化式、期待値の裾確率表示、正規分布の積率で使います。

広義積分

無限区間の積分は極限で定義します。

$$\int_0^\infty f(x)\,dx =\lim_{b\to\infty}\int_0^b f(x)\,dx$$

極限が有限値へ収束するときだけ、積分が存在します。 重い裾をもつ分布では、密度の積分は1でも期待値や分散が発散することがあります。

Leibnizの積分微分公式

$$H(t)=\int_{a(t)}^{b(t)}f(x,t)\,dx$$

を微分します。積分区間の変化と、被積分関数自体の変化を分けると、

$$\frac{dH}{dt} =f\{b(t),t\}b'(t) -f\{a(t),t\}a'(t) +\int_{a(t)}^{b(t)} \frac{\partial f(x,t)}{\partial t}\,dx$$

です。

上端が増えれば面積が増え、下端が増えれば面積が減るため、第2項には負号が付きます。 分布関数の微分、絶対偏差を最小にする中央値の証明、積分で定義された尤度の微分に使います。

5. 多変数微積分

偏微分

$f(x,y)$ を $x$ で偏微分するときは、$y$ を固定します。

$$\frac{\partial f}{\partial x} =\lim_{h\to0} \frac{f(x+h,y)-f(x,y)}{h}$$

例えば、

$$f(x,y)=x^2+xy+y^2$$

なら、

$$\frac{\partial f}{\partial x}=2x+y, \qquad \frac{\partial f}{\partial y}=x+2y$$

です。

勾配ベクトル

偏微分を並べた、

$$\nabla f = \begin{pmatrix} \partial f/\partial x_1\\ \vdots\\ \partial f/\partial x_p \end{pmatrix}$$

を勾配といいます。 微小変化 $d\mathbf x$ に対して、

$$df\approx(\nabla f)^\mathsf T d\mathbf x$$

なので、勾配は最も急に増加する方向を表します。

勾配の内積を単変量の微分へ戻す

単変量なら、$df\approx f'(x)\,dx$ です。多変量では、各偏微分と各入力の微小変化を掛けて、$\sum_i(\partial f/\partial x_i)dx_i$ と足します。$(\nabla f)^T d\mathbf x$ はこの総和を1行で書いたものです。

Hessian行列

2階偏微分を並べた行列、

$$\mathbf H_f = \begin{pmatrix} \dfrac{\partial^2f}{\partial x_1^2}&\cdots& \dfrac{\partial^2f}{\partial x_1\partial x_p}\\ \vdots&\ddots&\vdots\\ \dfrac{\partial^2f}{\partial x_p\partial x_1}&\cdots& \dfrac{\partial^2f}{\partial x_p^2} \end{pmatrix}$$

をHessian行列といいます。

多変数の2次近似は、

$$f(\mathbf x+\mathbf h) \approx f(\mathbf x) +(\nabla f)^\mathsf T\mathbf h +\frac12\mathbf h^\mathsf T \mathbf H_f\mathbf h$$

です。 最尤推定量の近似分散やFisher情報量の理解につながります。

Hessianの二次形式を単変量のTaylor展開へ戻す

単変量なら、$f(x+h)\approx f(x)+f'(x)h+f''(x)h^2/2$ です。Hessian $\mathbf H_f$ は $f''(x)$ を多変量化した表で、$\mathbf h^T\mathbf H_f\mathbf h$ は各方向の2階微分と交互作用をまとめた数です。

1. $\mathbf H_f\mathbf h$ で変化方向ごとの曲率を重み付けする。
2. 左から $\mathbf h^T$ を掛け、1個の2次変化量へ合計する。

Lagrangeの未定乗数法

制約、

$$g(\mathbf x)=c$$

の下で $f(\mathbf x)$ を極値化します。 制約面上では、許される移動方向 $d\mathbf x$ が、

$$(\nabla g)^\mathsf T d\mathbf x=0$$

を満たします。 極値では、その許される方向へ動いても $f$ が1次的に変化しないため、$\nabla f$ は $\nabla g$ と平行でなければなりません。

$$\nabla f=\lambda\nabla g$$

そこで、

$$L(\mathbf x,\lambda) =f(\mathbf x)-\lambda\{g(\mathbf x)-c\}$$

を作り、全変数で偏微分して0とおきます。 確率の総和が1という制約下の最適化などに使います。

重積分と積分順序

領域 $D$ 上の二重積分は、

$$\iint_D f(x,y)\,dx\,dy$$

です。 三角形の領域、

$$D=\{(x,y):0<x<y<1\}$$

なら、

$$\int_0^1\int_0^y f(x,y)\,dx\,dy$$

または、

$$\int_0^1\int_x^1 f(x,y)\,dy\,dx$$

と書けます。 先に領域を図示すると、積分範囲の取り違えを防げます。

ヤコビアン

変換、

$$u=g_1(x,y), \qquad v=g_2(x,y)$$

を考えます。小さな変化は、

$$\begin{pmatrix}du\\dv\end{pmatrix} \approx \begin{pmatrix} \partial u/\partial x&\partial u/\partial y\\ \partial v/\partial x&\partial v/\partial y \end{pmatrix} \begin{pmatrix}dx\\dy\end{pmatrix}$$

です。 この行列が微小な長方形の辺を変換し、その面積の倍率が行列式の絶対値になります。

逆変換 $x=x(u,v),y=y(u,v)$ を使うと、

$$dx\,dy = \left| \frac{\partial(x,y)}{\partial(u,v)} \right|du\,dv$$

です。したがって、

$$f_{U,V}(u,v) =f_{X,Y}\{x(u,v),y(u,v)\} \left| \frac{\partial(x,y)}{\partial(u,v)} \right|$$

となります。

INTERACTIVE

ヤコビアンと面積の変化

線形変換が格子と単位正方形をどう変形し、行列式が面積倍率になるかを確認します。

a

1.30

b

0.60

c

-0.20

d

1.10

det(A)

面積倍率 |det(A)|

向き

線形変換前後の格子と単位正方形を比較する図です。

6. 線形代数

ベクトルと内積

$$\mathbf x= \begin{pmatrix}x_1\\\vdots\\x_p\end{pmatrix}$$

に対して、内積は、

$$\mathbf x^\mathsf T\mathbf y =\sum_{i=1}^p x_i y_i$$

です。長さは、

$$\|\mathbf x\| =\sqrt{\mathbf x^\mathsf T\mathbf x}$$

です。

重み付き和、

$$Y=\mathbf a^\mathsf T\mathbf X$$

は、複数の確率変数を1つのスコアにまとめる線形結合です。

ベクトルの転置と内積を成分で計算する

単変量なら、$Y=aX$ です。例えば $\mathbf a=(2,-1)^T$、$\mathbf X=(X_1,X_2)^T$ なら、転置した $\mathbf a^T$ を掛け、$Y=2X_1-X_2$ と計算します。

「縦ベクトルを横向きにする → 同じ位置どうしを掛ける → 全部足す」が内積の計算順序です。

Cauchy–Schwarzの不等式

任意の実数 $t$ に対して、長さの二乗は非負なので、

$$\|\mathbf x-t\mathbf y\|^2\geq0$$

です。展開すると、

$$\|\mathbf y\|^2t^2 -2(\mathbf x^\mathsf T\mathbf y)t +\|\mathbf x\|^2\geq0$$

です。この2次式がすべての $t$ で非負となるには、判別式が0以下でなければなりません。

$$4(\mathbf x^\mathsf T\mathbf y)^2 -4\|\mathbf x\|^2\|\mathbf y\|^2 \leq0$$

したがって、

$$|\mathbf x^\mathsf T\mathbf y| \leq\|\mathbf x\|\|\mathbf y\|$$

です。確率変数を中心化した関数とみなすと、

$$|\mathrm{Cov}(X,Y)| \leq\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}$$

となり、$-1\leq\mathrm{Corr}(X,Y)\leq1$ が得られます。

行列積

$m\times p$ 行列 $\mathbf A$ と $p\times n$ 行列 $\mathbf B$ の積は、

$$(\mathbf A\mathbf B)_{ij} =\sum_{k=1}^p A_{ik}B_{kj}$$

です。 内側の次元 $p$ が一致する必要があります。

行列積を単変量の掛け算へ戻す

各行列が1行1列なら、行列積は普通の数の掛け算 $ab$ です。一般には、左行列の1行と右行列の1列を内積し、その値を出力の1要素に置きます。

1. 出力したい位置 $(i,j)$ を決める。
2. $A$ の第 $i$ 行と $B$ の第 $j$ 列を取り出す。
3. 対応要素を掛けて足す。

転置には、

$$(\mathbf A\mathbf B)^\mathsf T =\mathbf B^\mathsf T\mathbf A^\mathsf T$$

という性質があります。順序が逆になる点が重要です。

行列式

2次正方行列、

$$\mathbf A= \begin{pmatrix}a&b\\c&d\end{pmatrix}$$

の行列式は、

$$|\mathbf A|=ad-bc$$

です。 平面上の面積が線形変換で何倍になるかを表し、ヤコビアンと同じ役割を持ちます。

$|\mathbf A|=0$ なら、面積が0へつぶれる方向があるため逆変換できません。

逆行列の導出

$$\mathbf A^{-1} =\frac1{ad-bc} \begin{pmatrix}d&-b\\-c&a\end{pmatrix}$$

です。実際に掛けると、

$$\mathbf A \begin{pmatrix}d&-b\\-c&a\end{pmatrix} = \begin{pmatrix}ad-bc&0\\0&ad-bc\end{pmatrix}$$

なので、$ad-bc$ で割れば単位行列になります。

二次形式

$$q(\mathbf x)=\mathbf x^\mathsf T\mathbf A\mathbf x$$

を二次形式といいます。2次元なら、

$$q(x,y)=A_{11}x^2+(A_{12}+A_{21})xy+A_{22}y^2$$

です。

二次形式を単変量と2変量へ展開する

単変量なら、$q(x)=Ax^2$ です。2変量では、右から $\mathbf A\mathbf x$ を計算し、最後に左から $\mathbf x^T$ を掛けます。対称行列なら交差項は $2A_{12}xy$ になり、分散の式に現れる $2a_1a_2\operatorname{Cov}(X_1,X_2)$ と同じ構造です。

共分散行列 $\boldsymbol\Sigma$ に対して、

$$\mathbf a^\mathsf T \boldsymbol\Sigma\mathbf a =\mathrm{Var}(\mathbf a^\mathsf T\mathbf X) \geq0$$

です。このように、すべての $\mathbf a$ で二次形式が非負となる行列を半正定値行列といいます。

固有値と固有ベクトル

行列を掛けても向きが変わらず、長さだけが $\lambda$ 倍されるベクトル $\mathbf v$ を考えます。

$$\mathbf A\mathbf v=\lambda\mathbf v$$

移項すると、

$$(\mathbf A-\lambda\mathbf I)\mathbf v=\mathbf0$$

です。$\mathbf v\neq\mathbf0$ となる解が存在するには、$\mathbf A-\lambda\mathbf I$ が逆行列を持たない必要があります。 したがって、

$$|\mathbf A-\lambda\mathbf I|=0$$

を解いて固有値を求めます。

実対称行列では、互いに直交する固有ベクトルを選べます。 共分散行列を、

$$\boldsymbol\Sigma =\mathbf Q\boldsymbol\Lambda\mathbf Q^\mathsf T$$

と分解すると、$\mathbf Q$ の列が楕円の軸方向、$\boldsymbol\Lambda$ の対角成分が各方向の分散です。 これが主成分分析の数学的基礎です。

固有値分解を1次元の分散へ戻す

単変量なら、$\Sigma=\sigma^2$ だけで、固有値は $\sigma^2$、固有ベクトルは数直線の方向です。多変量では $\mathbf Q^T$ で相関した座標を回転し、$\boldsymbol\Lambda$ の対角に直交方向ごとの分散を並べ、$\mathbf Q$ で元の向きへ戻します。

INTERACTIVE

共分散行列・固有値・線形結合

共分散楕円の主軸と、選んだ方向への射影分散を同時に表示します。

標準偏差 σx

1.40

標準偏差 σy

0.80

相関 ρ

0.60

射影方向 θ

30°

共分散

固有値 λ1, λ2

射影分散 aᵀΣa

共分散楕円、固有ベクトル、線形結合の分布を示す図です。

トレース

正方行列の対角成分の和、

$$\mathrm{tr}(\mathbf A)=\sum_i A_{ii}$$

をトレースといいます。 共分散行列では、

$$\mathrm{tr}(\boldsymbol\Sigma) =\sum_{i=1}^p\mathrm{Var}(X_i)$$

なので、各変数の分散の総和です。

線形変換の平均と共分散

$$\mathbf Y=\mathbf A\mathbf X+\mathbf b$$

なら、期待値の線形性から、

$$E[\mathbf Y] =\mathbf A E[\mathbf X]+\mathbf b$$

です。

また、$\boldsymbol\mu=E[\mathbf X]$ とすると、

$$\mathbf Y-E[\mathbf Y] =\mathbf A(\mathbf X-\boldsymbol\mu)$$

なので、

$$\begin{aligned} \mathrm{Cov}(\mathbf Y) &=E[\{\mathbf A(\mathbf X-\boldsymbol\mu)\} \{\mathbf A(\mathbf X-\boldsymbol\mu)\}^\mathsf T]\\ &=\mathbf A E[(\mathbf X-\boldsymbol\mu) (\mathbf X-\boldsymbol\mu)^\mathsf T] \mathbf A^\mathsf T\\ &=\mathbf A\boldsymbol\Sigma\mathbf A^\mathsf T \end{aligned}$$

です。

$A\Sigma A^T$ を単変量の $a^2\sigma^2$ と比べる

単変量なら、$Y=aX+b$ に対して $\operatorname{Var}(Y)=a^2\sigma^2$ です。多変量では左の $\mathbf A$ が出力を作る重み、中央の $\boldsymbol\Sigma$ が入力のばらつき、右の $\mathbf A^T$ がもう一方の出力との組合せをそろえます。

マハラノビス距離

$$D^2 =(\mathbf x-\boldsymbol\mu)^\mathsf T \boldsymbol\Sigma^{-1} (\mathbf x-\boldsymbol\mu)$$

は、分散が大きい方向の差を小さく、分散が小さい方向の差を大きく評価します。 相関も補正するため、複数バイオマーカーの同時外れ値を考える基礎になります。

7. ガンマ関数とベータ関数

ガンマ関数

$\alpha>0$ に対して、

$$\Gamma(\alpha) =\int_0^\infty x^{\alpha-1}e^{-x}\,dx$$

と定義します。

部分積分で $u=x^\alpha$、$dv=e^{-x}dx$ とすると、

$$du=\alpha x^{\alpha-1}dx, \qquad v=-e^{-x}$$

です。境界項が0になるため、

$$\Gamma(\alpha+1) =\alpha\Gamma(\alpha)$$

を得ます。 $\Gamma(1)=1$ なので、正の整数 $n$ では、

$$\Gamma(n)=(n-1)!$$

です。

ベータ関数

$\alpha,\beta>0$ に対して、

$$B(\alpha,\beta) =\int_0^1 x^{\alpha-1}(1-x)^{\beta-1}\,dx$$

と定義します。 ベータ分布の正規化定数に現れます。

ベータ関数とガンマ関数の関係

積、

$$\Gamma(\alpha)\Gamma(\beta) =\int_0^\infty\int_0^\infty x^{\alpha-1}y^{\beta-1}e^{-(x+y)} \,dx\,dy$$

を考えます。

$$r=x+y, \qquad u=\frac{x}{x+y}$$

とおくと、

$$x=ru, \qquad y=r(1-u)$$

です。台は $r>0,0<u<1$ で、ヤコビアンの絶対値は $r$ です。 したがって、

$$\begin{aligned} \Gamma(\alpha)\Gamma(\beta) &=\int_0^\infty\int_0^1 (ru)^{\alpha-1} \{r(1-u)\}^{\beta-1} e^{-r}r\,du\,dr\\ &=\left\{ \int_0^\infty r^{\alpha+\beta-1}e^{-r}\,dr \right\} \left\{ \int_0^1 u^{\alpha-1}(1-u)^{\beta-1}\,du \right\}\\ &=\Gamma(\alpha+\beta)B(\alpha,\beta) \end{aligned}$$

です。よって、

$$\boxed{ B(\alpha,\beta) =\frac{\Gamma(\alpha)\Gamma(\beta)} {\Gamma(\alpha+\beta)} }$$

を得ます。

この関係から、ガンマ分布、ベータ分布、ベータ二項分布、Dirichlet分布の正規化や積率をまとめて扱えます。

INTERACTIVE

ガンマ分布とベータ分布

母数による密度の変化と、平均・分散・最頻値の位置を比較します。

分布ガンマ分布ベータ分布形状 α

2.50

率 β

1.20

平均

分散

最頻値

ガンマ分布またはベータ分布の密度曲線です。

8. 尤度・スコア・Fisher情報量の数学

尤度と対数尤度

観測値 $x_1,\ldots,x_n$ が独立で密度 $f(x;\theta)$ をもつとき、尤度は、

$$L(\theta)=\prod_{i=1}^n f(x_i;\theta)$$

です。対数尤度は、

$$\ell(\theta) =\log L(\theta) =\sum_{i=1}^n\log f(x_i;\theta)$$

です。 積が和へ変わり、微分しやすくなります。

スコア関数

まず1観測 $X$ に対する対数尤度を、

$$\ell_1(\theta)=\log f(X;\theta)$$

とします。そのスコア関数を、

$$U_1(\theta) =\frac{\partial\ell_1(\theta)}{\partial\theta}$$

といいます。 正則条件の下で、

$$E_\theta[U_1(\theta)]=0$$

です。

導出は、

$$\begin{aligned} E_\theta[U_1(\theta)] &=\int \frac{\partial}{\partial\theta} \log f(x;\theta) f(x;\theta)\,dx\\ &=\int \frac{1}{f(x;\theta)} \frac{\partial f(x;\theta)}{\partial\theta} f(x;\theta)\,dx\\ &=\frac{\partial}{\partial\theta} \int f(x;\theta)\,dx\\ &=\frac{\partial}{\partial\theta}1=0 \end{aligned}$$

です。微分と積分を交換できることが条件です。

独立な $n$ 観測では、標本全体のスコアは、

$$U_n(\theta)=\sum_{i=1}^nU_{1i}(\theta)$$

です。

Fisher情報量

1観測当たりのFisher情報量を、

$$I_1(\theta)=E_\theta[U_1(\theta)^2]$$

と定義します。$E[U_1]=0$ なので、スコアの分散でもあります。 独立な $n$ 観測では情報量が加わり、$I_n(\theta)=nI_1(\theta)$ です。

正則条件の下では、

$$I_1(\theta) =-E_\theta\left[ \frac{\partial^2\ell_1(\theta)} {\partial\theta^2} \right]$$

です。 情報量が大きいほど、対数尤度が真の母数付近で鋭く曲がり、母数を精密に推定しやすいと解釈できます。

情報科学・機械学習との接続

機械学習の式は、特別な数学だけでできているわけではありません。 このコラムで扱ったベクトル、行列、合成関数の微分、Taylor展開、固有値が組み合わさっています。

数学の道具	機械学習での役割
ベクトル・行列	特徴量、重み、ニューラルネットワークの一括計算
合成関数の微分	誤差逆伝播
勾配	損失が最も増える方向、更新方向の決定
Hessian	曲率、最適化の安定性、近似分散
固有値・固有ベクトル	PCA、学習の曲率、数値安定性
ヤコビアン	多出力関数の感度、変数変換、生成モデル
対数・指数	尤度、softmax、交差エントロピー
Taylor展開	デルタ法、最適化、局所近似

線形層は行列による変数変換である

$n$ 標本、$p$ 特徴量のデータ行列を $X\in\mathbb R^{n\times p}$、重みを $W\in\mathbb R^{p\times q}$ とすると、線形層は、

$$Z=XW+\boldsymbol 1\boldsymbol b^T$$

です。行列の形を追うと、

$$(n\times p)(p\times q)=n\times q$$

となります。 深層学習の実装でshape errorを防ぐには、数式の各行列の次元を併記する習慣が有効です。

線形層を1標本・1出力へ戻して読む

1標本・1出力なら、$z=\sum_{j=1}^p x_jw_j+b$ です。$XW$ は全標本についてこの重み付き和をまとめて計算し、$\boldsymbol1\boldsymbol b^T$ は同じバイアスを各標本へ足します。

1. $X$ の各行から1標本の特徴量を取る。
2. $W$ の各列と内積を取り、各出力を作る。
3. 対応するバイアスを足す。

誤差逆伝播は連鎖律を後ろから使う

1入力の簡単なモデルを、

$$z=wx+b, \qquad \widehat y=\sigma(z), \qquad L=L(y,\widehat y)$$

とします。重み $w$ による損失の微分は、

$$\frac{\partial L}{\partial w} =\frac{\partial L}{\partial\widehat y} \frac{\partial\widehat y}{\partial z} \frac{\partial z}{\partial w}$$

です。$\partial z/\partial w=x$ なので、出力側で計算した微分を入力側へ順に掛けて戻します。 これがbackpropagationです。

多層ネットワークでも原理は同じです。各層は、前向き計算で必要な中間値を保存し、後ろ向き計算で局所微分を掛けます。

勾配降下法は局所的な一次近似を使う

Taylor展開により、微小な更新 $\boldsymbol\delta$ に対して、

$$L(\boldsymbol\theta+\boldsymbol\delta) \approx L(\boldsymbol\theta) +\nabla L(\boldsymbol\theta)^T\boldsymbol\delta$$

です。勾配と逆向きに、

$$\boldsymbol\theta_{t+1} =\boldsymbol\theta_t-\eta\nabla L(\boldsymbol\theta_t)$$

と更新すれば、十分小さい学習率 $\eta$ では損失が減ることが期待されます。 学習率が大きすぎると近似が有効な範囲を飛び越え、小さすぎると収束が遅くなります。

Hessianは損失地形の曲率を表す

二次近似は、

$$L(\boldsymbol\theta+\boldsymbol\delta) \approx L(\boldsymbol\theta) +\nabla L^T\boldsymbol\delta +\frac12\boldsymbol\delta^TH\boldsymbol\delta$$

です。Hessian $H$ の固有値が大きい方向では損失が急に変わるため、同じ学習率でも更新が不安定になりやすくなります。 固有値が正と負の両方を持つ点は鞍点です。

学習時の二次近似を1パラメータへ戻す

パラメータが1個なら、$L(\theta+\delta)\approx L(\theta)+L'(\theta)\delta+L''(\theta)\delta^2/2$ です。勾配は傾き、Hessianは曲率です。多パラメータでは、$\boldsymbol\delta^TH\boldsymbol\delta$ が更新方向に沿った曲がり方を1個の数にまとめます。

PCAは固有値分解、実装ではSVDを使える

中心化したデータ行列を $X$ とすると、標本共分散行列は、

$$S=\frac{1}{n-1}X^TX$$

です。$S$ の固有ベクトルが主成分方向になります。 実装では、$X$ を特異値分解、

$$X=UDV^T$$

し、$V$ の列を主成分方向として求めることもできます。 特徴量数が多い場合や数値安定性を考えると、共分散行列を明示的に作らないSVDが有利な場合があります。

softmaxはlog-sum-expで安定に計算する

softmaxは指数関数を使うため、大きなスコアではオーバーフローが起こり得ます。 任意の定数 $c$ を引いても値は変わりません。

$$\frac{e^{z_k-c}}{\sum_j e^{z_j-c}} =\frac{e^{z_k}}{\sum_j e^{z_j}}$$

$c=\max_jz_j$ とすれば、最大の指数が1になり安定します。 対数尤度では、

$$\log\sum_j e^{z_j} =c+\log\sum_j e^{z_j-c}$$

というlog-sum-expを使います。

9. 統計検定1級での使い分け

問題の形	最初に選ぶ数学	確認する条件
少なくとも1回	補集合、De Morgan	独立性、試行回数
確率関数の総和	二項・多項定理、級数	台、収束範囲
密度の正規化・期待値	置換積分、部分積分	積分区間、収束
母関数から積率	級数、微分	0または1の近傍での存在
変数変換	逆変換、ヤコビアン	1対1性、逆像、変換後の台
多変量正規	行列積、逆行列、二次形式	共分散行列の正定値性
最尤推定	対数微分、偏微分	母数空間、端点、最大かどうか
漸近近似	テイラー展開、Hessian	標本サイズ、正則条件
制約付き最適化	Lagrange法	制約式、境界解

答案の基本形

1. 変数と台を書く
2. 使用する定理と条件を書く
3. 式を立てる
4. 微分・積分・行列計算を行う
5. 得られた値を確率・平均・分散などの意味へ戻す

10. 数学コラム確認問題

問題1：指示関数

事象 $A,B$ について、

$$I_{A\cup B}=I_A+I_B-I_AI_B$$

を用いて、$P(A\cup B)$ の公式を導いてください。

解答1

両辺の期待値を取ると、$E[I_A]=P(A)$、$I_AI_B=I_{A\cap B}$ より、

$$P(A\cup B) =P(A)+P(B)-P(A\cap B)$$

です。

問題2：二項係数の和

$$\sum_{r=0}^n\binom nr$$

を求めてください。

解答2

二項定理で $a=b=1$ とすると、

$$(1+1)^n =\sum_{r=0}^n\binom nr1^{n-r}1^r$$

なので、

$$\sum_{r=0}^n\binom nr=2^n$$

です。

問題3：等比級数の微分

$|s|<1$ で、

$$\sum_{k=0}^{\infty}s^k=\frac1{1-s}$$

を微分し、$\sum_{k=1}^{\infty}ks^{k-1}$ を求めてください。

解答3

収束半径の内部で項別微分すると、

$$\sum_{k=1}^{\infty}ks^{k-1} =\frac1{(1-s)^2}$$

です。幾何分布の期待値計算に使えます。

問題4：部分積分

$$\int_0^\infty xe^{-x}\,dx$$

を部分積分で求めてください。

解答4

$u=x,dv=e^{-x}dx$ とすると、$du=dx,v=-e^{-x}$ なので、

$$\begin{aligned} \int_0^\infty xe^{-x}\,dx &=[-xe^{-x}]_0^\infty +\int_0^\infty e^{-x}\,dx\\ &=0+1=1 \end{aligned}$$

です。

問題5：1変数の変数変換

$Y=e^X$ とします。$X$ の密度が $f_X(x)$ のとき、$Y$ の密度を求めてください。

解答5

逆変換は $x=\log y$、ヤコビアンは、

$$\left|\frac{dx}{dy}\right|=\frac1y$$

です。$y>0$ で、

$$f_Y(y)=f_X(\log y)\frac1y$$

です。

問題6：Leibnizの公式

$$H(t)=\int_0^t(x-t)^2f(x)\,dx$$

を $t$ で微分してください。

解答6

上端の境界項は $(t-t)^2f(t)=0$ です。被積分関数を偏微分すると、

$$\frac{\partial}{\partial t} \{(x-t)^2f(x)\} =-2(x-t)f(x)$$

なので、

$$H'(t) =-2\int_0^t(x-t)f(x)\,dx$$

です。

問題7：Hessian

$$f(x,y)=x^2+2xy+3y^2$$

の勾配とHessian行列を求めてください。

解答7

$$\nabla f =\begin{pmatrix}2x+2y\\2x+6y\end{pmatrix}$$ $$\mathbf H_f =\begin{pmatrix}2&2\\2&6\end{pmatrix}$$

です。

問題8：ヤコビアン

$$u=x+y, \qquad v=x-y$$

の逆変換と $|\partial(x,y)/\partial(u,v)|$ を求めてください。

解答8

連立して、

$$x=\frac{u+v}{2}, \qquad y=\frac{u-v}{2}$$

です。したがって、

$$\left| \frac{\partial(x,y)}{\partial(u,v)} \right| = \left| \begin{matrix}1/2&1/2\\1/2&-1/2\end{matrix} \right| =\left|-\frac12\right| =\frac12$$

です。

問題9：線形結合の分散

共分散行列が $\boldsymbol\Sigma$ の確率ベクトル $\mathbf X$ に対して、$Y=\mathbf a^\mathsf T\mathbf X$ の分散を求めてください。

解答9

$$Y-E[Y] =\mathbf a^\mathsf T (\mathbf X-E[\mathbf X])$$

なので、

$$\mathrm{Var}(Y) =\mathbf a^\mathsf T \boldsymbol\Sigma\mathbf a$$

です。

問題10：固有値

$$\mathbf A= \begin{pmatrix}2&1\\1&2\end{pmatrix}$$

の固有値を求めてください。

解答10

$$|\mathbf A-\lambda\mathbf I| = \left| \begin{matrix}2-\lambda&1\\1&2-\lambda\end{matrix} \right| =(2-\lambda)^2-1$$

です。これを0とおくと、

$$(2-\lambda)^2=1$$

より、

$$\lambda=3,1$$

です。両方正なので、$\mathbf A$ は正定値です。

問題11：ガンマ関数

$\Gamma(5)$ を漸化式から求めてください。

解答11

$$\Gamma(5) =4\Gamma(4) =4\cdot3\Gamma(3) =4\cdot3\cdot2\Gamma(2) =4!=24$$

です。

問題12：制約付き最適化

$x+y=1$ の下で $x^2+y^2$ を最小にしてください。

解答12

$$L(x,y,\lambda) =x^2+y^2-\lambda(x+y-1)$$

とおきます。

$$2x-\lambda=0, \qquad 2y-\lambda=0$$

より $x=y$ です。制約へ代入して、

$$x=y=\frac12$$

です。最小値は、

$$\left(\frac12\right)^2 +\left(\frac12\right)^2 =\frac12$$

です。

まとめ

• 集合と数え上げは、確率の事象と確率関数を組み立てる
• 級数とテイラー展開は、母関数と漸近近似を支える
• 微分は最適化と母関数、積分は密度・期待値・変数変換を支える
• 多変数微積分では、偏微分、Hessian、重積分、ヤコビアンが重要になる
• 線形代数では、共分散行列、二次形式、固有値が多変量分布を記述する
• ガンマ関数とベータ関数は、多くの確率分布の正規化と積率を統一する
• 数式の操作だけでなく、台、収束、独立性、正則条件を答案に残す

数学は統計から独立した暗記事項ではありません。 「どの確率モデルを、どの変換や近似で扱える形にするか」を支える共通言語です。