コラム 統計検定1級のための数学道具箱

このコラムの目的

統計検定1級の確率・統計では、確率分布の公式だけでなく、その背後にある数学を使って式を変形します。 特に必要になるのは、次の道具です。

• 集合と数え上げ
• 数列、級数、テイラー展開
• 1変数の微分・積分
• 偏微分、重積分、ヤコビアン
• ベクトル、行列、固有値、二次形式
• ガンマ関数、ベータ関数
• 制約付き最適化

このコラムでは、高校数学の範囲を越える内容について、できるだけ定義または直前の式から導きます。 目的は証明を暗記することではなく、統計の問題で「なぜこの操作を使うのか」を判断できるようになることです。

各章との対応

ブログ記事	主に使う数学	直接移動
第一章 事象と確率	集合、数え上げ、条件の分割	第一章へ
第二章 確率分布と期待値	級数、微積分、変数変換	第二章へ
第三章 さまざまな確率分布	ガンマ・ベータ関数、近似、標本分布	第三章へ
第四章 多次元確率変数	偏微分、ヤコビアン、行列、二次形式	第四章へ

1. 集合・論理・数え上げ

集合演算を確率へ翻訳する

事象 $A,B$ に対して、

集合の記号	意味	確率での読み方
$A\cup B$	$A$ または $B$	少なくとも一方が起こる
$A\cap B$	$A$ かつ $B$	両方が起こる
$A^c$	$A$ の補集合	$A$ が起こらない
$A\setminus B$	$A$ だが $B$ でない	$A\cap B^c$

重複を二重に数えないようにすると、

$$P(A\cup B) =P(A)+P(B)-P(A\cap B)$$

です。

指示関数を使うと、この関係を点ごとに、

$$I_{A\cup B}=I_A+I_B-I_AI_B$$

と書けます。両辺の期待値を取れば、確率の加法公式が得られます。

De Morganの法則

「少なくとも1つ起こる」の反対は「すべて起こらない」です。

$$\left(\bigcup_{i=1}^n A_i\right)^c =\bigcap_{i=1}^n A_i^c$$

同様に、

$$\left(\bigcap_{i=1}^n A_i\right)^c =\bigcup_{i=1}^n A_i^c$$

です。 「少なくとも1回」の確率を余事象から求めるときに使います。

順列と組合せ

$n$ 個から順序を区別して $r$ 個を並べる方法は、

$${}_nP_r=n(n-1)\cdots(n-r+1) =\frac{n!}{(n-r)!}$$

通りです。

組合せでは、同じ $r$ 個を選んだ後の $r!$ 通りの並べ方を区別しません。 したがって、

$$\binom nr =\frac{{}_nP_r}{r!} =\frac{n!}{r!(n-r)!}$$

です。

二項定理と多項定理

$(a+b)^n$ を展開したとき、$a$ を $n-r$ 回、$b$ を $r$ 回選ぶ項は $\binom nr$ 個あります。 よって、

$$(a+b)^n =\sum_{r=0}^n\binom nr a^{n-r}b^r$$

です。

$k$ 個の項へ拡張すると、

$$(x_1+\cdots+x_k)^n = \sum_{n_1+\cdots+n_k=n} \frac{n!}{n_1!\cdots n_k!} \prod_{j=1}^k x_j^{n_j}$$

となります。 二項分布、多項分布、積率母関数の導出に直結します。

何の情報から何を学べるか

• 二値試行の成功数から、二項係数と成功確率を組み合わせた確率が得られる
• 非復元抽出では、母集団中の組合せを分母にして超幾何分布が得られる
• 複数カテゴリの個数から、多項係数を使ってカテゴリ構成の確率が得られる

2. 数列・級数・テイラー展開

有限和の記号

$$\sum_{i=1}^n x_i=x_1+\cdots+x_n$$

です。和には線形性があり、定数 $a,b$ に対して、

$$\sum_{i=1}^n(ax_i+by_i) =a\sum_{i=1}^n x_i+b\sum_{i=1}^n y_i$$

です。この性質が期待値の線形性と対応します。

等比級数の導出

$$S_n=1+r+r^2+\cdots+r^n$$

とおきます。両辺を $r$ 倍して引くと、

$$S_n-rS_n=1-r^{n+1}$$

なので、$r\neq1$ なら、

$$S_n=\frac{1-r^{n+1}}{1-r}$$

です。$|r|<1$ なら $n\to\infty$ で $r^{n+1}\to0$ なので、

$$\sum_{k=0}^{\infty}r^k=\frac1{1-r}$$

を得ます。 幾何分布の確率の総和や期待値計算で使います。

テイラー展開

十分滑らかな関数 $f$ を $x=a$ の近くで多項式に近似すると、

$$f(x) =f(a)+f'(a)(x-a) +\frac{f''(a)}{2!}(x-a)^2+\cdots$$

です。

なぜ係数に $k!$ が現れるのでしょうか。 多項式、

$$P(x)=c_0+c_1(x-a)+c_2(x-a)^2+\cdots$$

を $k$ 回微分して $x=a$ を代入すると、$k$ 次の項だけが $k!c_k$ を残します。 したがって、$P^{(k)}(a)=f^{(k)}(a)$ と合わせるには、

$$c_k=\frac{f^{(k)}(a)}{k!}$$

とすればよいことが分かります。

特に、

$$e^x=\sum_{k=0}^{\infty}\frac{x^k}{k!}$$ $$\log(1+x) =x-\frac{x^2}{2}+\frac{x^3}{3}-\cdots \qquad(|x|<1)$$

です。

指数関数の展開はポアソン分布の確率母関数、対数の展開は尤度や漸近近似に使われます。

近似で残差を意識する

1次近似は、

$$f(a+h)\approx f(a)+f'(a)h$$

です。2次まで使えば、

$$f(a+h) \approx f(a)+f'(a)h+\frac12f''(a)h^2$$

です。 デルタ法では1次項を、期待値の近似やバイアス補正では2次項まで使うことがあります。

デルタ法

確率変数 $X$ が平均 $\mu$ の近くに集中しているとき、1次のテイラー近似から、

$$g(X)\approx g(\mu)+g'(\mu)(X-\mu)$$

です。両辺の分散を取ると、定数項は分散に影響しないので、

$$\mathrm{Var}\{g(X)\} \approx\{g'(\mu)\}^2\mathrm{Var}(X)$$

を得ます。

さらに、

$$\sqrt n(\bar X-\mu) \xrightarrow{d}N(0,\sigma^2)$$

なら、同じ1次近似から、

$$\sqrt n\{g(\bar X)-g(\mu)\} \xrightarrow{d} N\left(0,\{g'(\mu)\}^2\sigma^2\right)$$

となります。オッズ、対数、比など、非線形な推定量の近似分散に使います。

3. 1変数の微分

微分の定義

関数 $f$ の $x$ における微分係数は、

$$f'(x) =\lim_{h\to0}\frac{f(x+h)-f(x)}{h}$$

です。 「入力を少し変えたとき、出力がどれくらい変わるか」を表します。

積の微分

$$\frac{f(x+h)g(x+h)-f(x)g(x)}{h}$$

の分子に $f(x+h)g(x)$ を足して引くと、

$$\frac{f(x+h)-f(x)}{h}g(x+h) +f(x)\frac{g(x+h)-g(x)}{h}$$

です。$h\to0$ とすれば、

$$(fg)'=f'g+fg'$$

を得ます。

合成関数の微分

$y=f(u)$、$u=g(x)$ のとき、変化量を分けると、

$$\frac{dy}{dx} =\frac{dy}{du}\frac{du}{dx}$$

です。 したがって、

$$\frac{d}{dx}f\{g(x)\} =f'\{g(x)\}g'(x)$$

です。 密度の変数変換、対数尤度、母関数の微分で頻出します。

対数微分

積やべき乗が多い正の関数 $L(\theta)$ は、対数を取ると計算しやすくなります。

$$\ell(\theta)=\log L(\theta)$$

なら、

$$\ell'(\theta) =\frac{L'(\theta)}{L(\theta)}$$

です。$L(\theta)>0$ なら、$L'(\theta)=0$ と $\ell'(\theta)=0$ は同じ停留点を与えます。 積で表された尤度が和へ変わるため、最尤推定で使います。

極値と2階微分

$f'(a)=0$ で、

• $f''(a)>0$ なら局所的な最小
• $f''(a)<0$ なら局所的な最大

です。 2次近似、

$$f(a+h)\approx f(a)+\frac12f''(a)h^2$$

で、$h^2\geq0$ であることから符号の意味が分かります。

凸関数とJensenの不等式

凸関数 $\varphi$ では、グラフが2点を結ぶ線分より下にあります。

$$\varphi\{tx+(1-t)y\} \leq t\varphi(x)+(1-t)\varphi(y) \qquad(0\leq t\leq1)$$

これを確率的な重みへ拡張すると、

$$\varphi(E[X])\leq E[\varphi(X)]$$

です。 例えば $\varphi(x)=x^2$ なら、

$$\{E[X]\}^2\leq E[X^2]$$

となり、$\mathrm{Var}(X)\geq0$ と同じ内容が得られます。

4. 1変数の積分

積分と確率

連続型確率変数では、密度の面積が確率です。

$$P(a<X\leq b)=\int_a^b f_X(x)\,dx$$

密度となる条件は、

$$f_X(x)\geq0, \qquad \int_{-\infty}^{\infty}f_X(x)\,dx=1$$

です。

置換積分の導出

$u=g(x)$ とし、$du=g'(x)dx$ と書けるとき、微小な幅の変換を補正して、

$$\int f\{g(x)\}g'(x)\,dx =\int f(u)\,du$$

です。

確率密度の変数変換で現れる、

$$f_Y(y)=f_X\{x(y)\}\left|\frac{dx}{dy}\right|$$

の絶対値は、幅を負にしないための補正です。

部分積分の導出

積の微分、

$$(uv)'=u'v+uv'$$

を積分すると、

$$uv=\int u'v\,dx+\int uv'\,dx$$

です。移項して、

$$\int u\,dv=uv-\int v\,du$$

を得ます。 ガンマ関数の漸化式、期待値の裾確率表示、正規分布の積率で使います。

広義積分

無限区間の積分は極限で定義します。

$$\int_0^\infty f(x)\,dx =\lim_{b\to\infty}\int_0^b f(x)\,dx$$

極限が有限値へ収束するときだけ、積分が存在します。 重い裾をもつ分布では、密度の積分は1でも期待値や分散が発散することがあります。

Leibnizの積分微分公式

$$H(t)=\int_{a(t)}^{b(t)}f(x,t)\,dx$$

を微分します。積分区間の変化と、被積分関数自体の変化を分けると、

$$\frac{dH}{dt} =f\{b(t),t\}b'(t) -f\{a(t),t\}a'(t) +\int_{a(t)}^{b(t)} \frac{\partial f(x,t)}{\partial t}\,dx$$

です。

上端が増えれば面積が増え、下端が増えれば面積が減るため、第2項には負号が付きます。 分布関数の微分、絶対偏差を最小にする中央値の証明、積分で定義された尤度の微分に使います。

5. 多変数微積分

偏微分

$f(x,y)$ を $x$ で偏微分するときは、$y$ を固定します。

$$\frac{\partial f}{\partial x} =\lim_{h\to0} \frac{f(x+h,y)-f(x,y)}{h}$$

例えば、

$$f(x,y)=x^2+xy+y^2$$

なら、

$$\frac{\partial f}{\partial x}=2x+y, \qquad \frac{\partial f}{\partial y}=x+2y$$

です。

勾配ベクトル

偏微分を並べた、

$$\nabla f = \begin{pmatrix} \partial f/\partial x_1\\ \vdots\\ \partial f/\partial x_p \end{pmatrix}$$

を勾配といいます。 微小変化 $d\mathbf x$ に対して、

$$df\approx(\nabla f)^\mathsf T d\mathbf x$$

なので、勾配は最も急に増加する方向を表します。

Hessian行列

2階偏微分を並べた行列、

$$\mathbf H_f = \begin{pmatrix} \dfrac{\partial^2f}{\partial x_1^2}&\cdots& \dfrac{\partial^2f}{\partial x_1\partial x_p}\\ \vdots&\ddots&\vdots\\ \dfrac{\partial^2f}{\partial x_p\partial x_1}&\cdots& \dfrac{\partial^2f}{\partial x_p^2} \end{pmatrix}$$

をHessian行列といいます。

多変数の2次近似は、

$$f(\mathbf x+\mathbf h) \approx f(\mathbf x) +(\nabla f)^\mathsf T\mathbf h +\frac12\mathbf h^\mathsf T \mathbf H_f\mathbf h$$

です。 最尤推定量の近似分散やFisher情報量の理解につながります。

Lagrangeの未定乗数法

制約、

$$g(\mathbf x)=c$$

の下で $f(\mathbf x)$ を極値化します。 制約面上では、許される移動方向 $d\mathbf x$ が、

$$(\nabla g)^\mathsf T d\mathbf x=0$$

を満たします。 極値では、その許される方向へ動いても $f$ が1次的に変化しないため、$\nabla f$ は $\nabla g$ と平行でなければなりません。

$$\nabla f=\lambda\nabla g$$

そこで、

$$L(\mathbf x,\lambda) =f(\mathbf x)-\lambda\{g(\mathbf x)-c\}$$

を作り、全変数で偏微分して0とおきます。 確率の総和が1という制約下の最適化などに使います。

重積分と積分順序

領域 $D$ 上の二重積分は、

$$\iint_D f(x,y)\,dx\,dy$$

です。 三角形の領域、

$$D=\{(x,y):0<x<y<1\}$$

なら、

$$\int_0^1\int_0^y f(x,y)\,dx\,dy$$

または、

$$\int_0^1\int_x^1 f(x,y)\,dy\,dx$$

と書けます。 先に領域を図示すると、積分範囲の取り違えを防げます。

ヤコビアン

変換、

$$u=g_1(x,y), \qquad v=g_2(x,y)$$

を考えます。小さな変化は、

$$\begin{pmatrix}du\\dv\end{pmatrix} \approx \begin{pmatrix} \partial u/\partial x&\partial u/\partial y\\ \partial v/\partial x&\partial v/\partial y \end{pmatrix} \begin{pmatrix}dx\\dy\end{pmatrix}$$

です。 この行列が微小な長方形の辺を変換し、その面積の倍率が行列式の絶対値になります。

逆変換 $x=x(u,v),y=y(u,v)$ を使うと、

$$dx\,dy = \left| \frac{\partial(x,y)}{\partial(u,v)} \right|du\,dv$$

です。したがって、

$$f_{U,V}(u,v) =f_{X,Y}\{x(u,v),y(u,v)\} \left| \frac{\partial(x,y)}{\partial(u,v)} \right|$$

となります。

6. 線形代数

ベクトルと内積

$$\mathbf x= \begin{pmatrix}x_1\\\vdots\\x_p\end{pmatrix}$$

に対して、内積は、

$$\mathbf x^\mathsf T\mathbf y =\sum_{i=1}^p x_i y_i$$

です。長さは、

$$\|\mathbf x\| =\sqrt{\mathbf x^\mathsf T\mathbf x}$$

です。

重み付き和、

$$Y=\mathbf a^\mathsf T\mathbf X$$

は、複数の確率変数を1つのスコアにまとめる線形結合です。

Cauchy–Schwarzの不等式

任意の実数 $t$ に対して、長さの二乗は非負なので、

$$\|\mathbf x-t\mathbf y\|^2\geq0$$

です。展開すると、

$$\|\mathbf y\|^2t^2 -2(\mathbf x^\mathsf T\mathbf y)t +\|\mathbf x\|^2\geq0$$

です。この2次式がすべての $t$ で非負となるには、判別式が0以下でなければなりません。

$$4(\mathbf x^\mathsf T\mathbf y)^2 -4\|\mathbf x\|^2\|\mathbf y\|^2 \leq0$$

したがって、

$$|\mathbf x^\mathsf T\mathbf y| \leq\|\mathbf x\|\|\mathbf y\|$$

です。確率変数を中心化した関数とみなすと、

$$|\mathrm{Cov}(X,Y)| \leq\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}$$

となり、$-1\leq\mathrm{Corr}(X,Y)\leq1$ が得られます。

行列積

$m\times p$ 行列 $\mathbf A$ と $p\times n$ 行列 $\mathbf B$ の積は、

$$(\mathbf A\mathbf B)_{ij} =\sum_{k=1}^p A_{ik}B_{kj}$$

です。 内側の次元 $p$ が一致する必要があります。

転置には、

$$(\mathbf A\mathbf B)^\mathsf T =\mathbf B^\mathsf T\mathbf A^\mathsf T$$

という性質があります。順序が逆になる点が重要です。

行列式

2次正方行列、

$$\mathbf A= \begin{pmatrix}a&b\\c&d\end{pmatrix}$$

の行列式は、

$$|\mathbf A|=ad-bc$$

です。 平面上の面積が線形変換で何倍になるかを表し、ヤコビアンと同じ役割を持ちます。

$|\mathbf A|=0$ なら、面積が0へつぶれる方向があるため逆変換できません。

逆行列の導出

$$\mathbf A^{-1} =\frac1{ad-bc} \begin{pmatrix}d&-b\\-c&a\end{pmatrix}$$

です。実際に掛けると、

$$\mathbf A \begin{pmatrix}d&-b\\-c&a\end{pmatrix} = \begin{pmatrix}ad-bc&0\\0&ad-bc\end{pmatrix}$$

なので、$ad-bc$ で割れば単位行列になります。

二次形式

$$q(\mathbf x)=\mathbf x^\mathsf T\mathbf A\mathbf x$$

を二次形式といいます。2次元なら、

$$q(x,y)=A_{11}x^2+(A_{12}+A_{21})xy+A_{22}y^2$$

です。

共分散行列 $\boldsymbol\Sigma$ に対して、

$$\mathbf a^\mathsf T \boldsymbol\Sigma\mathbf a =\mathrm{Var}(\mathbf a^\mathsf T\mathbf X) \geq0$$

です。このように、すべての $\mathbf a$ で二次形式が非負となる行列を半正定値行列といいます。

固有値と固有ベクトル

行列を掛けても向きが変わらず、長さだけが $\lambda$ 倍されるベクトル $\mathbf v$ を考えます。

$$\mathbf A\mathbf v=\lambda\mathbf v$$

移項すると、

$$(\mathbf A-\lambda\mathbf I)\mathbf v=\mathbf0$$

です。$\mathbf v\neq\mathbf0$ となる解が存在するには、$\mathbf A-\lambda\mathbf I$ が逆行列を持たない必要があります。 したがって、

$$|\mathbf A-\lambda\mathbf I|=0$$

を解いて固有値を求めます。

実対称行列では、互いに直交する固有ベクトルを選べます。 共分散行列を、

$$\boldsymbol\Sigma =\mathbf Q\boldsymbol\Lambda\mathbf Q^\mathsf T$$

と分解すると、$\mathbf Q$ の列が楕円の軸方向、$\boldsymbol\Lambda$ の対角成分が各方向の分散です。 これが主成分分析の数学的基礎です。

トレース

正方行列の対角成分の和、

$$\mathrm{tr}(\mathbf A)=\sum_i A_{ii}$$

をトレースといいます。 共分散行列では、

$$\mathrm{tr}(\boldsymbol\Sigma) =\sum_{i=1}^p\mathrm{Var}(X_i)$$

なので、各変数の分散の総和です。

線形変換の平均と共分散

$$\mathbf Y=\mathbf A\mathbf X+\mathbf b$$

なら、期待値の線形性から、

$$E[\mathbf Y] =\mathbf A E[\mathbf X]+\mathbf b$$

です。

また、$\boldsymbol\mu=E[\mathbf X]$ とすると、

$$\mathbf Y-E[\mathbf Y] =\mathbf A(\mathbf X-\boldsymbol\mu)$$

なので、

$$\begin{aligned} \mathrm{Cov}(\mathbf Y) &=E[\{\mathbf A(\mathbf X-\boldsymbol\mu)\} \{\mathbf A(\mathbf X-\boldsymbol\mu)\}^\mathsf T]\\ &=\mathbf A E[(\mathbf X-\boldsymbol\mu) (\mathbf X-\boldsymbol\mu)^\mathsf T] \mathbf A^\mathsf T\\ &=\mathbf A\boldsymbol\Sigma\mathbf A^\mathsf T \end{aligned}$$

です。

マハラノビス距離

$$D^2 =(\mathbf x-\boldsymbol\mu)^\mathsf T \boldsymbol\Sigma^{-1} (\mathbf x-\boldsymbol\mu)$$

は、分散が大きい方向の差を小さく、分散が小さい方向の差を大きく評価します。 相関も補正するため、複数バイオマーカーの同時外れ値を考える基礎になります。

7. ガンマ関数とベータ関数

ガンマ関数

$\alpha>0$ に対して、

$$\Gamma(\alpha) =\int_0^\infty x^{\alpha-1}e^{-x}\,dx$$

と定義します。

部分積分で $u=x^\alpha$、$dv=e^{-x}dx$ とすると、

$$du=\alpha x^{\alpha-1}dx, \qquad v=-e^{-x}$$

です。境界項が0になるため、

$$\Gamma(\alpha+1) =\alpha\Gamma(\alpha)$$

を得ます。 $\Gamma(1)=1$ なので、正の整数 $n$ では、

$$\Gamma(n)=(n-1)!$$

です。

ベータ関数

$\alpha,\beta>0$ に対して、

$$B(\alpha,\beta) =\int_0^1 x^{\alpha-1}(1-x)^{\beta-1}\,dx$$

と定義します。 ベータ分布の正規化定数に現れます。

ベータ関数とガンマ関数の関係

積、

$$\Gamma(\alpha)\Gamma(\beta) =\int_0^\infty\int_0^\infty x^{\alpha-1}y^{\beta-1}e^{-(x+y)} \,dx\,dy$$

を考えます。

$$r=x+y, \qquad u=\frac{x}{x+y}$$

とおくと、

$$x=ru, \qquad y=r(1-u)$$

です。台は $r>0,0<u<1$ で、ヤコビアンの絶対値は $r$ です。 したがって、

$$\begin{aligned} \Gamma(\alpha)\Gamma(\beta) &=\int_0^\infty\int_0^1 (ru)^{\alpha-1} \{r(1-u)\}^{\beta-1} e^{-r}r\,du\,dr\\ &=\left\{ \int_0^\infty r^{\alpha+\beta-1}e^{-r}\,dr \right\} \left\{ \int_0^1 u^{\alpha-1}(1-u)^{\beta-1}\,du \right\}\\ &=\Gamma(\alpha+\beta)B(\alpha,\beta) \end{aligned}$$

です。よって、

$$\boxed{ B(\alpha,\beta) =\frac{\Gamma(\alpha)\Gamma(\beta)} {\Gamma(\alpha+\beta)} }$$

を得ます。

この関係から、ガンマ分布、ベータ分布、ベータ二項分布、Dirichlet分布の正規化や積率をまとめて扱えます。

8. 尤度・スコア・Fisher情報量の数学

尤度と対数尤度

観測値 $x_1,\ldots,x_n$ が独立で密度 $f(x;\theta)$ をもつとき、尤度は、

$$L(\theta)=\prod_{i=1}^n f(x_i;\theta)$$

です。対数尤度は、

$$\ell(\theta) =\log L(\theta) =\sum_{i=1}^n\log f(x_i;\theta)$$

です。 積が和へ変わり、微分しやすくなります。

スコア関数

まず1観測 $X$ に対する対数尤度を、

$$\ell_1(\theta)=\log f(X;\theta)$$

とします。そのスコア関数を、

$$U_1(\theta) =\frac{\partial\ell_1(\theta)}{\partial\theta}$$

といいます。 正則条件の下で、

$$E_\theta[U_1(\theta)]=0$$

です。

導出は、

$$\begin{aligned} E_\theta[U_1(\theta)] &=\int \frac{\partial}{\partial\theta} \log f(x;\theta) f(x;\theta)\,dx\\ &=\int \frac{1}{f(x;\theta)} \frac{\partial f(x;\theta)}{\partial\theta} f(x;\theta)\,dx\\ &=\frac{\partial}{\partial\theta} \int f(x;\theta)\,dx\\ &=\frac{\partial}{\partial\theta}1=0 \end{aligned}$$

です。微分と積分を交換できることが条件です。

独立な $n$ 観測では、標本全体のスコアは、

$$U_n(\theta)=\sum_{i=1}^nU_{1i}(\theta)$$

です。

Fisher情報量

1観測当たりのFisher情報量を、

$$I_1(\theta)=E_\theta[U_1(\theta)^2]$$

と定義します。$E[U_1]=0$ なので、スコアの分散でもあります。 独立な $n$ 観測では情報量が加わり、$I_n(\theta)=nI_1(\theta)$ です。

正則条件の下では、

$$I_1(\theta) =-E_\theta\left[ \frac{\partial^2\ell_1(\theta)} {\partial\theta^2} \right]$$

です。 情報量が大きいほど、対数尤度が真の母数付近で鋭く曲がり、母数を精密に推定しやすいと解釈できます。

9. 統計検定1級での使い分け

問題の形	最初に選ぶ数学	確認する条件
少なくとも1回	補集合、De Morgan	独立性、試行回数
確率関数の総和	二項・多項定理、級数	台、収束範囲
密度の正規化・期待値	置換積分、部分積分	積分区間、収束
母関数から積率	級数、微分	0または1の近傍での存在
変数変換	逆変換、ヤコビアン	1対1性、逆像、変換後の台
多変量正規	行列積、逆行列、二次形式	共分散行列の正定値性
最尤推定	対数微分、偏微分	母数空間、端点、最大かどうか
漸近近似	テイラー展開、Hessian	標本サイズ、正則条件
制約付き最適化	Lagrange法	制約式、境界解

答案の基本形

1. 変数と台を書く
2. 使用する定理と条件を書く
3. 式を立てる
4. 微分・積分・行列計算を行う
5. 得られた値を確率・平均・分散などの意味へ戻す

10. 数学コラム確認問題

問題1：指示関数

事象 $A,B$ について、

$$I_{A\cup B}=I_A+I_B-I_AI_B$$

を用いて、$P(A\cup B)$ の公式を導いてください。

解答1

両辺の期待値を取ると、$E[I_A]=P(A)$、$I_AI_B=I_{A\cap B}$ より、

$$P(A\cup B) =P(A)+P(B)-P(A\cap B)$$

です。

問題2：二項係数の和

$$\sum_{r=0}^n\binom nr$$

を求めてください。

解答2

二項定理で $a=b=1$ とすると、

$$(1+1)^n =\sum_{r=0}^n\binom nr1^{n-r}1^r$$

なので、

$$\sum_{r=0}^n\binom nr=2^n$$

です。

問題3：等比級数の微分

$|s|<1$ で、

$$\sum_{k=0}^{\infty}s^k=\frac1{1-s}$$

を微分し、$\sum_{k=1}^{\infty}ks^{k-1}$ を求めてください。

解答3

収束半径の内部で項別微分すると、

$$\sum_{k=1}^{\infty}ks^{k-1} =\frac1{(1-s)^2}$$

です。幾何分布の期待値計算に使えます。

問題4：部分積分

$$\int_0^\infty xe^{-x}\,dx$$

を部分積分で求めてください。

解答4

$u=x,dv=e^{-x}dx$ とすると、$du=dx,v=-e^{-x}$ なので、

$$\begin{aligned} \int_0^\infty xe^{-x}\,dx &=[-xe^{-x}]_0^\infty +\int_0^\infty e^{-x}\,dx\\ &=0+1=1 \end{aligned}$$

です。

問題5：1変数の変数変換

$Y=e^X$ とします。$X$ の密度が $f_X(x)$ のとき、$Y$ の密度を求めてください。

解答5

逆変換は $x=\log y$、ヤコビアンは、

$$\left|\frac{dx}{dy}\right|=\frac1y$$

です。$y>0$ で、

$$f_Y(y)=f_X(\log y)\frac1y$$

です。

問題6：Leibnizの公式

$$H(t)=\int_0^t(x-t)^2f(x)\,dx$$

を $t$ で微分してください。

解答6

上端の境界項は $(t-t)^2f(t)=0$ です。被積分関数を偏微分すると、

$$\frac{\partial}{\partial t} \{(x-t)^2f(x)\} =-2(x-t)f(x)$$

なので、

$$H'(t) =-2\int_0^t(x-t)f(x)\,dx$$

です。

問題7：Hessian

$$f(x,y)=x^2+2xy+3y^2$$

の勾配とHessian行列を求めてください。

解答7

$$\nabla f =\begin{pmatrix}2x+2y\\2x+6y\end{pmatrix}$$ $$\mathbf H_f =\begin{pmatrix}2&2\\2&6\end{pmatrix}$$

です。

問題8：ヤコビアン

$$u=x+y, \qquad v=x-y$$

の逆変換と $|\partial(x,y)/\partial(u,v)|$ を求めてください。

解答8

連立して、

$$x=\frac{u+v}{2}, \qquad y=\frac{u-v}{2}$$

です。したがって、

$$\left| \frac{\partial(x,y)}{\partial(u,v)} \right| = \left| \begin{matrix}1/2&1/2\\1/2&-1/2\end{matrix} \right| =\left|-\frac12\right| =\frac12$$

です。

問題9：線形結合の分散

共分散行列が $\boldsymbol\Sigma$ の確率ベクトル $\mathbf X$ に対して、$Y=\mathbf a^\mathsf T\mathbf X$ の分散を求めてください。

解答9

$$Y-E[Y] =\mathbf a^\mathsf T (\mathbf X-E[\mathbf X])$$

なので、

$$\mathrm{Var}(Y) =\mathbf a^\mathsf T \boldsymbol\Sigma\mathbf a$$

です。

問題10：固有値

$$\mathbf A= \begin{pmatrix}2&1\\1&2\end{pmatrix}$$

の固有値を求めてください。

解答10

$$|\mathbf A-\lambda\mathbf I| = \left| \begin{matrix}2-\lambda&1\\1&2-\lambda\end{matrix} \right| =(2-\lambda)^2-1$$

です。これを0とおくと、

$$(2-\lambda)^2=1$$

より、

$$\lambda=3,1$$

です。両方正なので、$\mathbf A$ は正定値です。

問題11：ガンマ関数

$\Gamma(5)$ を漸化式から求めてください。

解答11

$$\Gamma(5) =4\Gamma(4) =4\cdot3\Gamma(3) =4\cdot3\cdot2\Gamma(2) =4!=24$$

です。

問題12：制約付き最適化

$x+y=1$ の下で $x^2+y^2$ を最小にしてください。

解答12

$$L(x,y,\lambda) =x^2+y^2-\lambda(x+y-1)$$

とおきます。

$$2x-\lambda=0, \qquad 2y-\lambda=0$$

より $x=y$ です。制約へ代入して、

$$x=y=\frac12$$

です。最小値は、

$$\left(\frac12\right)^2 +\left(\frac12\right)^2 =\frac12$$

です。

まとめ

• 集合と数え上げは、確率の事象と確率関数を組み立てる
• 級数とテイラー展開は、母関数と漸近近似を支える
• 微分は最適化と母関数、積分は密度・期待値・変数変換を支える
• 多変数微積分では、偏微分、Hessian、重積分、ヤコビアンが重要になる
• 線形代数では、共分散行列、二次形式、固有値が多変量分布を記述する
• ガンマ関数とベータ関数は、多くの確率分布の正規化と積率を統一する
• 数式の操作だけでなく、台、収束、独立性、正則条件を答案に残す

数学は統計から独立した暗記事項ではありません。 「どの確率モデルを、どの変換や近似で扱える形にするか」を支える共通言語です。