Neyman-Pearsonの補題の証明周りについて - 情報理論関連をぐだぐだと

第一回勉強会の補足。約束したものの中から一番簡単なものを。

のp.168あたりに書かれている内容を読みながら補足する*1。

集合 $\mathcal{X}$ が与えられているとする。また、 $\mathcal{X}$ 上の分布（仮説） $p,q \in \mathcal{P(X)}$ も与えられているとし、それぞれ $p$ が主仮説の分布、 $q$ が対立する仮説の分布とする。

ここで、関数 $g : \mathcal{X} \to [0, 1]$ を検定(Test)と呼び*2、意味はデータ $x$ が得られたときに確率 $g(x)$ で、 $p$ の仮説を棄却するというもの。

この検定には良いものと良くないものがあって、例えば、次の尺度で評価する。

これは、真の仮説が $p$ のときに、それを支持しない確率。

これは、真の仮説が $q$ のときに、それを支持しない確率。

検定論における伝統的な考え方は第１種の過誤を与えられた有意水準 $\alpha$ 以下におさえたうえで、対立仮説のもとでの検出力を最大にするものである。

なので、 ${\rm Pe}_1(g)\leq\alpha$ のもとで、 $1 - {\rm Pe}_2(g) = \sum_{x \in \mathcal{X}} q(x) g(x)$ を最大化する検定 $g$ が良い検定で、この最大化する検定は最強力検定と呼ばれる。

次のNeyman-Pearsonの補題は、（単純）仮説検定の枠組みで、最強力検定の存在を述べている。

非負の数と 上の実数が与えられているとする。このとき、

と言う検定を考える。この検定のもとでの第一種誤り確率をとすると、

有意水準の検定の中でが最強力検定である。

証明に次の補題を用いる。

実数への関数と への関数に対して、

が成り立つ。ここで、は指示関数と呼ばれ、

括弧中の命題が真のとき1を返し、それ以外のとき0を返す上の関数である。

言ってしまえば、

「関数 $f(x)$ の重みつき足し合わせは、負の部分だけを足し合わせたものが最も小さい」

というものである。このことを数式で表すと上の補題になる。この補題から、次が言える。

2つ目の式が等式で結ばれるのは、 $(p(x) - c q(x)) 1\{(p(x) - c q(x)) = 0\} = 0$ によっている。また、3つ目の式は、

による。さて、得られた式を移項して整理すると、次が言える。

右辺第一項は定義より $\alpha$ 、第二項は最適化の設定から $\alpha$ 以下なのだから、

右辺は0以上なのが分かる。

ここから、 $\sum_{x\in\mathcal{X}} q(x)g^*_{c,r}(x) \geq \sum_{x\in\mathcal{X}} q(x)g(x)$ が言え、

有意水準 $\alpha$ の検定の中で $g^*_{c,r}$ が最強力検定なのがいえた。

*1:扱っている内容が単純仮説なので、かなり簡略化して説明する。

*2:正確には確率化検定と呼ばれる。0と1にしか値をとらない決定論的検定もある。