推定問題について(簡単なパラメータ推定の設定)
本の紹介
統計学関連での本は日本語の本よりも英語の本のほうが良いものが多い。 と言うわけで、今回は、次を紹介。
Asymptotic Statistics (Cambridge Series in Statistical and Probabilistic Mathematics)
- 作者: A. W. van der Vaart
- 出版社/メーカー: Cambridge University Press
- 発売日: 2000/09
- メディア: ペーパーバック
- この商品を含むブログ (1件) を見る
今回の内容に相当することも書いてある。
設定
データ集合が与えられているとして、を集合上の確率分布全体のなす集合とする。
データ列とは、の元で、
であらわすとする。ここで、はの元で番目のデータをあらわす。
パラメータ推定のパラメータとは?
前回
bocchi-talks-information.hatenablog.com
の最後で、問題の背景として推定する分布の形が指定されている場合、その分布の持つパラメータをデータ列から推定する問題となるという話をした。
が仮定されている場合、2つの実数、期待値、分散が対象のパラメータとなる。 ここで、期待値のとり得る値の範囲は実数全体、分散については非負の実数全体となっている。
つまりこの場合のパラメータをデータ列から推定する問題は、 データ列から期待値、標準偏差を導出する関数
を考察する問題と、読み替えることができる。
もう少し抽象的に書くと
さて、パラメータ推定問題をもう少し抽象的に書いてみる。
まず推定する分布がと表せるとする*1。 ここで、をパラメータとよび、集合に含まれるものとして、をパラメータの自由度とよぶ。
また、推定対象の分布全体の集合を
と書いて、これをモデルと呼ぶこととする。 さらにデータ列からパラメータを導出する関数
は推定量とよばれる*2。
やっと出発点
(点)推定の理論体系にとって、この設定が一番のおおもとになっている。 ここから設定にいろいろ手を加えることによって、豊富な世界が広がってゆく。 有名なクラメル・ラオの不等式だとかもここから始まる。
後日、稿を改めて、そのあたりの話について触れていきたいと思う。