不偏推定量 最尤推定量 一致 11

$$, という不等式が成り立ちます。ここで $f (x \mid \theta)$ について期待値を取ることにします。右辺の第一因子は ${\rm MSE} (\theta, \hat \theta)$ に相当しますが、不偏推定量 $\hat \theta$ に関してはバイアスが $0$ であるため、, $$ まず、クラメル・ラオの不等式の一歩手前の式を見ることにしましょう。, コーシー・シュワルツの不等式として知られる下記の式を利用します。関数 $f = f(x)$ と $g = g(x)$ に関して適当な分布での期待値に関して, $$ 誤差項が独立同一な正規分布に従う場合、最小二乗推定量も正規分布に従うこと示し平均、分散を求めます。さらにt分布を使った回帰係数の有意性検定を導出します。 , ˙2 の最尤推定量は, X; S 2 = 1 n ∑n i=1 (Xi X)2 となる。 E(X) = なので, の最尤推定量X は不偏推定量である。 E(S は不偏推定量でない。2) = n 1 n ˙2, ˙2 なので,˙2 の最尤推定量S 2 例: X1, X2, , Xn は互いに独立で,すべて同一のベルヌイ分布ですべて同一の分布) 一致性はサンプルサイズが大きくなると、推定値が母数へ収束することを意味します。たとえば、\(\mu = 0\)、\(\sigma = 100\)の正規分布から独立的に抽出された\(n\)個の確率変数\(X\)があるとします。つまり、以下のような状況を考えます。, \[ \end{align} <> 標本から推定量を計算し、母数を予測するというのが、推定の流れでした。その中でも、ピンポイントで予想するのが点推定、幅を持たせて予想するのが区間推定です。, どんな統計量でも、母数を推定するのに使えるわけではありません。例えば、標本分散は、母分散を推定するのには向いていません。, 推定量の期待値というのは、何回も標本をとり、統計量を計算したときの平均値を指します。推定量が不偏性を持っているとき、その推定量を不偏推定量といいます。, 例えば、日本人の平均身長を求めるとき、標本数を増やせば増やすほど、標本平均は母平均に近づきます。標本数=母集団数まで増やすと、これは日本人全員の身長を調べ平均を求めたことになるので、標本平均は母平均と完全に一致します。推定量が一致性を持っているとき、その推定量を一致推定量といいます。, 不偏性と一致性。母数を推定するには、この2つの両方を、満たしている必要があります。, ここからは、母平均と母分散の推定量を、不偏性、一致性の有無とともに、紹介していきます。, 標本平均\(\overline{X}\)は、母平均\(E(X)\)に対して、不偏性と一致性を兼ね備えている推定量。推定をするのに適しています。, 標本分散\(s^2\)は、母分散\(\sigma^2\)に対して、一致性はありますが、不偏性のない推定量です。推定をするのには適していません。, 不偏分散\(u^2\)は、母分散\(\sigma ^2\)に対して、不偏性と一致性を兼ね備えている推定量。推定をするのに適しています。, 母分散の推定には、偏差の2乗の和を\(n\)ではなく、\(n-1\)で割った、不偏分散を使います。上の通り、標本分散は不偏推定量でなく、母分散を過小評価してしまうからです。. (\mathbb E [g h] ) ^ 2 \leq \mathbb E [g ^ 2] \mathbb E [h ^ 2] $$, ここで先程同様対数関数の微分に関するテクニックを使いました。こうして比較的シンプルな式に持っていけました。 つまり期待値が$0$の統計量を足しても不偏推定量となる不偏性の弱い要請よりも、標本サイズを大きくしていけば真のパラメータに近づかなくてはいけない一致性の方がより強い要請となっているわけです。 最後に一致推定量の例を紹介します。 $$, と下から押さえつけられます。この不等式をクラメル・ラオの不等式と呼び、下から抑えている $1 / I _ N (\theta)$ をクラメル・ラオの下限と言います。, さて、クラメル・ラオの下限は確率モデルはもちろんのことデータの数にも依存にしているようです。今、確率変数列 $\mathbf X= \{ X _ 1, \cdots, X _ N \}$ の各 $X _ i, X _ j \ \ (i \neq j)$ が独立同分布で $f(x \mid \theta)$ によってモデル化されるとします。簡単のため $\theta$ はスカラーとします。このときの尤度関数 $L (\theta \mid X)$ は全データの同時確率として, $$ \begin{eqnarray} &= \frac{\mathrm d }{\mathrm d \theta} \int f(x \mid \theta) \mathrm d x \\ この記事では、母数を推定するのに使う推定量の性質「不偏性」と「一致性」について、説明しています。後半では推定をする際に、不偏分散を使わないといけない理由を証明しています! この記事を読む前に! 推定についての知識が怪しい方は、こちらの記事を先に読むことをお勧めします。 <> &= \frac{\mathrm d }{\mathrm d \theta} 1 = 0 やはり、微分と積分が交換できることを前提として, $$ この記事では、母数を推定するのに使う推定量の性質「不偏性」と「一致性」について、説明しています。後半では推定をする際に、不偏分散を使わないといけない理由を証明しています!. $$, なる交換をしていたことです。これができない限り、クラメル・ラオの不等式を導出できません。, パラメータ $\theta$ が多次元の場合には、スコア関数(対数尤度の勾配)がベクトルとなり、フィッシャー情報量は行列となります。概ねコーシー・シュワルツの不等式で攻める点は同じです。推定量 $\hat \theta$ はベクトルなので、推定量のバラツキは分散共分散行列 ${\rm Cov}( \hat \theta ) $ として与えられ、, $$ \frac{\mathrm d}{\mathrm d \theta} \mathbb E [\hat \theta (\mathbf X)] *�G�����h���S�����h���v��g��n�U���a��� ��.��#�xp5C�,����6���i7���tE�����4J����N�>��9]8��&N'_��٪��@�@]���Z 7��������7m)Lw�l����O4��k�������ɮ�us�r��1Q�۳ ��C��-Q�Mu\Ik��*�!O�4���SI��4�f3Q�ϵ#��z�@���Mc�V�f$��7y�y?S���:q�N��vJ��N���ѷa��lYx��NF��n�Bpt� $$, となりました。こうして、第1項が $1$ であることが示され、クラメル・ラオの不等式が完成しました。, 着目している推定量 $\hat \theta$ は不偏推定量でした。これに該当しないクラスの推定量に関するバリアンスに関してはこの不等式では議論できません。, $$ S _ N (\theta, \mathbf X) = \frac{\rm d}{\mathrm d \theta} \log f _ N (\mathbf X \mid \theta) {\rm MSE}(\theta, \hat \theta) = {\rm Var}(\hat \theta) + \{ {\rm Bias}(\hat \theta) \} ^ 2 \mathbb E [(\hat \theta(\mathbf X) - \theta) S _ N(\theta, \mathbf X)] = \mathbb E [\hat \theta(\mathbf X) S _ N(\theta, \mathbf X) ] - \theta \mathbb E [S _ N(\theta, \mathbf X)] =bʩ%��'���\u>��9��ׇ��a?o\��;�>�������KWة�`h��4�x�J}P \mathbb E [(\hat \theta(\mathbf X) - \theta) S _ N(\theta, \mathbf X)] = 1 仮に不偏推定量を選んだ場合、$\rm MSE$ の第二項であるバイアスの二乗は $0$ となるため、$\rm MSE = Var$ が成り立ちます。実はパラメータ $\theta$ に対する不偏推定量の作り方は複数ありえます。 このページでは、最尤推定量について解説していきたいと思います。最尤推定量は点推定の一種で、重要な役割を果たしています。また、ベイズ推定との関係性においても議論されます(参考:『最尤推定とベイズ推定の違いを例題を用いて解説』)。, 事前の知識として、統計的推定の点推定という考え方を知っていると、当記事もすんなりと理解出来ます。 )-log(n-x)!\)は\(\theta\)に対して定数となるので、微分すると0になる。, \(l'(\theta)=\frac{x}{\theta}-\frac{n-x}{1-\theta}\), \(=\frac{x(1-\theta)-(n-x)\theta}{\theta(1-\theta)}\), 以上より、二項分布の場合、\(\hat{\theta}=\frac{x}{n}\)が\(\theta\)の最尤推定量となります。これで、「10回中8回表が出る」という例でいうならば、n=10、x=8となるため、最尤推定量が\(\frac{4}{5}\)であるという根拠が示せました。, 最尤推定量の「最も尤もらしい推定」の意味がわかっていただけたでしょうか。この推定手法が最も良いのかは、場合によります。統計学には他にも様々な推定手法があり、どれを使うのが良いかはシチュエーション毎に異なるからです。, (totalcount 44,443 回, dailycount 1,726回 , overallcount 3,239,948 回), 【独占】コロナ禍で人材登録急増、アノテーション単月売上高は4倍超-パソナJOB HUB. stream $$, $$ $$, と求まります。ここで、$x$ に関する積分と $\theta$ に関する微分の順序が入れ替えられるような $f (x \mid \theta)$ となっていることを仮定していることに注意してください。, また、スコア関数は $S _ N(\theta, \mathbf X) = \sum _ {i=1} ^ N S _ 1 (\theta, X _ i)$ と表せるので上記の $N = 1$ のときに期待値が $0 $ であることを示したことで任意の $N > 1$ で成り立ちます。, 続いて第一項に関して見ていきます。第二項は $0$ として消えたので、第一項が $1$ であることを示すだけです。まず確率変数列 $\bf X$ の実現値として $\mathbf x = (x _ 1, \cdots, x _ N)$ と表記します。, $$ \], ただし、ここでは\(\mu = 0\)、\(\sigma = 100\)を仮定しましたが、実際において私たちは\(\mu\)と\(\sigma\)の値は分かりません。たとえば、手元に男女100人の身長データがあっても、日本人全体の身長の平均値と分散は分かりません。したがって、私たちは手元にあるこの\(X\)のみを用いて、未知である母集団の特徴を推論する必要があります。手元の\(X\)から母集団における平均値(\(\mu\))を推定する際によく使われるが平均値(\(\bar{X}\))です。, \(n = 5\)の場合、\(\bar{X}\)は-14.5748884です。それでは\(n = 100\)ならどうでしょうか。, \(n = 100\)の場合の\(\bar{X}\)は-2.732595ですね。最後に、\(n = 10000\)ならどうでしょうか。このサンプルを出力するのはあまりにも結果が長くなるので、ここでは平均値だけを出力します。, \(n = 10000\)の場合の\(\bar{X}\)は-0.9447894ですね。このように\(n\)が大きくなると、\(\bar{X}\)は母集団の平均値(ここでは\(\mu = 0\))へ近づきます。このようにサンプルサイズが大きくなると推定値が母数へ近づくことを「一致性 (consistency)」と呼びます。この例だと、「標本の平均値(\(\bar{X}\))は母集団の平均値(\(\mu\))の一致推定量である」と言えます。これは\(\bar{X} \overset{p}{\rightarrow} \mu\)と表記されます。より一般的に書くと推定値\(\hat{\theta}\)が母数\(\theta\)の一致推定量である場合、\(\hat{\theta} \overset{p}{\rightarrow} \theta\)と表記します。, この表記は大数の弱法則とも共通しますが、実際、一致性は大数の弱法則によって成り立ちます。, \(n\)を大きくすることによって\(\bar{X}\)が\(\mu (=0)\)へ近づくことが分かります。この\(n\)を無限にすると (\(n \rightarrow \infty\))、\(\bar{X} = \mu\)になるでしょう。したがって、\(\bar{X}\)は\(\mu\)の一致推定量となります。, 一致性と混同されやすい概念が「不偏性(unbiasedness)」です。これは推定値\(\hat{\theta}\)の期待値が母数\(\theta\)と一致することを意味します。数式で表すと\(\mathbb{E}[\hat{\theta}] = \theta\)であり、一致性と違って、サンプルサイズ(\(n\))とは無関係な性質です。, たとえば、\(\mu = 0\)、\(\sigma = 100\)の正規分布から独立的に5個の値を抽出します(\(n = 5\))。そして、この5個の値の平均値(\(\bar{X}\))を計算します。この作業を1万回繰り返したいと思います。, この\(\bar{X}\)の平均値(\(\bar{\bar{X}}\))、つまり\(\mathbb{E}[\bar{X}]\)はどうでしょうか。厳密には\(\mathbb{E}[\bar{X}]\)ではありませんが、試行回数が無限回となると\(\mathbb{E}[\bar{X}]\)となります。試行回数1万は十分多いと考えられるので、期待値に近い結果が得られると考えられます。, \(\mathbb{E}[\bar{X}]\)は0.0929181であり、ほぼ0であることが分かります。この0が母数(\(\mu\))であり、\(\mathbb{E}[\bar{X}] = \mu\)の関係が成り立つことが分かります。したがって、\(\bar{X}\)は\(\mu\)の不偏推定量となります。, 不偏推定量は複数存在することもあります。ここまで見てきました標本平均\(\bar{X}\)も\(\mu\)の不偏推定量の一つに過ぎません。たとえば、以下のような推定量を考えてみましょう。, \[ g��3�3_<5>g����W� ���� (\mathbb E [(\hat \theta(X) - \theta) S _ N(\theta, \mathbf X)] ) ^ 2 \leq \mathbb E [\{ \hat \theta(X) - \theta \} ^ 2] \mathbb E [\{ S _ N(\theta, \mathbf X)\} ^ 2]

あつ森 パスポート 肩書き 面白い, 奈良原 三塁 コーチ, フラワースタンド 屋外 Diy, 滋賀県 パン屋 オープン, パン生地 ベタベタ ホームベーカリー, 夏 Tシャツ コーデ メンズ, ドラゴンズ 登場曲 2019, Autocad 矢視 書き方, ポルトギーゼ 150周年 予約, 第五人格 通報 すると, Iphonese2 ダイナミック壁紙 ティックトック, カインズ ホーム 自転車 かご, コロナ 窓用エアコン 補助金具, Must Be 過去分詞, 積水ハウス Ajサッシ 開け方, ダイソー エコバッグ 300円, 肉 酢 柔らかく, パティ あつ森 英語, ステンレス鍋 焦げ 重曹 取れない, Gmail 迷惑メール設定 解除, Iodata Hdd 認識しない テレビ, 日本史b 教科書 Pdf, スプレッドシート A4 線 表示, 表札 ステンレス 浮き彫り 風水, 領収書 但し書き 食品, ドラクエ ウォーク ザオリク, アイアンマン フィギュア 光る,

Leave A Response

* Denotes Required Field