Excel VBAで３群以上の比率の差の多重検定ができるマクロを作ってみた１

２ヶ月ほど前にこんな記事を書きました。

わざわざ「２群の」と断っているのは、関数の仕様だけの話ではありません。
この関数は、３群以上の比率の差の検定に使ってはいけないのです。

たとえば、こんなデータがあったとき、

以下のように、
　　
組み合わせを変えて３回２群の比率の差の検定を繰り返せばよさそうなものですが、それは統計学的には御法度とされています。

何故かというと、多重性の問題が発生してしまうから、なのだそうです。 

多重性の問題

３群以上の場合に２群の比率の差の検定を繰り返すと、設定した有意水準よりも高い確率で有意となってしまう。

と聞いてピンとくる方はいるでしょうか？
私は最初、全然腑に落ちませんでした。

（有意水準を0.05として）３群で３回検定を行うと、有意とならない確率は
(1-0.05)×(1-0.05)×(1-0.05)=0.86となり、有意水準が0.14に上昇する。
統計検定を理解せずに使っている人のために III - J-Stage

と言われても、なぜ同時確率になるのか？
群どうしを個別に検定したんだから、有意水準は0.05のままじゃないの？　と。

でも、これが大間違いなんですね。
統計的仮説検定は、「ひとつの母集団から抽出された標本」を仮定していますから、群が増えるということは標本の抽出回数が増えることと同義です。

そして、有意水準0.05というのは、

本当は差がなくても差が出てしまう確率が、標本抽出２０回につき１回

のことですから、群が増えれば増えるほど、どこかの群でたまたま差が生じる確率が高まるのは、道理というものです。
サイコロを１回振ったときと３回連続して振ったとき、どちらが１の目が出る確率が高いか、というのと同じですね。

では、３群以上の比率の差を検定したいときはどうするのか？
そんなときのために３群以上の比率の差の多重検定というものがあります。
次回は、そのやり方を学んでみたいと思います。