『マンガでわかる統計学入門』を読み返してみたの続き ～なぜ帰無仮説を＜採択＞してしまうのか～
前回紹介した『マンガでわかる統計学入門』、用語の確かさがとても気に入っているのですが、一点だけ見過ごせない間違いがあります。いや、単純に「間違い」と言ってしまっていいのか、頭を捻ってしまう問題が。
「帰無仮説が採択される」という言い方が間違いであることは、以下の記事で指摘したことがありますが、
そのときの根拠は、
「検定統計量の値が棄却域に入っていなきゃ『帰無仮説は正しい』って言えそうな気がするんだけどなぁ～」
「残念ながらいえないんです・・・ いえるのは『帰無仮説は誤っているとはいえない』ってことだけです」
にありました。
それとほぼ同じことが『マンガでわかる統計学入門』にも書かれています。
立てた仮説を検証した結果、仮説を棄却しないことになったとするわよね
それは「仮説が正しい」ということじゃなくて、棄却する根拠がないということだけ
「仮説が正しいことを積極的に主張する」ことはできないのよ『マンガでわかる統計学入門』滝川好夫（新星出版社）198ページ
ところが、そのちょっと後で
帰無仮説：（略）ＢポットはＡポットと同じ保温性能を持っている
（略）したがって、帰無仮説（略）は採択され、（略）ＢポットはＡポットと同じ保温性能を持っているといえる
『マンガでわかる統計学入門』219～221ページ
と来るのです。おいおい、20ページ手前で言ってたことは何なんだ？
こんな間違いがあり得るでしょうか？ 普通に考えればないですよね。この著者はわかった上でわざと書いている。「わざと」つまり、作為です。こんなことをする何らかの理由が、きっとそこにはあるはず。
そこで今回は、帰無仮説が採択できない理由とそれを承知で採択してしまう理由について、掘り下げてみたいと思います。
帰無仮説が採択できない理由
ググってみると、いくつかその理由が説明されている記事が見つかります。
手許にあるFisherの The Design of Experiments 第8版の 8. The Null Hypothesis を読み直してみた。（略）用語は今と少し違うけれども，棄却することはあっても採択はしないとはっきり書かれている。
統計的仮説検定はあくまで「帰無仮説を棄却できるか」を検証するための手続きである。この手続きから得られる結果は「帰無仮説を棄却できる」「できない」の２つだけであり、採択に関する考慮は一切ない。
帰無仮説は採択できない - 統計コンサルの議事メモ
どうです？ この有無を言わさない感じ。私はすっかり、この専門家たちが発するオーラに「ハハーッ」とひれ伏してしまったのですが、権威に負けない人もいるようで、
最後まで納得されてません。あっぱれ。
この質疑応答を読んでいると、私自身にも質問者の方と同じ疑問が湧いてきます。
「サイコロの目の出方は等しくないとはいえない」
という、回りくどい結論の書き方になっていますが、
「サイコロの目の出方は等しいといえる」
というのと一緒ですよね？
思わず頷いてしまったこの質問が「全然違う」のは何故なのか？
手がかりは以下の３つです。
立てた仮説を否定するような、別の仮説を立てる。この仮説を、「帰無仮説」と呼ぶ。これに対して、もともと立てていた仮説を「対立仮説」と呼ぶ。
そして、「もし帰無仮説が正しいとしたら、今回取得できたようなデータが得られる確率は、どれぐらい小さいのか」を計算してみる。
「p=1/6」を帰無仮説，「p>1/6」あるいは「p≠1/6」を対立仮説として検定すれば，おそらく帰無仮説は棄却できないでしょう。では「p=1/6」が正しいと言えるんでしょうか。p=1/5ということだって十分ありえると思うんですけどね。
「判別能力がある」という程度にはいろいろあって，100％判別できるときでも，80％でも，（略）要するに，いくらでも段階があるからです．無数にあるこれらの段階のひとつひとつについて，（略）片っぱしから検定をしないと，「判別能力がない」という答えが得られません．
『統計のはなし－基礎・応用・娯楽－』大村平（日科技連出版社）134ページ
もうほとんど答えのような気もしますが、これら手掛かりについての私なりの解釈を、具体例に仕立てて披露してみましょう。
ＡさんとＢさんがサイコロ１個を使ったゲームを始めました。振ったサイコロの出目が奇数か偶数かを当てるゲームです。Ａさんが10回振ったとき8回奇数になり、Ｂさんはずいぶん予想を外してしまいました。
Ｂさんが叫びます。「イカサマだ！ サイコロの出目は奇数と偶数で1／2ずつになるはずなのに、奇数が出過ぎている！」
Ａさんは答えます。「落ち着いて、統計学的に考えてみようじゃないか。成功確率1／2のベルヌーイ試行を10回繰り返したのだから、8回以上奇数になる確率は二項分布に従って、
だ。面倒だからエクセルExcelで「=BINOM.DIST.RANGE(10,1/2,8,10)」で計算すると、答えは0.055だ。有意水準0.05で帰無仮説ｐ＝1／2は採択されたぞ。イカサマなんかしてないだろう？」
Ｂさん、少し落ち着いて「何を言ってる。帰無仮説ｐ＝1／2は棄却されなかっただけだ。イカサマをしていない根拠にはならない。」
Ａさん「何故だ？ ｐ≠1／2は否定されたのだから、ｐ＝1／2と言っていいだろう？」
Ｂさん「では、特殊な加工で６の目が出ないようにしたサイコロだとしたらどうだ？
奇数になる確率は3／5だ。ｐ＝3／5で10回中8回以上奇数になる確率は、
エクセルExcelで「=BINOM.DIST.RANGE(10,3/5,8,10)」で計算すると、答えは0.167だ。有意水準0.05で帰無仮説ｐ＝3／5は採択されたぞ。」
Ａさん「疑り深い奴だな。そんな加工はしてないよ。」
さて、Ａさんはイカサマをしていたのか、いなかったのか、それは私にもわかりません。
そして統計学的にも、「帰無仮説：Ａさんはイカサマをしていない」が棄却されなかったとしても、Ａさんの無実が証明されたわけではないのです。*1
帰無仮説を採択する理由
これは簡単ですね。ずばり採択しないと都合が悪いからです。
ふつう、統計的検定では仮説が棄却されるところに、意味があります。つまり、仮説が有意水準五％で棄却されると、仮説が成り立たないという結論を得ることができます。
逆に棄却されないとき仮説が成り立つということは言えません。仮説が成り立たないとは言えないというだけのことです。したがって、何ら結論を導き出せないのです。
ところが、この適合度検定だけは、仮説が棄却されると困ってしまうのです。理論比と実験比が一致すると、仮設を立てますから、この仮設が棄却されると実験結果は理論と一致しないということになってしまうのです。『マンガ統計手法入門』石村貞夫，高橋達央（シーエムシー）192ページ
『マンガでわかる統計学入門』の例で言えば、ＢポットがＡポットと同じ性能であってほしいというメーカーの都合が、帰無仮説を採択させます。
他にも、正規性の検定とか等分散性の検定とか、帰無仮説を採択するのが当たり前みたいに堂々と存在してますけど、鵜呑みにしちゃダメです。
そう言えば、分析ツールの分散分析に等分散検定をチョイ足ししたとき、
その方によると、分散分析の前に等分散の検定をするのは理論的に間違い（！）だが、する場合は、有意水準
Excel VBAで分析ツールの分散分析に等分散の検定とグラフも足してみた１ - 静粛に、只今統計勉強中を0.1～0.5の範囲に引き上げるべき、なのだそうです。
という説明に触れました。これについても検討しておきましょう。
あらゆる検定にいえることであるが，差がない（または等しい）標本どうしを差があると誤って判定する確率（第Ⅰ種の過誤）は有意水準以下に抑えることができる。しかし差がある標本どうしを差がないと誤って判定する確率（第Ⅱ種の過誤）はコントロールできない。少なくとも，上述した等分散性の検定では第Ⅰ種の過誤よりも第Ⅱ種の過誤がかなり大きい。
http://www.hs.hirosaki-u.ac.jp/~pteiki/research/stat/qa/qadiff.html
統計的仮説検定でおなじみの第一種の過誤と第二種の過誤、『マンガでわかる統計学入門』では分かりやすくグラフにしてくれています。
件（くだん）の先生の有意水準αを0.1～0.5の範囲に引き上げるべきは、上図で言えば（ガンマ）をできるだけ左にずらして第二種の過誤の確率を下げなさい、ということだったんですね。
以上について、最後にもう一度まとめておきます。
