有意

そろそろ（宣言によると）更新時期なのでネタを探してみました。

今回は統計的検定における有意ということについてです。

今週は学部生さんに何十回と検定を説明しました。

説明の仕方が悪いのか、なかなか納得してもらえなかったり・・・(^_^;)。

心理学の研究やその他いろいろなところで
統計的検定を行っているものを目にします。

検定についていろいろ思うところはあるのですが、
今回はその中の１つを取り上げてみたいと思います。

今、一番気になっているのは「有意傾向」という言い方です。
これは10%水準で有意であったときに用いられる言い方のようです（どこで言われはじめたのでしょうか・・・）。

心理学では有意水準を1%, 5%, 0.1%を慣例として
用いています。

そもそも、統計的検定とは、

ある仮説（帰無仮説or検定仮説）の下で

その事象が起こる確率がどの程度かを求め、

そこから帰無仮説が正しいかどうかを判断するものです。

その事象が帰無仮説の下で滅多に起こらないのであれば、
「帰無仮説が誤りである」という判断を下し対立仮説を採択するわけです。

これが統計的検定の基本的な考え方です。

つまり、帰無仮説が誤りであるかどうかは、
帰無仮説の下でその事象が起こる確率がどの程度で、
それはその仮説が誤りであるとする根拠となるほど
滅多に起こらないことかどうかという１点を検討すればいいわけです。

従って、1%水準であるか5%水準であるかは
単なる基準であって、どちらが良いとか大きな差があるとかという訳ではありません。

ただ、研究をしていると、
5%より1%が、1%より0.1%の方が良い（うれしい）
という感覚は確かにあるのですが、
そもそもの統計的検定の考え方としては、
有意確率の量的な程度を評価するという
観点はないのではないかと思います。

1%水準であろうと5%水準であろうと
帰無仮説を棄却するということには変わりはありません。

さて、それでは有意水準が10%の場合
有意傾向があるというのはどうなのでしょうか。

まず、10%という確率が滅多に起こらないことであるのかどうか
という点が、これを認めるかどうかという
議論の争点になると思います。
（これはよく議論されることだと思います）

僕がもう一つ気になるのは「傾向」という言葉です。

この言い方をするとどうしても
有意確率を評価している気がしてなりません。

たとえ10%に有意水準をおいたとしても、
あくまで帰無仮説の下でその事象が起こる確率が
10%以下かどうかのみを検討するべきだと思います。

そこから「傾向」ということを言うのは
やはり問題があるような気がします。

例えばですが、
5%で有意差があった時よりも、
1%で有意差があったときの方が
差がある傾向が強いのかというと
そうではありません。

とりあえずは、有意傾向などと言わずに、
はっきりと
「10%水準で有意であった」
といった方がいいような気さえします。
（当然、10%でも良いといっているわけではありません）

学部生さんのレポートを見ていると、
p< .0000 や p< .003 と書いているものがあったりします。

また、

Xという変数では1%水準で有意差が認められた。
またYという変数では5%水準で有意差が認められた。
従って、Yという変数の方が差がある

という記述があったりします。

これも検定を誤解？？しているために起こるものだと思います。

結論というわけではありませんが、

統計的検定は
「1%水準で判断する」「5%で判断する」ということを
はっきりさせた上で行うべきだと思います。

極端にいえば、どれだけ有意確率が低い値を示していたとしても、
「5%水準で有意であった」というのが
カッコイイ気さえします（笑）。

有意傾向　という言い方・・・
やはり好きにはなれません。

いろいろ批判もあるような気はしますが、
最近考えたことです。