静粛に、只今統計勉強中

仕事でデータ分析をすることになったバリバリ文系アラフィフのおっさんが、独学で統計の勉強を始めました。

Excel VBAで<てこ比>を求める関数を作ってみた

前回は、Excel分析ツールの回帰分析の結果から、の「基本的診断プロット」と同じグラフを作れんものかとチャレンジしましたが、Residuals vs Leverage まで来たところで、てこ比をどうしようか、となって終わりました。

そこで今回は、Excelてこ比を計算してみたいと思います。 

計算方法ですが、 

RとRコマンダーではじめる多変量解析

RとRコマンダーではじめる多変量解析

の73ページに、

射影行列(式(3.57))の対角要素 hiiを、てこ比またはレベレッジ(Leverage)という。

また、70ページに、

 yの係数を Hとし、その要素を、

 H=X(X^TX)^{-1}X^T=\begin{pmatrix}h_{11} \ldots h_{1n} \\ \vdots  \ddots \vdots  \\ h_{n1} \ldots h_{nn}\end{pmatrix}

とおく。 Hを射影行列という。(略)ハット行列ともいう。

さらに、54ページに

 X=\begin{pmatrix}1 x_{11} x_{12}  \\ 1 x_{21} x_{22}  \\ \vdots   \vdots  \vdots    \\1 x_{n1} x_{n2} \end{pmatrix}

とあります。

射影行列(ハット行列)は、最小二乗法で計算するときに導かれる行列らしいのですが、私自身がまだ十分に理解できていないので、ここで解説することはできません。

が、上の手がかりさえあれば、計算そのものは進めることができます。

 Xは、説明変数が二つの場合を表していて、 x_{i1},x_{i2}がそれにあたります。
ちなみに、左側に並んでいる「1」は切片のための列だそうで、切片は定数項なので「1」となります。*1
あとは、行列の計算で Hを求めて、対角要素を抽出するだけです。
(ちなみに、 X^T Xの転置行列、 X^{-1} X逆行列を表します。)

*1: \hat y = \alpha\times1+\beta_{1}\times x_{1}+\beta_{2}\times x_{2}となるから。

続きを読む

Excel分析ツールの回帰分析結果から回帰診断図を作ってみよう

前回までの3回で、Rを使って回帰診断図

f:id:cyclo-commuter:20190828151740j:plain

の読み方を、またExcelの散布図を使って対数変換の意味を学びました。

今回は、Excel分析ツールの回帰分析結果から、Rと同様の回帰診断図を作れるかチャレンジしてみたいと思います。

  • Excel分析ツールで回帰分析
  • Residuals vs Fitted
  • Normal Q-Q 
  • Scale-Location
  • Residuals vs Leverage
続きを読む

回帰分析における対数変換の意味を実感してみよう3

前回、目的変数 yと説明変数 xを両方対数にして線形回帰モデルに当てはめたところ、信頼性のある結果が得られた、というお話をしました。

そこで、今回はその意味を考えてみたいと思います。

 

続きを読む

回帰分析における対数変換の意味を実感してみよう2

前回、 

日本統計学会公式認定 統計検定 2級 公式問題集[2012~2014年]

日本統計学会公式認定 統計検定 2級 公式問題集[2012~2014年]

に掲載されている統計検定準1級の<例題>の問11から、回帰分析において決定係数が高くても回帰モデルが有効でない場合があることを知りました。

じゃあ、どうすればいいの?

と、当然なりますが、対処法としては、

  • 別のモデルを考える
  • 変数を変換してみる
  • 外れ値を削除してみる

といったことが考えられるそうです。

続きを読む

回帰分析における対数変換の意味を実感してみよう1

2018年11月試験で統計検定2級に合格したので、今度は準1級に挑戦しようと思い、 

日本統計学会公式認定 統計検定 2級 公式問題集[2012~2014年]

日本統計学会公式認定 統計検定 2級 公式問題集[2012~2014年]

に掲載されている<例題>を解いてみました。

準1級は、2015年6月から始まったので、上の問題集が出版された時点では未開始でした。なので、<例題>は「こんな感じの問題を出しますから、参考にしてくださいね」という日本統計学会の配慮といったところでしょうか。

まだ、実際に出題された過去問は見ていませんが、<例題>は、ほとんどが2級レベルでした。こんなことなら、2級を受ける前にも解いておけばよかった。

<例題>で2級のレベルを超える問題は36問中10問(うち論述が2問)ありましたが、全然全く歯が立ちませんでした。残り10カ月で受験できるようになるか、かなり不安です。

 

それはさておき、今回のお題は回帰分析における対数変換です。というのも、<例題>の問11で取り上げられたデータが、その意味を実感するのにうってつけと思えたから。

続きを読む