静粛に、只今統計勉強中

仕事でデータ分析をすることになったバリバリ文系アラフィフのおっさんが、独学で統計の勉強を始めました。

【備忘録】MS AccessのテーブルにUTF-8のCSVをインポートするときに生じる不具合コンボの切り抜け方3

ここまで、AccessのテーブルにUTF-8のCSVをインポートする際に生じる不具合の回避策として、 CSVをANSI規格で保存しなおしてからインポート UTF-8(ボム付)のCSVをExcelで開いてExcel形式で保存してからインポート という2つの方法があるが、どちらも万全…

【備忘録】MS AccessのテーブルにUTF-8のCSVをインポートするときに生じる不具合コンボの切り抜け方2

前回は、MS AccessがCSVのインポート時に、自動判別してくれるはずの「長いテキスト」を判別してくれず、インポートエラーになった。というお話をしました。 自動判別してくれないのなら、しかたがないから自分でフィールドのデータ型を設定しましょう。 テ…

【備忘録】MS AccessのテーブルにUTF-8のCSVをインポートするときに生じる不具合コンボの切り抜け方1

AccessのテーブルにUTF-8のCSVをインポートしようとしたら、謎の不具合が連続して現れたので、対処方法を備忘録的に書き留めておくことにしました。 まず、UTF-8のCSVを用意します。今回は以下からダウンロードしてみました。

Excel VBAでコレログラムを作成するマクロを作ってみた3

前回までの2回で、Excelで自己相関係数を計算し、コレログラムを作成するところまでできましたので、今回は、この一連の手順をVBAマクロで自動化したいと思います。 といっても、計算はたいしてややこしいものではありませんし、グラフ作成の自動化も前に何…

Excel VBAでコレログラムを作成するマクロを作ってみた2

前回は、 統計学入門 (基礎統計学Ⅰ) 作者: 出版社/メーカー: 東京大学出版会 発売日: 1991/07/09 メディア: 単行本 と 現場ですぐ使える時系列データ分析 ~データサイエンティストのための基礎知識~ 作者:横内 大介,青木 義充 出版社/メーカー: 技術評論社 …

Excel VBAでコレログラムを作成するマクロを作ってみた1

2019年11月実施の統計検定2級試験の問題が公式WEBサイトに公開されていたので、ダウンロードして解いてみたのですが、またしてもコレログラムの問題で間違ってしまいました。 2015年11月に初登場してこれで4回目の出題になりますが、4回とも一度で正解で…

統計検定準1級の過去問で台風の上陸数がポアソン分布に従うと知った2

前回は、2016年6月実施の統計検定準1級試験の問題に沿って適合度検定をしたところ、帰無仮説「H0:台風上陸数の観測度数はλ=2.84のポアソン分布に従う」が棄却されてしまった、というところまでお話ししました。 今回は、やっぱり試験問題の内容に沿って、…

統計検定準1級の過去問で台風の上陸数がポアソン分布に従うと知った1

現在、大型で猛烈な台風19号が日本列島に接近中です。 ウェザーニュース社が発表した予報円の真ん中を進んだ場合、13日(日)あたりに関東を直撃するコースになっていて、また大きな被害が生じてしまうことが心配されます。 それにつけても、近年日本に上陸…

Excel VBAで<てこ比>を求める関数を作ってみた

前回は、Excel分析ツールの回帰分析の結果から、Rの「基本的診断プロット」と同じグラフを作れんものかとチャレンジしましたが、Residuals vs Leverage まで来たところで、てこ比をどうしようか、となって終わりました。 そこで今回は、Excelでてこ比を計算…

Excel分析ツールの回帰分析結果から回帰診断図を作ってみよう

前回までの3回で、Rを使って回帰診断図 の読み方を、またExcelの散布図を使って対数変換の意味を学びました。 今回は、Excel分析ツールの回帰分析結果から、Rと同様の回帰診断図を作れるかチャレンジしてみたいと思います。 Excel分析ツールで回帰分析 Resi…

回帰分析における対数変換の意味を実感してみよう3

前回、目的変数と説明変数を両方対数にして線形回帰モデルに当てはめたところ、信頼性のある結果が得られた、というお話をしました。 そこで、今回はその意味を考えてみたいと思います。

回帰分析における対数変換の意味を実感してみよう2

前回、 日本統計学会公式認定 統計検定 2級 公式問題集[2012~2014年] 作者: 日本統計学会 出版社/メーカー: 実務教育出版 発売日: 2015/03/21 メディア: 単行本(ソフトカバー) この商品を含むブログ (1件) を見る に掲載されている統計検定準1級の<例題>…

回帰分析における対数変換の意味を実感してみよう1

2018年11月試験で統計検定2級に合格したので、今度は準1級に挑戦しようと思い、 日本統計学会公式認定 統計検定 2級 公式問題集[2012~2014年] 作者: 日本統計学会 出版社/メーカー: 実務教育出版 発売日: 2015/03/21 メディア: 単行本(ソフトカバー) この…

ベン図だけでわかる包除原理

包除原理というのは、和集合の要素数を計算するための基本的な原理、なのだそうです。個数定理とよばれることもあるとか。 高校1年の数学Aで学ぶ内容みたいですが、私は習った覚えがありません。習わなかったと思います。習わなかったんじゃないかな。 とも…

偏相関係数は残差の相関係数だった3

前回、統計検定2級試験の2018年6月 問2で取り上げられたデータを使って、実際に、常設映画館数と一般病院病床数を各々人口に回帰させる単回帰モデルを最小二乗法で推定した時の残差、の相関係数が、偏相関係数の定義で求められる値と一致することを確かめる…

偏相関係数は残差の相関係数だった2

前回は、手持ちの入門書で偏相関係数のことを学びなおそうとしたけれども、いま一つピンとこなかった、というお話をしました。 そこで今回は、統計検定2級試験の2018年6月 問2で取り上げられているデータにとことん向き合うことで、偏相関係数は残差どうし…

偏相関係数は残差の相関係数だった1

統計検定2級試験、2018年6月 問2〔3〕の一番目の選択肢には、こう書かれています。 残差 と残差 の相関係数は,人口の影響を除去した時の相関係数であり,常設映画館数と一般病院病床数の偏相関係数とよばれるものである。 これだけだと「残差 と残差ってな…

Amazon定期おトク便がいつもお得とは限らない件

定期的に買うものがある人にとって、Amazon定期おトク便はとてもありがたいサービスですよね?*1ご多分に漏れずわたしも利用しているのですが、先日、このサービスが必ずしもお得じゃないことがあることに気づいてしまったので、ご報告したいと思います。 *1…

不偏分散の平方根は不偏標準偏差じゃなかった

分散の(正の)平方根が標準偏差であることは、みなさんご存じですよね? では、不偏分散 の(正の)平方根は、不偏標準偏差でしょうか? タイトルで種明かししちゃってるんだから、こんな謎かけしてもしょうがないんですが、でも、にわかには信じがたいです…

不偏じゃないほうの標本分散も一致推定量だった

前回、母分散の不偏推定量が不偏分散 であることをようやく理解したわけですが、推定量の望ましい性質は、不偏性のほかに一致性というのもあります。 一致性というのは、推定量が大数の法則に従っている場合に指す言葉で、 サンプルサイズが大きくなれば、推…

標本の不偏分散はやっぱり母分散の不偏推定量だった2

前回、 不偏分散について学びなおすぞ! と決意して、わりとたくさん持ってる『マンガで(ほにゃらら)統計学』を片っ端から読み返してみたけれども、全然わからなかった、というお話をしました。 今回は、もう少しハードな本とか親切なWEBサイトとかを駆…

標本の不偏分散はやっぱり母分散の不偏推定量だった1

統計学を勉強し始めて「えー、なんで?」と思うことの一つに不偏分散があります。ありますよね!? だって、 じゃなくて、 ですよ? nの後ろの-1ってなんじゃい! ってなるじゃないですか。なりますよね!? そんなわけで、手持ちの入門書をひっくり返して、…

標本平均の分布が正規分布になることをシミュレーションで確かめてみた2

前回は、の母集団からの標本を1000回抽出し、標本分布を作るところまで行いました。 今回は、サンプルサイズの大きさや母集団の分布の形によって、標本分布の形・標本平均の平均・標本平均の分散がどう変わるかを確認してみたいと思います。

標本平均の分布が正規分布になることをシミュレーションで確かめてみた1

標本平均というのは、母集団から抽出した標本の平均値のことです。言わずもがなですね。 ですから、標本平均は母集団の平均値であることが期待されるわけですが、残念ながらピッタリ一致することは滅多にありません。 母分散をサンプルサイズで割った分だけ…

Excel VBAでワークシート上の表をLaTeX形式に変換するマクロを作ってみた

12月に入ってから、 の勉強を始めました。 ってなんぞや? という方は、以下のサイトをご参照ください。 LaTeX入門 - TeX Wiki こちらのサイトを参考にさせていただき、 W32TeX というディストリビューションをインストールしました。 現在、W32TeX に付属…

統計検定2級を受験してきた

というわけで、11月25日(日)に本試験を受けてきました。 手応えとしてはまずまずだったのですが、Web合格発表はおよそ1か月後。ここ数日ソワソワと落ち着かない気分でしたが、ブログで受験報告でもしようかと思って統計検定の公式サイトを見てみた…

統計検定2級試験の合格率と設問分類で重回帰分析してみた

そろそろ試験実施日が近くなってきたので、統計検定2級試験の設問分類をあれこれ弄るシリーズも、ここでいったん締めたいと思います。勉強に集中せねば。 ラストは、合格率に影響を与えている小項目があるかどうかを回帰分析で探ってみます。*1 *1:本当は項…

統計検定2級の設問分類をクロス集計してみた2

前回に引き続き、出題の有無をダミー変数として、小項目と実施年月でクロス集計した結果をもとに、時系列的な傾向が読み取れるかどうかを探っていきます。

統計検定2級の設問分類をクロス集計してみた1

相変わらず、勉強がてら統計検定2級の過去問を分類したデータをあれこれと弄っておりますが、今回は、出題の有無をダミー変数として、小項目と実施年月でクロス集計してみました。もちろん、なんらかトレンド、つまり時系列的な傾向が読み取れたらいいなぁ…

統計検定2級の設問を分類→集計してみた4

統計検定2級の設問を分類→集計してみたシリーズの第4回です。 今回は、「解答番号」*1を合計してみました。 そんなもん集計して何の意味があるんだと言われそうですが、大まかに言って後半になるほど、つまり「解答番号」が大きくなるほど難易度が上がる傾…