今後の投稿について

初めに

初回の投稿でRを使用して重回帰分析の話題を取り上げたのですが、

実は私SASが得意分野でして、、、、(Rよりはです・・・・)

先日SAS社が開催しているSASユーザー総会なるものに参加してまいりました。

www.sas.com

ここでは、色々な業界(医薬が多いイメージ)の方々が、

SASでこんなことできるんやで!というのを発表しあう場でして

知っていることから知らないことまで色々と学べて毎度大変有意義でございます。

私自身、最初に触った言語がSASということもありまして、

SASのコードだったり、色々と調べた経験もたくさんあります。

そんな中いつも思っていたことが、「英語の説明がおおいい!!」「かゆいところに手が届くサイトが少ない!!」

と常日頃思っているのです。

なのでこのブログを通して、色々とそういった悩みを持たれている方の手助けになれればなと思います!

今後の投稿

以下のような内容を上げていこうかなと思います!

SASの基本>
 ・SASとは?
 ・データを作ってみよう!
 ・データを並び替えてみよう!
 ・複数のデータを縦にくっつけてみよう!
 ・複数のデータを横にくっつけてみよう!
 ・クロス集計してみよう!
 ・要約統計量を出してみよう!
<加工編>
 ・条件分岐をしてみよう!
 ・反復処理をしてみよう!
 ・配列を使ってみよう!
 ・retainを使ってみよう!
 ・first/lastを使ってみよう!
 ・マクロを使ってみよう!
 ・色々な表示形式を紹介!
<検定編>
 ・相関係数を出してみよう!
 ・t検定をやってみよう!
 ・カイ二乗検定をやってみよう!
 ・回帰をやってみよう!

乞うご期待していただければと思います!

最後に

名言が結構好きでして、気に入っている奴を今後載せていこうかと思います~!

他人が自分より優れていたとしても、それは恥ではない。しかし、去年の自分より今年の自分が優れていないのは立派な恥だ

by ジョン・ラボック

傾奇者の修業は続く・・・・

重回帰分析をやってみた感想

 

初めに


初投稿なので、書き方が下手くそなのはご容赦ください。

最近、機械学習の実装にはまりつつある駆け出しのデータ分析に従事するものなのですが

なかなか実務で使わないこともあり、本だけ読んだりしても学びになりきらないことが多いこの頃です。

そろそろkaggleにチャレンジしようか考えてはいるものの、その前に英語の壁が・・・

諦めて英語をちゃんと学ぼうと思っているそんな日常を送っております。

 

今回のお題

 
社内の満足度調査におけるデータ分析をしている中で重回帰分析をやってみたので

その際に思ったことをつらつら書いてきたいと思います。

今回重回帰分析を行った目的としては、影響を与えている説明変数がどれなのかを知りたくて

やってみました。

説明変数が100オーバーあるのでこのままだと表現するのが難しいと思ったためです。

 

今回の分析の流れ

 

①データ読み込み

#CSVデータ読み込み
>raw <-read.table("mid.csv", sep=",", skip=0, header=T)

 

②データ型確認

モデル構築や、その前の前処理等々を行う上で、毎回データ型は確認するようにしています。

#変数型確認
>str(raw)

data.frame':	67 obs. of  86 variables:
 $ col3 : int  4 5 3 4 3 5 3 5 5 4 ...
 $ col4 : int  4 4 3 4 3 5 4 5 5 2 ...
 $ col5 : int  4 4 4 4 2 4 4 1 5 5 ...
 $ col6 : int  4 5 4 4 2 5 4 1 5 4 ...
 $ col7 : int  5 5 4 4 4 4 2 1 5 5 ...
 $ col8 : int  5 5 4 4 3 3 2 1 5 4 ...
 $ col9 : int  2 5 4 4 3 4 3 1 5 4 ...
 $ col10: int  4 4 2 4 2 4 3 1 5 5 ...
 $ col11: int  4 5 2 4 4 3 2 3 5 4 ...
 $ col12: int  5 5 4 4 4 5 4 1 5 5 ...
 $ col13: int  4 4 3 4 3 4 3 1 5 4 ...
 $ col14: int  5 5 3 5 2 4 3 4 5 5 ...
 $ col15: int  2 2 3 4 3 3 4 1 4 4 ...
 $ col16: int  4 5 3 4 2 5 4 1 5 5 ...
 $ col17: int  5 5 1 4 5 5 5 5 5 5 ...
 $ col18: int  5 5 3 4 5 3 4 3 4 5 ...
 $ col19: int  5 4 3 4 2 4 4 3 5 5 ...
 $ col20: int  2 1 3 2 3 4 2 1 5 4 ...
 $ col21: int  5 4 2 4 3 5 4 1 5 5 ...
 $ col22: int  3 2 2 2 3 4 2 1 5 5 ...
 $ col23: int  4 4 1 4 2 4 5 4 5 5 ...
 $ col24: int  5 4 4 3 1 4 4 5 5 5 ...
 $ col25: int  5 4 4 2 2 5 4 5 5 5 ...
 $ col26: int  5 4 4 4 4 5 5 5 5 5 ...
 $ col27: int  5 5 4 3 1 4 4 5 5 4 ...
 $ col28: int  5 5 4 4 3 5 4 5 5 4 ...
 $ col29: int  5 5 4 3 1 3 3 2 3 3 ...
 $ col30: int  5 5 4 3 1 4 5 1 5 4 ...
 $ col31: int  5 5 4 4 4 5 4 5 5 5 ...
 $ col32: int  5 5 4 4 3 5 5 5 5 4 ...
 $ col33: int  5 5 4 4 2 5 5 5 5 4 ...
 $ col34: int  5 5 4 3 2 4 3 5 5 4 ...
 $ col35: int  5 5 4 4 3 5 3 5 5 4 ...
 $ col36: int  2 2 3 4 5 5 4 5 5 5 ...
 $ col37: int  2 1 1 2 3 3 5 1 3 4 ...
 $ col38: int  4 4 1 4 3 4 3 5 5 5 ...
 $ col39: int  2 2 1 2 2 3 1 1 3 3 ...
 $ col40: int  3 2 3 3 2 2 1 1 3 4 ...
 $ col41: int  2 1 3 3 1 2 1 5 1 3 ...
 $ col42: int  5 2 3 5 4 3 3 5 5 5 ...
 $ col43: int  3 2 3 3 2 4 3 5 1 4 ...
 $ col44: int  4 4 1 2 2 3 3 1 3 5 ...
 $ col45: int  4 2 1 4 4 4 5 3 4 5 ...
 $ col46: int  2 1 1 3 1 4 2 1 1 4 ...
 $ col47: int  3 4 1 4 4 2 4 1 3 5 ...
 $ col48: int  5 5 1 4 4 4 4 1 3 4 ...
 $ col49: int  4 4 1 4 2 4 4 3 5 4 ...
 $ col50: int  3 4 1 3 4 4 4 5 2 5 ...
 $ col51: int  3 1 1 3 1 4 3 3 3 5 ...
 $ col52: int  4 5 1 4 3 4 1 2 5 4 ...
 $ col53: int  4 5 1 4 2 5 3 5 5 5 ...
 $ col54: int  2 2 1 3 3 5 2 5 5 4 ...
 $ col55: int  3 2 1 3 2 3 3 1 5 4 ...
 $ col56: int  4 1 3 3 1 2 1 1 5 3 ...
 $ col57: int  4 1 3 3 3 4 1 1 5 4 ...
 $ col58: int  5 4 4 4 3 5 2 3 2 4 ...
 $ col59: int  5 5 4 4 4 5 1 5 5 5 ...
 $ col60: int  4 4 2 4 2 5 4 3 5 4 ...
 $ col61: int  3 5 2 4 1 4 5 5 5 3 ...
 $ col62: int  1 1 3 3 2 1 1 1 1 3 ...
 $ col63: int  5 4 1 4 2 3 1 1 5 5 ...
 $ col64: int  5 2 3 3 3 3 3 3 3 5 ...
 $ col65: int  3 4 1 3 3 3 5 1 2 4 ...
 $ col66: int  3 4 2 3 3 2 3 3 3 4 ...
 $ col67: int  2 2 3 3 4 4 3 1 5 4 ...
 $ col68: int  4 2 3 3 2 4 3 1 3 4 ...
 $ col69: int  4 2 3 3 4 4 3 1 3 4 ...
 $ col70: int  5 4 1 4 4 4 3 3 5 5 ...
 $ col71: int  4 4 2 4 2 4 3 3 3 5 ...
 $ col72: int  4 4 3 4 4 4 5 3 5 5 ...
 $ col73: int  4 2 1 3 4 4 3 2 5 5 ...
 $ col74: int  4 4 1 4 4 4 3 5 5 5 ...
 $ col75: int  4 4 4 3 4 3 3 1 5 5 ...
 $ col76: int  2 4 3 4 3 4 3 1 3 5 ...
 $ col77: int  4 2 3 3 1 3 5 3 4 5 ...
 $ col78: int  1 1 3 1 1 1 2 2 1 1 ...
 $ col79: int  3 3 1 3 3 3 4 1 3 3 ...
 $ col80: int  4 5 3 4 1 4 3 1 5 5 ...
 $ col81: int  2 2 1 4 2 2 3 1 2 5 ...
 $ col82: int  4 5 3 4 4 2 4 2 2 5 ...
 $ col83: int  3 4 3 3 2 3 2 1 3 5 ...
 $ col84: int  3 4 1 3 2 2 1 2 3 5 ...
 $ col85: int  5 5 1 4 4 5 3 3 5 5 ...
 $ col86: int  5 5 1 4 3 4 5 1 4 5 ...
 $ col87: num  95 90 50 80 65 65 100 50 75 99 ...
 $ col88: int  5 5 1 4 2 4 5 4 5 5 ...

相関係数算出

#目的変数だけ削除(説明変数間の相関を知りたいため)
>raw$col87 <- NULL

#相関係数算出(今回すべてカテゴリカルデータなのでスピアマンを選択)
>cor(raw, method="s")

#上位100個だけ表示
var1	var2	相関係数
col86	col85	0.839680573
col57	col56	0.833263361
col80	col10	0.80771083
col33	col32	0.783367001
col88	col60	0.76990517
col88	col23	0.769412805
col35	col28	0.732420905
col60	col23	0.722527101
col28	col27	0.721938157
col69	col68	0.717220106
col44	col19	0.716338064
col40	col39	0.711849849
col26	col25	0.704318995
col19	col13	0.703527606
col77	col23	0.701144923
col33	col26	0.700488152
col35	col33	0.700301945
col38	col23	0.697158019
col84	col83	0.696358591
col51	col46	0.690544937
col11	col7	0.685979872
col86	col23	0.684983949
col28	col26	0.684860782
col43	col41	0.684228214
col35	col34	0.679980141
col85	col23	0.678404372
col28	col25	0.676722951
col86	col88	0.673168273
col34	col28	0.6655166
col50	col48	0.663774834
col32	col26	0.65840195
col76	col48	0.655878385
col34	col33	0.65259469
col48	col45	0.650525832
col35	col32	0.647262669
col76	col71	0.64121364
col77	col75	0.640823515
col30	col13	0.638062012
col10	col7	0.634665477
col48	col23	0.634524189
col60	col52	0.63382728
col60	col48	0.633726987
col77	col51	0.631853274
col88	col85	0.631246945
col13	col12	0.62957851
col8	col7	0.629533971
col86	col44	0.627085566
col76	col45	0.626751154
col53	col52	0.625406834
col77	col71	0.624227193
col71	col23	0.623029445
col76	col50	0.621601661
col10	col5	0.621555655
col35	col31	0.621088094
col30	col29	0.621036428
col6	col5	0.619796478
col52	col48	0.618194467
col34	col32	0.618189026
col19	col14	0.616934941
col11	col8	0.615898497
col77	col76	0.614846786
col80	col22	0.614353565
col60	col53	0.611961339
col32	col25	0.611174771
col27	col12	0.608684679
col32	col30	0.60766982
col88	col38	0.607342046
col28	col12	0.606922027
col50	col45	0.606417828
col22	col20	0.606157202
col77	col45	0.606145753
col72	col38	0.603307992
col28	col13	0.603239561
col80	col12	0.603212453
col35	col25	0.602872863
col86	col19	0.60254579
col30	col25	0.602475514
col86	col12	0.602145245
col60	col55	0.601338223
col32	col28	0.59948099
col85	col38	0.597622095
col48	col47	0.597011258
col86	col80	0.595569495
col83	col80	0.595435686
col30	col16	0.594567926
col74	col23	0.594228736
col9	col5	0.594121285
col14	col13	0.593352369
col77	col60	0.590792606
col33	col30	0.590053764
col86	col82	0.58987068
col77	col69	0.589825241
col16	col14	0.589578792
col23	col19	0.586099454
col34	col30	0.585682769
col88	col77	0.585088422
col27	col25	0.584962782
col50	col23	0.581675317
col44	col13	0.581587025

④重回帰にかける

#全ての変数を標準化
>lm_data$z1<-(lm_data$col3-mean(lm_data$col3))/sd(lm_data$col3)

#重回帰分析をかけてみた
>summary(lm( col87 ~ . , lm_data ))

Call:
lm(formula = col87 ~ ., data = lm_data)

Residuals:
ALL 67 residuals are 0: no residual degrees of freedom!

Coefficients: (19 not defined because of singularities)
            Estimate Std. Error t value Pr(>|t|)
(Intercept)   47.981         NA      NA       NA
z1            13.178         NA      NA       NA
z2            28.898         NA      NA       NA
z3            16.946         NA      NA       NA
z4            24.980         NA      NA       NA
z5           -38.788         NA      NA       NA
z6           -13.948         NA      NA       NA
z7           -10.864         NA      NA       NA
z8            24.261         NA      NA       NA
z9           -57.778         NA      NA       NA
z10           19.212         NA      NA       NA
z11           13.774         NA      NA       NA
z12           24.831         NA      NA       NA
z13          -28.720         NA      NA       NA
z14           -7.831         NA      NA       NA
z15           15.910         NA      NA       NA
z16            4.889         NA      NA       NA
z17           -4.727         NA      NA       NA
z18          -29.249         NA      NA       NA
z19          -21.361         NA      NA       NA
z20           24.183         NA      NA       NA
z21           57.694         NA      NA       NA
z22          -41.417         NA      NA       NA
z23           -3.885         NA      NA       NA
z24           -2.771         NA      NA       NA
z25           38.135         NA      NA       NA
z26            6.904         NA      NA       NA
z27            2.798         NA      NA       NA
z28          -19.399         NA      NA       NA
z29            0.161         NA      NA       NA
z30          -60.951         NA      NA       NA
z31           13.257         NA      NA       NA
z32           15.902         NA      NA       NA
z33           19.086         NA      NA       NA
z34            2.294         NA      NA       NA
z35           10.647         NA      NA       NA
z36           -8.412         NA      NA       NA
z37            4.487         NA      NA       NA
z38           25.297         NA      NA       NA
z39          -49.436         NA      NA       NA
z40           12.038         NA      NA       NA
z41           -9.866         NA      NA       NA
z42          -53.166         NA      NA       NA
z43           -2.123         NA      NA       NA
z44            9.790         NA      NA       NA
z45           16.601         NA      NA       NA
z46           34.261         NA      NA       NA
z47          -18.339         NA      NA       NA
z48            5.316         NA      NA       NA
z49          -15.007         NA      NA       NA
z50           -4.955         NA      NA       NA
z51           -5.740         NA      NA       NA
z52           14.021         NA      NA       NA
z53           -7.792         NA      NA       NA
z54           -6.165         NA      NA       NA
z55           -1.722         NA      NA       NA
z56           22.000         NA      NA       NA
z57            1.849         NA      NA       NA
z58           -5.152         NA      NA       NA
z59          -31.258         NA      NA       NA
z60           16.960         NA      NA       NA
z61            2.908         NA      NA       NA
z62           -6.269         NA      NA       NA
z63          -37.403         NA      NA       NA
z64           12.321         NA      NA       NA
z65           -8.842         NA      NA       NA
z66           12.431         NA      NA       NA
z67               NA         NA      NA       NA
z68               NA         NA      NA       NA
z69               NA         NA      NA       NA
z70               NA         NA      NA       NA
z71               NA         NA      NA       NA
z72               NA         NA      NA       NA
z73               NA         NA      NA       NA
z74               NA         NA      NA       NA
z75               NA         NA      NA       NA
z76               NA         NA      NA       NA
z77               NA         NA      NA       NA
z78               NA         NA      NA       NA
z79               NA         NA      NA       NA
z80               NA         NA      NA       NA
z81               NA         NA      NA       NA
z82               NA         NA      NA       NA
z83               NA         NA      NA       NA
z84               NA         NA      NA       NA
z86               NA         NA      NA       NA

Residual standard error: NaN on 0 degrees of freedom
Multiple R-squared:      1,	Adjusted R-squared:    NaN 
F-statistic:   NaN on 66 and 0 DF,  p-value: NA

 
何かおかしいぞ。
出るはずの値が出てこない・・・

「Coefficients: (19 not defined because of singularities)」

こんなエラーが出てました。

色々と調べてみた結果、以下の解決記事にたどり着きました。

stats.stackexchange.com

読み解いてみると、どうやら説明変数間の相関が強いことにより出るエラーっぽいです。
色々なことやってきましたが、初めて出ました。
ということなので、せっせと相関が強い説明変数を外していこうと思います、とほほ・・・


こういう場合皆さんこの後の流れはどうやられてるんですかね。
一応私は、説明変数間の相関を定性分析という形で見て、削っていこうと思ってます。
また、その結果一番高い組み合わせのモデルの精度を考えていこうと思ってます。


結構マルチコ(多重共線性のこと。以下、リンク詳細)の問題って難しい問題だと思っていて、
理論ではある程度分かってはいるもののこれをビジネス上で解決しようと思うと結構分析官の主観に基づいて意思決定されることが多いいのかなと思っています。


webbeginner.hatenablog.com



本来であればこのようなエラーは出ないのがほとんどだと思っていて、
VIF値とかを見ながら自分で多重共線性の可能性を探っていくものだと思っていたので
今回このようなエラーが出たのは一つ知識としてなりました。
今後も重回帰分析を多用していくと思うので、ここら辺はマスターしていきたいと思っています。


また、この結果が出たら出来る範囲でお話しできたらと思います~。



傾奇者の修業は続く・・・・