• Skip to main content
  • Skip to primary sidebar

学習記録

教師有り

複数のデータの訓練、テストスコアを比較

2018年1月23日 by 河副 太智 Leave a Comment

過学習でないかどうかを調べる

訓練セットスコアとテストセットの値が非常に近い場合は適合不足
0.9や1の場合は過学習を疑う

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
#決定木
from sklearn.tree import DecisionTreeClassifier
ki = DecisionTreeClassifier(random_state=0).fit(train_X, train_y)
print("ketteiki training score{:.2f}".format(ki.score(train_X,train_y)))
print("ketteiki test score{:.2f}".format(ki.score(test_X,test_y)))
 
 
 
#ランダムフォレスト
from sklearn.ensemble import RandomForestClassifier
mori = RandomForestClassifier(random_state=0).fit(train_X,train_y)
print("mori training score{:.2f}".format(mori.score(train_X,train_y)))
print("mori test score{:.2f}".format(mori.score(test_X,test_y)))
 
 
#ロジスティック回帰
from sklearn.linear_model import LogisticRegression
logi = LogisticRegression(C=100).fit(train_X,train_y)
print("logi training score{:.2f}".format(logi.score(train_X,train_y)))
print("logi test score{:.2f}".format(logi.score(test_X,test_y)))
 
 
# #KNN
from sklearn.neighbors import KNeighborsClassifier
KNN = KNeighborsClassifier(4).fit(train_X,train_y)
print("KNN training score{:.2f}".format(KNN.score(train_X,train_y)))
print("KNN test score{:.2f}".format(KNN.score(test_X,test_y)))
 
# #SVC
from sklearn.svm import SVC
svc = SVC(probability=True).fit(train_X,train_y)
print("svc training score{:.2f}".format(svc.score(train_X,train_y)))
print("svc test score{:.2f}".format(svc.score(test_X,test_y)))
 
# #AdaBoostClassifier
from sklearn.ensemble import AdaBoostClassifier
ada = AdaBoostClassifier().fit(train_X,train_y)
print("ada training score{:.2f}".format(ada.score(train_X,train_y)))
print("ada test score{:.2f}".format(ada.score(test_X,test_y)))
 
# #GradientBoostingClassifier
from sklearn.ensemble import GradientBoostingClassifier
gra = GradientBoostingClassifier().fit(train_X,train_y)
print("gra training score{:.2f}".format(gra.score(train_X,train_y)))
print("gra test score{:.2f}".format(gra.score(test_X,test_y)))
 
# #GaussianNB
from sklearn.naive_bayes import GaussianNB
gaus = GaussianNB().fit(train_X,train_y)
print("gaus training score{:.2f}".format(gaus.score(train_X,train_y)))
print("gaus test score{:.2f}".format(gaus.score(test_X,test_y)))
 
# #LinearDiscriminantAnalysis
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
lda = LinearDiscriminantAnalysis().fit(train_X,train_y)
print("lda training score{:.2f}".format(lda.score(train_X,train_y)))
print("lda test score{:.2f}".format(lda.score(test_X,test_y)))
 
# #QuadraticDiscriminantAnalysis
from sklearn.discriminant_analysis import QuadraticDiscriminantAnalysis
qua = QuadraticDiscriminantAnalysis().fit(train_X,train_y)
print("qua training score{:.2f}".format(qua.score(train_X,train_y)))
print("qua test score{:.2f}".format(qua.score(test_X,test_y)))

 

Filed Under: 教師有り, 機械学習

複数の分類器で一気に比較

2018年1月19日 by 河副 太智 Leave a Comment

複数の分類器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
import pandas as pd
from sklearn.model_selection import train_test_split
 
df = pd.read_csv('train.csv')
 
df = df.drop(['Cabin','Name','PassengerId','Ticket'],axis=1)
train_X = df.drop('Survived', axis=1)
train_y = df.Survived
(train_X, test_X ,train_y, test_y) = train_test_split(train_X, train_y, test_size = 0.3, random_state = 666)
 
 
#決定木
from sklearn.tree import DecisionTreeClassifier
ki = DecisionTreeClassifier(random_state=0).fit(train_X, train_y)
print(ki.score(train_X,train_y))
 
 
 
#ランダムフォレスト
from sklearn.ensemble import RandomForestClassifier
mori = RandomForestClassifier(random_state=0).fit(train_X,train_y)
print(mori.score(train_X,train_y))
 
 
#ロジスティック回帰
from sklearn.linear_model import LogisticRegression
logi = LogisticRegression(C=100).fit(train_X,train_y)
print(logi.score(train_X,train_y))
 
 
#KNN
from sklearn.neighbors import KNeighborsClassifier
KNN = KNeighborsClassifier(4).fit(train_X,train_y)
print(KNN.score(train_X,train_y))
 
#SVC
from sklearn.svm import SVC
svc = SVC(probability=True).fit(train_X,train_y)
print(svc.score(train_X,train_y))
 
#AdaBoostClassifier
from sklearn.ensemble import AdaBoostClassifier
ada = AdaBoostClassifier().fit(train_X,train_y)
print(ada.score(train_X,train_y))
 
#GradientBoostingClassifier
from sklearn.ensemble import GradientBoostingClassifier
gra = GradientBoostingClassifier().fit(train_X,train_y)
print(gra.score(train_X,train_y))
 
#GaussianNB
from sklearn.naive_bayes import GaussianNB
gaus = GaussianNB().fit(train_X,train_y)
print(gaus.score(train_X,train_y))
 
#LinearDiscriminantAnalysis
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
lda = LinearDiscriminantAnalysis().fit(train_X,train_y)
print(lda.score(train_X,train_y))
 
#QuadraticDiscriminantAnalysis
from sklearn.discriminant_analysis import QuadraticDiscriminantAnalysis
qua = QuadraticDiscriminantAnalysis().fit(train_X,train_y)
print(qua.score(train_X,train_y))

Out[]:
0.982343499197
0.967897271268
0.807383627608
0.796147672552
0.886035313002
0.837881219904
0.898876404494
0.796147672552
0.799357945425
0.813804173355

Filed Under: scikit-learn, 分析手法, 教師有り, 機械学習

決定木の可視化 ツリーグラフ

2018年1月16日 by 河副 太智 Leave a Comment

最初にインストール

1
2
pip install pydotplus
brew install graphviz

1
2
3
4
5
6
7
8
9
10
11
#可視化
import pydotplus
from IPython.display import Image
from graphviz import Digraph
from sklearn.externals.six import StringIO
 
dot_data = StringIO()
tree.export_graphviz(clf, out_file=dot_data,feature_names=train_X.columns, max_depth=3)
graph = pydotplus.graph_from_dot_data(dot_data.getvalue())
graph.write_pdf("graph.pdf")
Image(graph.create_png())

 

 

Filed Under: 教師有り, 機械学習

aucモデル評価、モデルスコア

2018年1月16日 by 河副 太智 Leave a Comment

モデルスコア1に近いほど精度が高い

1
2
3
4
5
6
from sklearn.metrics import (roc_curve, auc, accuracy_score)
 
pred = clf.predict(test_X)
fpr, tpr, thresholds = roc_curve(test_y, pred, pos_label=1)
auc(fpr, tpr)
accuracy_score(pred, test_y)

 

Filed Under: 教師有り, 機械学習

機械学習コード全体像

2018年1月16日 by 河副 太智 Leave a Comment

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
Machine LearningPython
 
# Import libraries and modules
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn import preprocessing
from sklearn.ensemble import RandomForestRegressor
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.externals import joblib
# Load red wine data.
dataset_url = 'http://mlr.cs.umass.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv'
data = pd.read_csv(dataset_url, sep=';')
# Split data into training and test sets
y = data.quality
X = data.drop('quality', axis=1)
X_train, X_test, y_train, y_test = train_test_split(X, y,
                                                    test_size=0.2,
                                                    random_state=123,
                                                    stratify=y)
# Declare data preprocessing steps
pipeline = make_pipeline(preprocessing.StandardScaler(),
                         RandomForestRegressor(n_estimators=100))
# Declare hyperparameters to tune
hyperparameters = { 'randomforestregressor__max_features' : ['auto', 'sqrt', 'log2'],
                  'randomforestregressor__max_depth': [None, 5, 3, 1]}
# Tune model using cross-validation pipeline
clf = GridSearchCV(pipeline, hyperparameters, cv=10)
clf.fit(X_train, y_train)
# Refit on the entire training set
# No additional code needed if clf.refit == True (default is True)
# Evaluate model pipeline on test data
pred = clf.predict(X_test)
print r2_score(y_test, pred)
print mean_squared_error(y_test, pred)
# Save model for future use
joblib.dump(clf, 'rf_regressor.pkl')
# To load: clf2 = joblib.load('rf_regressor.pkl')

 

Filed Under: 作成実績, 教師有り, 機械学習

ユーザー、自分の問いに答える(アイリス)

2018年1月1日 by 河副 太智 Leave a Comment

ユーザーがアイリスの形状を4種類指定して、
それがどの種類のアイリスになるのかを予測する

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import sklearn
import mglearn
 
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from IPython.display import display
from sklearn.neighbors import KNeighborsClassifier
 
%matplotlib inline
 
 
 
iris_dataset = load_iris()
 
#花の特徴左からガクの長さ、ガクの幅、花弁の長さ、花弁の幅
#トータル150のデータの内10個を表示
print("◆最初の10個のカラムデータ:\n\n{}".format(iris_dataset["data"][:10]))
 
#上記のdataに対する答え [0=setosa,1=versicolor,2=virginica]
print("\n◆上記データに対する答え [0=setosa,1=versicolor,2=virginica]:\n{}".format(iris_dataset["target"][:10]))
 
#学習用に75%テスト用に25%に分ける
X_train,X_test,y_train, y_test = train_test_split(
    iris_dataset["data"],iris_dataset["target"],random_state=0)
 
#X_trainは(112, 4)となる、これは上記で75%に分けた112の花びらのデータ数と
#そのデータの要素4つ分になる
print("\n◆75%に分けた112の花びらのデータ数とそのデータの要素4つ:\n{}".format(X_train.shape))
 
#y_trainは(112)となる、これは上記で75%に分けた花びらの種類の答え(0,1,2)の
#どれか一つが入っている
print("\n◆75%に分けた花びらの種類の答え(0,1,2)のどれか一つ:\n{}".format(y_train.shape))
 
#X_testは(38,4)となるこれは上記で25%に分けた38の花びらのデータ数と
#そのデータの要素4つ分になる
print("\n◆25%に分けた38の花びらのデータ数とそのデータの要素4つ分:\n{}".format(X_test.shape))
 
#y_test shapeは(38.)となるこれは上記で25%に分けた花びらの種類の答え(0,1,2)の
#どれか一つが入っている
print("\n◆25%に分けた38の花びらの種類の答え(0,1,2)のどれか一つ:\n{}".format(y_test.shape))
 
#[データの検査]
#答えである(0,1,2)がある程度分離できているかどうかを可視化する
#アイリスの種類ごとに色を変えて表示する、この場合は3点がある程度分離できていれば
#訓練できる可能性が高いと言える、逆にゴチャゴチャであれば学習は難しい
 
#1.X_trainのデータからDataFrameを作る
#iris_dataset.feature_namesの文字列をつかってカラムに名前を付ける
iris_dataframe = pd.DataFrame(X_train,columns=iris_dataset.feature_names)
 
#データフレームからscatter matrixを作成し、y_trainに従って色をつける
pd.plotting.scatter_matrix(iris_dataframe,c=y_train,figsize=(15,15),marker="o",
                        hist_kwds={"bins":20},s=60,alpha=.8,cmap=mglearn.cm3)
 
#KNeighborsClassifierをfitで(X_train,y_train)を予測
knn = KNeighborsClassifier(n_neighbors=1)
knn.fit(X_train,y_train)
 
 
#KNeighborsClassifierにて行った予測の精度を確認
print("◆KNeighborsClassifierにて行った予測の精度を確認:\n{:.2f}".format(knn.score(X_test, y_test)))
 
 
#ユーザーからの問いに対する予測を行う[5,2.9,1,0.2]がユーザーからの問い
X_new = np.array([[5,2.9,1,0.2]])
 
#元のX_test.shapeと同じ配列でなければいけないので配列形式を確認
print("◆元のデータの配列形式:\n{}".format(iris_dataset["data"][:1]))
print("◆ユーザーデータの配列形式(元と同じ形なのでOK):\n{}".format(X_new))
 
 
 
prediction = knn.predict(X_new)
print("◆0,1,2のどれを選択したか:\n{}".format(prediction))
print("◆ターゲット(花の名前):\n{}".format(iris_dataset["target_names"][prediction]))

 

結果

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
◆最初の10個のカラムデータ:
 
[[ 5.1  3.5  1.4  0.2]
[ 4.9  3.   1.4  0.2]
[ 4.7  3.2  1.3  0.2]
[ 4.6  3.1  1.5  0.2]
[ 5.   3.6  1.4  0.2]
[ 5.4  3.9  1.7  0.4]
[ 4.6  3.4  1.4  0.3]
[ 5.   3.4  1.5  0.2]
[ 4.4  2.9  1.4  0.2]
[ 4.9  3.1  1.5  0.1]]
 
◆上記データに対する答え [0=setosa,1=versicolor,2=virginica]:
[0 0 0 0 0 0 0 0 0 0]
 
◆75%に分けた112の花びらのデータ数とそのデータの要素4つ:
(112, 4)
 
◆75%に分けた花びらの種類の答え(0,1,2)のどれか一つ:
(112,)
 
◆25%に分けた38の花びらのデータ数とそのデータの要素4つ分:
(38, 4)
 
◆25%に分けた38の花びらの種類の答え(0,1,2)のどれか一つ:
(38,)
◆KNeighborsClassifierにて行った予測の精度を確認:
0.97
◆元のデータの配列形式:
[[ 5.1  3.5  1.4  0.2]]
◆ユーザーデータの配列形式(元と同じ形なのでOK):
[[ 5.   2.9  1.   0.2]]
◆0,1,2のどれを選択したか:
[0]
◆ターゲット(花の名前):
['setosa']

 

 

Filed Under: scikit-learn, グラフ, 作成実績, 教師有り, 機械学習

  • Page 1
  • Page 2
  • Page 3
  • Interim pages omitted …
  • Page 5
  • Go to Next Page »

Primary Sidebar

カテゴリー

  • AWS
  • Bootstrap
  • Dash
  • Django
  • flask
  • GIT(sourcetree)
  • Plotly/Dash
  • VPS
  • その他tool
  • ブログ
  • プログラミング
    • Bokeh
    • css
    • HoloViews
    • Jupyter
    • Numpy
    • Pandas
    • PosgreSQL
    • Python 基本
    • python3
      • webアプリ
    • python3解説
    • scikit-learn
    • scipy
    • vps
    • Wordpress
    • グラフ
    • コマンド
    • スクレイピング
    • チートシート
    • データクレンジング
    • ブロックチェーン
    • 作成実績
    • 時系列分析
    • 機械学習
      • 分析手法
      • 教師有り
    • 異常値検知
    • 自然言語処理
  • 一太郎
  • 数学
    • sympy
      • 対数関数(log)
      • 累乗根(n乗根)
    • 暗号学

Copyright © 2025 · Genesis Sample on Genesis Framework · WordPress · Log in