機械学習

機械学習　ワイン

2017年12月7日 by 河副太智 Leave a Comment

# 必要モジュールをインポート
from sklearn.linear_model import LinearRegression
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split


data = load_wine()
# データを教師用とテスト用に
train_X, test_X, train_y, test_y = train_test_split(
    data.data, data.target, random_state=42)
print(data)
# 学習器の構築
model = LinearRegression()
# 教師データを用いて学習器に学習
model.fit(train_X, train_y)
# テスト用データを用いて学習結果をpred_yに代入
pred_y = model.predict(test_X)
# 予測結果を出力
#print(pred_y)

# 必要モジュールをインポート

from sklearn.linear_model import LinearRegression

from sklearn.datasets import load_wine

from sklearn.model_selection import train_test_split

data = load_wine()

# データを教師用とテスト用に

train_X, test_X, train_y, test_y = train_test_split(

data.data, data.target, random_state=42)

print(data)

# 学習器の構築

model = LinearRegression()

# 教師データを用いて学習器に学習

model.fit(train_X, train_y)

# テスト用データを用いて学習結果をpred_yに代入

pred_y = model.predict(test_X)

# 予測結果を出力

#print(pred_y)

機械学習の概念　混同行列

2017年11月27日 by 河副太智 Leave a Comment

混同行列とは以下の４種類

真陽性
偽陽性
偽陰性
真陰性

「真か偽」は結果がポジティブかネガティブか
「陽性か陰性」は予想自体が元々ポジティブかネガティブか

「真」は結果がポジティブとなった

「偽」は結果がネガティブとなった

「陽性」は予想自体が元々ポジティブだった

「陰性」は予想自体が元々ネガティブだった

例：1
「医者がエイズであると予測したが実際はエイズではなかった」という場合は
予想の結果は医者の診断に対してネガティブなので「偽」となり、
医者は患者をエイズだ「陽性(ポジティブ)」だと元々予想していたため

このケースでは「偽陽性」となる

「エイズと言われエイズだった」場合は真陽性

「エイズと言われエイズで無かった」場合は偽陽性

「エイズではないと言われエイズで無かった」場合は偽陰性

「エイズではないと言われエイズだった」場合は真陰性

例:2
「友人から結婚は無理と言われて本当に結婚できなかった」場合は
結果は結婚ができなかったので予測は当たりでポジティブ「真」であり
友人の元々の予想は結婚できないと言われネガティブ「陰性」である為

このケースでは「偽陰性」となる

「結婚できると言われ結婚できた」場合は真陽性

「結婚できると言われてたが結婚できなかった」場合は偽陽性

「結婚できないと言われ結婚できなかった」場合は偽陰性

「結婚できないと言われ結婚できた」場合は真陰性

print(__doc__)

import itertools
import numpy as np
import matplotlib.pyplot as plt

from sklearn import svm, datasets
from sklearn.model_selection import train_test_split
from sklearn.metrics import confusion_matrix

# import some data to play with
iris = datasets.load_iris()
X = iris.data
y = iris.target
class_names = iris.target_names

# Split the data into a training set and a test set
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

# Run classifier, using a model that is too regularized (C too low) to see
# the impact on the results
classifier = svm.SVC(kernel='linear', C=0.01)
y_pred = classifier.fit(X_train, y_train).predict(X_test)


def plot_confusion_matrix(cm, classes,
                          normalize=False,
                          title='Confusion matrix',
                          cmap=plt.cm.Blues):
    """
    This function prints and plots the confusion matrix.
    Normalization can be applied by setting `normalize=True`.
    """
    if normalize:
        cm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]
        print("Normalized confusion matrix")
    else:
        print('Confusion matrix, without normalization')

    print(cm)

    plt.imshow(cm, interpolation='nearest', cmap=cmap)
    plt.title(title)
    plt.colorbar()
    tick_marks = np.arange(len(classes))
    plt.xticks(tick_marks, classes, rotation=45)
    plt.yticks(tick_marks, classes)

    fmt = '.2f' if normalize else 'd'
    thresh = cm.max() / 2.
    for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):
        plt.text(j, i, format(cm[i, j], fmt),
                 horizontalalignment="center",
                 color="white" if cm[i, j] > thresh else "black")

    plt.tight_layout()
    plt.ylabel('True label')
    plt.xlabel('Predicted label')

# Compute confusion matrix
cnf_matrix = confusion_matrix(y_test, y_pred)
np.set_printoptions(precision=2)

# Plot non-normalized confusion matrix
plt.figure()
plot_confusion_matrix(cnf_matrix, classes=class_names,
                      title='Confusion matrix, without normalization')

# Plot normalized confusion matrix
plt.figure()
plot_confusion_matrix(cnf_matrix, classes=class_names, normalize=True,
                      title='Normalized confusion matrix')

plt.show()

print(__doc__)

import itertools

import numpy as np

import matplotlib.pyplot as plt

from sklearn import svm, datasets

from sklearn.model_selection import train_test_split

from sklearn.metrics import confusion_matrix

# import some data to play with

iris = datasets.load_iris()

X = iris.data

y = iris.target

class_names = iris.target_names

# Split the data into a training set and a test set

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

# Run classifier, using a model that is too regularized (C too low) to see

# the impact on the results

classifier = svm.SVC(kernel='linear', C=0.01)

y_pred = classifier.fit(X_train, y_train).predict(X_test)

def plot_confusion_matrix(cm, classes,

normalize=False,

title='Confusion matrix',

cmap=plt.cm.Blues):

"""

This function prints and plots the confusion matrix.

Normalization can be applied by setting `normalize=True`.

"""

if normalize:

cm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]

print("Normalized confusion matrix")

else:

print('Confusion matrix, without normalization')

print(cm)

plt.imshow(cm, interpolation='nearest', cmap=cmap)

plt.title(title)

plt.colorbar()

tick_marks = np.arange(len(classes))

plt.xticks(tick_marks, classes, rotation=45)

plt.yticks(tick_marks, classes)

fmt = '.2f' if normalize else 'd'

thresh = cm.max() / 2.

for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):

plt.text(j, i, format(cm[i, j], fmt),

horizontalalignment="center",

color="white" if cm[i, j] > thresh else "black")

plt.tight_layout()

plt.ylabel('True label')

plt.xlabel('Predicted label')

# Compute confusion matrix

cnf_matrix = confusion_matrix(y_test, y_pred)

np.set_printoptions(precision=2)

# Plot non-normalized confusion matrix

plt.figure()

plot_confusion_matrix(cnf_matrix, classes=class_names,

title='Confusion matrix, without normalization')

# Plot normalized confusion matrix

plt.figure()

plot_confusion_matrix(cnf_matrix, classes=class_names, normalize=True,

title='Normalized confusion matrix')

plt.show()

機械学習の概念　「一個抜き」(Leave-One-Out:LOO)交差検証

2017年11月27日 by 河副太智 Leave a Comment

k分割交差検証には、「一個抜き」(Leave-One-Out:LOO)交差検証という方法があり

k分割交差検証から分割の数をデータセットの数と同じにしたもの

(k=データの個数)

小さいデータを使用する場合に使われる

機械学習の概念　k分割交差検証

2017年11月27日 by 河副太智 Leave a Comment

k-分割交差検証とはトレーニングデータをk分割(データを”k”個に分ける)
k個から1個引いた個数を学習用に使用し、
引いた1個はテストに使用する

10個に分割すれば9個を学習用1個をテスト用にするという事

これによりk個の学習モデルとk個の性能テストができるので
k回の学習とテストを行い、それらの平均を算出する

これによってホールドアウト法よりバリアンス（過学習）を低く抑えられる

通常kの値は10前後になり、データが多い場合はkの値を増やした方が良い
但し、k値を大きくし過ぎるとバリアンス（過学習）が高くなり、
逆にk値を低くしすぎるとバイアス（学習不足）が高くなる可能性がある

機械学習の概念　ホールドアウト法

2017年11月27日 by 河副太智 Leave a Comment

機械学習上の問題に「過学習」（学習し過ぎ）というものがあり
この状態をバリアンスが高いと表現し、
その反対に「学習不足」というものもあり
こちらはバイアスが高いと表現する

過学習を防ぐための手段にホールドアウト法というものがある
この方法によって学習データをトレーニングデータとテストデータに分割

トレーニングデータは文言から想像できるように学習という意味で
テストデータというのは学習した内容の評価となる

トレーニングデータという概念は更に分割され、
トレーニングデータサブセットと
検証データセットという２つになります。

これはテストデータがトレーニングデータの一部になってしまう事を防ぐ為にある

トレーニングデータサブセットと検証データセットの２つで学習を行い
もう一方のテストデータを用いて最終テストを行う

このホールドアウト法の他に
「k分割交差検証」と呼ばれるものもある