defの定義が不要
(lambda x, y,z: x + y * z)(3, 5,400)
これを実行すれば計算結果2003がでるprintは不要
プログラミング
機械学習の概念 混同行列
混同行列とは以下の４種類
- 真陽性
- 偽陽性
- 偽陰性
- 真陰性
「真か偽」は結果がポジティブかネガティブか
「陽性か陰性」は予想自体が元々ポジティブかネガティブか
「真」は結果がポジティブとなった
「偽」は結果がネガティブとなった
「陽性」は予想自体が元々ポジティブだった
「陰性」は予想自体が元々ネガティブだった
例：1
「医者がエイズであると予測したが実際はエイズではなかった」という場合は
予想の結果は医者の診断に対してネガティブなので「偽」となり、
医者は患者をエイズだ「陽性(ポジティブ)」だと元々予想していたため
このケースでは「偽陽性」となる
「エイズと言われエイズだった」場合は真陽性
「エイズと言われエイズで無かった」場合は偽陽性
「エイズではないと言われエイズで無かった」場合は偽陰性
「エイズではないと言われエイズだった」場合は真陰性
例:2
「友人から結婚は無理と言われて本当に結婚できなかった」場合は
結果は結婚ができなかったので予測は当たりでポジティブ「真」であり
友人の元々の予想は結婚できないと言われネガティブ「陰性」である為
このケースでは「偽陰性」となる
「結婚できると言われ結婚できた」場合は真陽性
「結婚できると言われてたが結婚できなかった」場合は偽陽性
「結婚できないと言われ結婚できなかった」場合は偽陰性
「結婚できないと言われ結婚できた」場合は真陰性
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 |
print(__doc__) import itertools import numpy as np import matplotlib.pyplot as plt from sklearn import svm, datasets from sklearn.model_selection import train_test_split from sklearn.metrics import confusion_matrix # import some data to play with iris = datasets.load_iris() X = iris.data y = iris.target class_names = iris.target_names # Split the data into a training set and a test set X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0) # Run classifier, using a model that is too regularized (C too low) to see # the impact on the results classifier = svm.SVC(kernel='linear', C=0.01) y_pred = classifier.fit(X_train, y_train).predict(X_test) def plot_confusion_matrix(cm, classes, normalize=False, title='Confusion matrix', cmap=plt.cm.Blues): """ This function prints and plots the confusion matrix. Normalization can be applied by setting `normalize=True`. """ if normalize: cm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis] print("Normalized confusion matrix") else: print('Confusion matrix, without normalization') print(cm) plt.imshow(cm, interpolation='nearest', cmap=cmap) plt.title(title) plt.colorbar() tick_marks = np.arange(len(classes)) plt.xticks(tick_marks, classes, rotation=45) plt.yticks(tick_marks, classes) fmt = '.2f' if normalize else 'd' thresh = cm.max() / 2. for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])): plt.text(j, i, format(cm[i, j], fmt), horizontalalignment="center", color="white" if cm[i, j] > thresh else "black") plt.tight_layout() plt.ylabel('True label') plt.xlabel('Predicted label') # Compute confusion matrix cnf_matrix = confusion_matrix(y_test, y_pred) np.set_printoptions(precision=2) # Plot non-normalized confusion matrix plt.figure() plot_confusion_matrix(cnf_matrix, classes=class_names, title='Confusion matrix, without normalization') # Plot normalized confusion matrix plt.figure() plot_confusion_matrix(cnf_matrix, classes=class_names, normalize=True, title='Normalized confusion matrix') plt.show() |
機械学習の概念 「一個抜き」(Leave-One-Out:LOO)交差検証
k分割交差検証には、「一個抜き」(Leave-One-Out:LOO)交差検証という方法があり
k分割交差検証から分割の数をデータセットの数と同じにしたもの
(k=データの個数)
小さいデータを使用する場合に使われる
機械学習の概念 k分割交差検証
k-分割交差検証とはトレーニングデータをk分割(データを”k”個に分ける)
k個から1個引いた個数を学習用に使用し、
引いた1個はテストに使用する
10個に分割すれば9個を学習用1個をテスト用にするという事
これによりk個の学習モデルとk個の性能テストができるので
k回の学習とテストを行い、それらの平均を算出する
これによってホールドアウト法よりバリアンス（過学習）を低く抑えられる
通常kの値は10前後になり、データが多い場合はkの値を増やした方が良い
但し、k値を大きくし過ぎるとバリアンス（過学習）が高くなり、
逆にk値を低くしすぎるとバイアス（学習不足）が高くなる可能性がある
機械学習の概念 ホールドアウト法
機械学習上の問題に「過学習」（学習し過ぎ）というものがあり
この状態をバリアンスが高いと表現し、
その反対に「学習不足」というものもあり
こちらはバイアスが高いと表現する
過学習を防ぐための手段にホールドアウト法というものがある
この方法によって学習データをトレーニングデータとテストデータに分割
トレーニングデータは文言から想像できるように学習という意味で
テストデータというのは学習した内容の評価となる
トレーニングデータという概念は更に分割され、
トレーニングデータサブセットと
検証データセットという２つになります。
これはテストデータがトレーニングデータの一部になってしまう事を防ぐ為にある
トレーニングデータサブセットと検証データセットの２つで学習を行い
もう一方のテストデータを用いて最終テストを行う
このホールドアウト法の他に
「k分割交差検証」と呼ばれるものもある
DataFrame 縦、横に数値の差を求める
DataFrame型の変数に対して、変数.diff(変数.diff - x, axis="0 or 1")と指定で
行間または列間の差を計算したDataFrameが作成
第1引数が正の場合は前の行との差、負の場合は後の行との差
axisは0の場合が行(横)方向、1の場合が列(縦)方向です。
|
1 |
<span role="presentation"><span class="cm-keyword">import</span> <span class="cm-variable">numpy</span> <span class="cm-keyword">as</span> <span class="cm-variable">np</span></span> |
|
1 |
<span role="presentation"><span class="cm-keyword">import</span> <span class="cm-variable">pandas</span> <span class="cm-keyword">as</span> <span class="cm-variable">pd</span></span> |
|
1 |
<span role="presentation"><span class="cm-variable">np</span>.<span class="cm-property">random</span>.<span class="cm-property">seed</span>(<span class="cm-number">0</span>)</span> |
|
1 |
<span role="presentation"><span class="cm-variable">columns</span> = [<span class="cm-string">"apple"</span>, <span class="cm-string">"orange"</span>, <span class="cm-string">"banana"</span>, <span class="cm-string">"strawberry"</span>, <span class="cm-string">"kiwifruit"</span>]</span> |
|
1 |
<span role="presentation"></span> |
|
1 |
<span role="presentation"><span class="cm-comment"># DataFrameを生成し、列を追加</span></span> |
|
1 |
<span role="presentation"><span class="cm-variable">df</span> = <span class="cm-variable">pd</span>.<span class="cm-property">DataFrame</span>()</span> |
|
1 |
<span role="presentation"><span class="cm-keyword">for</span> <span class="cm-variable">column</span> <span class="cm-keyword">in</span> <span class="cm-variable">columns</span>:</span> |
|
1 |
<span role="presentation"> <span class="cm-variable">df</span>[<span class="cm-variable">column</span>] = <span class="cm-variable">np</span>.<span class="cm-property">random</span>.<span class="cm-property">choice</span>(<span class="cm-builtin">range</span>(<span class="cm-number">1</span>, <span class="cm-number">11</span>), <span class="cm-number">10</span>)</span> |
|
1 |
<span role="presentation"><span class="cm-variable">df</span>.<span class="cm-property">index</span> = <span class="cm-builtin">range</span>(<span class="cm-number">1</span>, <span class="cm-number">11</span>)</span> |
|
1 |
<span role="presentation"></span> |
|
1 |
<span role="presentation"><span class="cm-comment"># dfの各行について、2行後の行との差を計算したDataFrameをdf_diffに代入</span></span> |
|
1 2 3 |
<span role="presentation"><span class="cm-variable">df_diff</span>=<span class="cm-variable">df</span>.<span class="cm-property">diff</span> <span class=" CodeMirror-matchingbracket">(</span><span class="cm-operator">-</span><span class="cm-number">2</span>,<span class="cm-variable">axis</span> = <span class="cm-number">0</span><span class=" CodeMirror-matchingbracket">) #第一引数がマイナスの場合は下、右方向へ処理 第一引数がプラスの場合は上、左方向へ処理</span></span> |
|
1 |
</code><code> |
|
1 |
<span role="presentation"><span class="cm-builtin">print</span>(<span class="cm-variable">df</span>)</span> |
|
1 |
<span role="presentation"><span class="cm-builtin">print</span>(<span class="cm-variable">df_diff</span>)</span> |