k分割交差検証には、「一個抜き」(Leave-One-Out:LOO)交差検証という方法があり
k分割交差検証から分割の数をデータセットの数と同じにしたもの
(k=データの個数)
小さいデータを使用する場合に使われる
機械学習の概念 k分割交差検証
k-分割交差検証とはトレーニングデータをk分割(データを”k”個に分ける)
k個から1個引いた個数を学習用に使用し、
引いた1個はテストに使用する
10個に分割すれば9個を学習用1個をテスト用にするという事
これによりk個の学習モデルとk個の性能テストができるので
k回の学習とテストを行い、それらの平均を算出する
これによってホールドアウト法よりバリアンス（過学習）を低く抑えられる
通常kの値は10前後になり、データが多い場合はkの値を増やした方が良い
但し、k値を大きくし過ぎるとバリアンス（過学習）が高くなり、
逆にk値を低くしすぎるとバイアス（学習不足）が高くなる可能性がある
機械学習の概念 ホールドアウト法
機械学習上の問題に「過学習」（学習し過ぎ）というものがあり
この状態をバリアンスが高いと表現し、
その反対に「学習不足」というものもあり
こちらはバイアスが高いと表現する
過学習を防ぐための手段にホールドアウト法というものがある
この方法によって学習データをトレーニングデータとテストデータに分割
トレーニングデータは文言から想像できるように学習という意味で
テストデータというのは学習した内容の評価となる
トレーニングデータという概念は更に分割され、
トレーニングデータサブセットと
検証データセットという２つになります。
これはテストデータがトレーニングデータの一部になってしまう事を防ぐ為にある
トレーニングデータサブセットと検証データセットの２つで学習を行い
もう一方のテストデータを用いて最終テストを行う
このホールドアウト法の他に
「k分割交差検証」と呼ばれるものもある
DataFrame 縦、横に数値の差を求める
DataFrame型の変数に対して、変数.diff(変数.diff - x, axis="0 or 1")と指定で
行間または列間の差を計算したDataFrameが作成
第1引数が正の場合は前の行との差、負の場合は後の行との差
axisは0の場合が行(横)方向、1の場合が列(縦)方向です。
|
1 |
<span role="presentation"><span class="cm-keyword">import</span> <span class="cm-variable">numpy</span> <span class="cm-keyword">as</span> <span class="cm-variable">np</span></span> |
|
1 |
<span role="presentation"><span class="cm-keyword">import</span> <span class="cm-variable">pandas</span> <span class="cm-keyword">as</span> <span class="cm-variable">pd</span></span> |
|
1 |
<span role="presentation"><span class="cm-variable">np</span>.<span class="cm-property">random</span>.<span class="cm-property">seed</span>(<span class="cm-number">0</span>)</span> |
|
1 |
<span role="presentation"><span class="cm-variable">columns</span> = [<span class="cm-string">"apple"</span>, <span class="cm-string">"orange"</span>, <span class="cm-string">"banana"</span>, <span class="cm-string">"strawberry"</span>, <span class="cm-string">"kiwifruit"</span>]</span> |
|
1 |
<span role="presentation"></span> |
|
1 |
<span role="presentation"><span class="cm-comment"># DataFrameを生成し、列を追加</span></span> |
|
1 |
<span role="presentation"><span class="cm-variable">df</span> = <span class="cm-variable">pd</span>.<span class="cm-property">DataFrame</span>()</span> |
|
1 |
<span role="presentation"><span class="cm-keyword">for</span> <span class="cm-variable">column</span> <span class="cm-keyword">in</span> <span class="cm-variable">columns</span>:</span> |
|
1 |
<span role="presentation"> <span class="cm-variable">df</span>[<span class="cm-variable">column</span>] = <span class="cm-variable">np</span>.<span class="cm-property">random</span>.<span class="cm-property">choice</span>(<span class="cm-builtin">range</span>(<span class="cm-number">1</span>, <span class="cm-number">11</span>), <span class="cm-number">10</span>)</span> |
|
1 |
<span role="presentation"><span class="cm-variable">df</span>.<span class="cm-property">index</span> = <span class="cm-builtin">range</span>(<span class="cm-number">1</span>, <span class="cm-number">11</span>)</span> |
|
1 |
<span role="presentation"></span> |
|
1 |
<span role="presentation"><span class="cm-comment"># dfの各行について、2行後の行との差を計算したDataFrameをdf_diffに代入</span></span> |
|
1 2 3 |
<span role="presentation"><span class="cm-variable">df_diff</span>=<span class="cm-variable">df</span>.<span class="cm-property">diff</span> <span class=" CodeMirror-matchingbracket">(</span><span class="cm-operator">-</span><span class="cm-number">2</span>,<span class="cm-variable">axis</span> = <span class="cm-number">0</span><span class=" CodeMirror-matchingbracket">) #第一引数がマイナスの場合は下、右方向へ処理 第一引数がプラスの場合は上、左方向へ処理</span></span> |
|
1 |
</code><code> |
|
1 |
<span role="presentation"><span class="cm-builtin">print</span>(<span class="cm-variable">df</span>)</span> |
|
1 |
<span role="presentation"><span class="cm-builtin">print</span>(<span class="cm-variable">df_diff</span>)</span> |
DataFrame 要約計量 平均、最大、最小、標準偏差等
列ごとの平均値、最大値、最小値等統計的情報を要約統計量と呼ぶ。
DataFrameの変数に対して、変数.describe()は変数の列ごとの
個数、平均値、標準偏差、最小値、四分位数、最大値を返す。
DataFrameのインデックスの数字は統計量の名前に置き換わる
|
1 |
<span role="presentation"><span class="cm-keyword">import</span> <span class="cm-variable">numpy</span> <span class="cm-keyword">as</span> <span class="cm-variable">np</span></span> |
|
1 |
<span role="presentation"><span class="cm-keyword">import</span> <span class="cm-variable">pandas</span> <span class="cm-keyword">as</span> <span class="cm-variable">pd</span></span> |
|
1 |
<span role="presentation"><span class="cm-variable">np</span>.<span class="cm-property">random</span>.<span class="cm-property">seed</span>(<span class="cm-number">0</span>)</span> |
|
1 |
<span role="presentation"><span class="cm-variable">columns</span> = [<span class="cm-string">"apple"</span>, <span class="cm-string">"orange"</span>, <span class="cm-string">"banana"</span>, <span class="cm-string">"strawberry"</span>, <span class="cm-string">"kiwifruit"</span>]</span> |
|
1 |
<span role="presentation"></span> |
|
1 |
<span role="presentation"><span class="cm-comment"># DataFrameを生成し、列を追加</span></span> |
|
1 |
<span role="presentation"><span class="cm-variable">df</span> = <span class="cm-variable">pd</span>.<span class="cm-property">DataFrame</span>()</span> |
|
1 |
<span role="presentation"><span class="cm-keyword">for</span> <span class="cm-variable">column</span> <span class="cm-keyword">in</span> <span class="cm-variable">columns</span>:</span> |
|
1 |
<span role="presentation"> <span class="cm-variable">df</span>[<span class="cm-variable">column</span>] = <span class="cm-variable">np</span>.<span class="cm-property">random</span>.<span class="cm-property">choice</span>(<span class="cm-builtin">range</span>(<span class="cm-number">1</span>, <span class="cm-number">11</span>), <span class="cm-number">10</span>)</span> |
|
1 |
<span role="presentation"><span class="cm-variable">df</span>.<span class="cm-property">index</span> = <span class="cm-builtin">range</span>(<span class="cm-number">1</span>, <span class="cm-number">11</span>)</span> |
|
1 |
<span role="presentation"><span class="cm-builtin">print</span><span class=" CodeMirror-matchingbracket">(</span><span class="cm-variable">df</span><span class=" CodeMirror-matchingbracket">)</span></span> |
|
1 |
<span role="presentation"><span class="cm-comment"># dfの要約統計量のうち、"mean", "max", "min"を取り出してdf_desに代入してください</span></span> |
|
1 |
<span role="presentation"></span> |
|
1 |
<span role="presentation"><span class="cm-variable">df_des</span> = <span class="cm-variable">df</span>.<span class="cm-property">describe</span>().<span class="cm-property">loc</span>[[<span class="cm-string">"mean"</span>, <span class="cm-string">"max"</span>, <span class="cm-string">"min"</span>]]</span> |
|
1 |
<span role="presentation"><span class="cm-builtin">print</span>(<span class="cm-variable">df_des</span>)</span> |