学習記録 – ページ 35

時系列データのグラフ

2017年12月20日 by 河副太智 Leave a Comment

[1,5,3,5,3,2,2,9]という時系列データの階差系列は[4,-2,2,-2,-1,0,7]となる

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import statsmodels.api as sm
from pandas import datetime
%matplotlib inline

# データ読み込む
sales_sparkring = pd.read_csv(filepath_or_buffer = 'https://aidemyexcontentsdata.blob.core.windows.net/data/5060_tsa/monthly-australian-wine-sales-th-sparkling.csv')
# データの時期を入力 Mは間隔
index = pd.date_range('1980-11-31','1995-11-31',freq = 'M')
# インデックスデータをdfのインデックスに設定
sales_sparkring.index = index
# カラムの削除
del sales_sparkring['Month']

# グラフのタイトル設定
plt.title("monthly-australian-wine-sales-th-sparkling")
# x軸とy軸名前設定
plt.xlabel("date")
plt.ylabel("sales")

plt.plot(sales_sparkring)
plt.show()

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

import statsmodels.api as sm

from pandas import datetime

%matplotlib inline

# データ読み込む

sales_sparkring = pd.read_csv(filepath_or_buffer = 'https://aidemyexcontentsdata.blob.core.windows.net/data/5060_tsa/monthly-australian-wine-sales-th-sparkling.csv')

# データの時期を入力 Mは間隔

index = pd.date_range('1980-11-31','1995-11-31',freq = 'M')

# インデックスデータをdfのインデックスに設定

sales_sparkring.index = index

# カラムの削除

del sales_sparkring['Month']

# グラフのタイトル設定

plt.title("monthly-australian-wine-sales-th-sparkling")

# x軸とy軸名前設定

plt.xlabel("date")

plt.ylabel("sales")

plt.plot(sales_sparkring)

plt.show()

cross HS 全文検索

2017年12月18日 by 河副太智 Leave a Comment

クエリ

https://rulings.cbp.gov/index.asp?p=1&qu=%2ANY+OR+%2AHQ&p=1

階差系列でトレンドを無くして前回のデータと比較

2017年12月18日 by 河副太智 Leave a Comment

時系列分析の場合、一つ前の値との差を比較する手法があり、差分と呼ぶ
この差分を取った後のデータを階差系列という

これによりトレンド（全体的な上昇指向や下降指向を無視する）

トレンドを取り除くことで原系列を定常過程
（時間がたっても全体で見れば、その時系列の値は変わらない性質）
にすることができる場合がある

import pandas as pd
import matplotlib.pyplot as plt
import statsmodels.api as sm
%matplotlib inline
import numpy as np

# データの読み込み
co2_tsdata = sm.datasets.co2.load_pandas().data

# 欠損値の処理
co2_tsdata2 = co2_tsdata.fillna(method="ffill")

# データの階差取得
co2_tsdata2_diff = co2_tsdata2.diff()


plt.subplot(2,1,1)
plt.title("Mauna Loa Weekly Atmospheric CO2 Data")
plt.xlabel("date")
plt.ylabel("CO2 Concentration ppmv")
plt.plot(co2_tsdata2)

plt.subplot(2,1,2)
plt.title("Mauna Loa Weekly Atmospheric CO2 Data DIFF")
plt.xlabel("date")
plt.ylabel("CO2 Concentration ppmv DIFF")
plt.plot(co2_tsdata2_diff)

plt.subplots_adjust(wspace=0, hspace=1.0)

plt.show()

import pandas as pd

import matplotlib.pyplot as plt

import statsmodels.api as sm

%matplotlib inline

import numpy as np

# データの読み込み

co2_tsdata = sm.datasets.co2.load_pandas().data

# 欠損値の処理

co2_tsdata2 = co2_tsdata.fillna(method="ffill")

# データの階差取得

co2_tsdata2_diff = co2_tsdata2.diff()

plt.subplot(2,1,1)

plt.title("Mauna Loa Weekly Atmospheric CO2 Data")

plt.xlabel("date")

plt.ylabel("CO2 Concentration ppmv")

plt.plot(co2_tsdata2)

plt.subplot(2,1,2)

plt.title("Mauna Loa Weekly Atmospheric CO2 Data DIFF")

plt.xlabel("date")

plt.ylabel("CO2 Concentration ppmv DIFF")

plt.plot(co2_tsdata2_diff)

plt.subplots_adjust(wspace=0, hspace=1.0)

plt.show()

折れ線グラフ　xlim ylim

2017年12月18日 by 河副太智 Leave a Comment

import pandas as pd
import matplotlib.pyplot as plt
import statsmodels.api as sm
%matplotlib inline
# 読み込み
co2_tsdata = sm.datasets.co2.load_pandas().data
# 欠損値処理
co2_tsdata2 = co2_tsdata.fillna(method="ffill")

# x軸の期間を1995年から2000年までに、y軸は値を355から375までに指定したうえでデータを折れ線グラフで表す

plt.title("Mauna Loa Weekly Atmospheric CO2 Data")

plt.xlabel("date")
plt.ylabel("CO2 Concentration ppmv")


plt.plot(co2_tsdata2)
plt.xlim('1995', '2000')#""ではさむ
plt.ylim(355, 375)#""は不要
plt.show()

import pandas as pd

import matplotlib.pyplot as plt

import statsmodels.api as sm

%matplotlib inline

# 読み込み

co2_tsdata = sm.datasets.co2.load_pandas().data

# 欠損値処理

co2_tsdata2 = co2_tsdata.fillna(method="ffill")

# x軸の期間を1995年から2000年までに、y軸は値を355から375までに指定したうえでデータを折れ線グラフで表す

plt.title("Mauna Loa Weekly Atmospheric CO2 Data")

plt.xlabel("date")

plt.ylabel("CO2 Concentration ppmv")

plt.plot(co2_tsdata2)

plt.xlim('1995', '2000')#""ではさむ

plt.ylim(355, 375)#""は不要

plt.show()

GridSearchで最良のgamma値とc値を算出

2017年12月16日 by 河副太智 Leave a Comment

c値、交差検証のそれぞれ最良のパラメーターを調べる

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import confusion_matrix
from sklearn.preprocessing import Imputer
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import GridSearchCV

#読込
diabetes_df = pd.read_csv(
    'http://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data', 
    header=None)

#8列目が目的変数8列目を別にする
X = diabetes_df.iloc[:, :8]
y = diabetes_df.iloc[:, 8:].values.flatten() # 1次元に展開


# X shape: (768, 8), y shape: (768,)
print('X shape: {}, y shape: {}'.format(X.shape, y.shape))


#欠損値処理　(欠損値の指定defaultは'NaN',mean, median, mode のどれか,行か列かの指定
med_imp = Imputer(missing_values=0, strategy='median', axis=0)
med_imp.fit(X.iloc[:, 1:6])
X.iloc[:, 1:6] = med_imp.transform(X.iloc[:, 1:6])

# 学習データとテストデータを分ける
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)


std_scl = StandardScaler()
std_scl.fit(X_train)
X_train = std_scl.transform(X_train)
X_test = std_scl.transform(X_test)

#svc分類、真偽陰陽にて判定
svc = SVC()
svc.fit(X_train, y_train)
print('Confusion matrix:\n{}'.format(confusion_matrix(y_test, svc.predict(X_test))))


#Cとgammaのそれぞれ0.001, 0.01, 0.1, 1, 10, 100の6つの値を計算
#6かける6で36パターンを表示

#交差検証は10分割
svc_param_grid = {
    'C': [0.001, 0.01, 0.1, 1, 10, 100],
    'gamma': [0.001, 0.01, 0.1, 1, 10, 100]
}

svc_grid_search = GridSearchCV(SVC(), svc_param_grid, cv=10)
svc_grid_search.fit(X_train, y_train)

print('Train score: {:.3f}'.format(svc_grid_search.score(X_train, y_train)))
print('Test score: {:.3f}'.format(svc_grid_search.score(X_test, y_test)))

print('Confusion matrix:\n{}'.format(confusion_matrix(y_test, svc_grid_search.predict(X_test))))

import pandas as pd

import matplotlib.pyplot as plt

from sklearn.model_selection import train_test_split

from sklearn.svm import SVC

from sklearn.metrics import confusion_matrix

from sklearn.preprocessing import Imputer

from sklearn.preprocessing import StandardScaler

from sklearn.model_selection import GridSearchCV

#読込

diabetes_df = pd.read_csv(

'http://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data',

header=None)

#8列目が目的変数8列目を別にする

X = diabetes_df.iloc[:, :8]

y = diabetes_df.iloc[:, 8:].values.flatten() # 1次元に展開

# X shape: (768, 8), y shape: (768,)

print('X shape: {}, y shape: {}'.format(X.shape, y.shape))

#欠損値処理　(欠損値の指定defaultは'NaN',mean, median, mode のどれか,行か列かの指定

med_imp = Imputer(missing_values=0, strategy='median', axis=0)

med_imp.fit(X.iloc[:, 1:6])

X.iloc[:, 1:6] = med_imp.transform(X.iloc[:, 1:6])

# 学習データとテストデータを分ける

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

std_scl = StandardScaler()

std_scl.fit(X_train)

X_train = std_scl.transform(X_train)

X_test = std_scl.transform(X_test)

#svc分類、真偽陰陽にて判定

svc = SVC()

svc.fit(X_train, y_train)

print('Confusion matrix:\n{}'.format(confusion_matrix(y_test, svc.predict(X_test))))

#Cとgammaのそれぞれ0.001, 0.01, 0.1, 1, 10, 100の6つの値を計算

#6かける6で36パターンを表示

#交差検証は10分割

svc_param_grid = {

'C': [0.001, 0.01, 0.1, 1, 10, 100],

'gamma': [0.001, 0.01, 0.1, 1, 10, 100]

}

svc_grid_search = GridSearchCV(SVC(), svc_param_grid, cv=10)

svc_grid_search.fit(X_train, y_train)

print('Train score: {:.3f}'.format(svc_grid_search.score(X_train, y_train)))

print('Test score: {:.3f}'.format(svc_grid_search.score(X_test, y_test)))

print('Confusion matrix:\n{}'.format(confusion_matrix(y_test, svc_grid_search.predict(X_test))))

自作機会学習分類（キノコ）

2017年12月15日 by 河副太智 Leave a Comment

キノコの分類

import requests 
import zipfile
from io import StringIO
import io
import pandas as pd

from sklearn.model_selection import train_test_split
from sklearn import preprocessing

mush_data_url = "http://archive.ics.uci.edu/ml/machine-learning-databases/mushroom/agaricus-lepiota.data"
s = requests.get(mush_data_url).content

mush_data = pd.read_csv(io.StringIO(s.decode("utf-8")),header=None)

# データに名前をつける(データを扱いやすくするため)
mush_data.columns = ["classes", "cap_shape", "cap_surface", "cap_color", "odor", "bruises",
                     "gill_attachment", "gill_spacing", "gill_size", "gill_color", "stalk_shape",
                     "stalk_root", "stalk_surface_above_ring", "stalk_surface_below_ring",
                     "stalk_color_above_ring", "stalk_color_below_ring", "veil_type", "veil_color",
                     "ring_number", "ring_type", "spore_print_color", "population", "habitat"]



# カテゴリー変数(色の種類など数字の大小が決められないもの)をダミー特徴量(yes or no)として変換する
mush_data_dummy = pd.get_dummies(
    mush_data[['gill_color', 'gill_attachment', 'odor', 'cap_color']])


# 目的変数：flg立てをする
mush_data_dummy["flg"] = mush_data["classes"].map(
    lambda x: 1 if x == 'p' else 0)



# 説明変数と目的変数
X = mush_data_dummy.drop("flg", axis=1)#ここはflg立てした0か1のデータを縦に分離(classesに)
Y = mush_data_dummy['flg']#分離されたflg立てした0か1のデータ

train_X,test_X,train_y,test_y = train_test_split(X,Y, random_state=42)
#train_Xとtest_Xに変数Xを分割して8124行　分け方はランダム
#train_yとtest_yに変数Yを分割して8124行　分け方はランダム


# モデルの読み込み
from sklearn.ensemble import RandomForestClassifier

# モデルの構築
model = RandomForestClassifier()
# モデルの学習
model.fit(train_X, train_y)

# 正解率の算出
model.score(test_X, test_y)

import requests

import zipfile

from io import StringIO

import io

import pandas as pd

from sklearn.model_selection import train_test_split

from sklearn import preprocessing

mush_data_url = "http://archive.ics.uci.edu/ml/machine-learning-databases/mushroom/agaricus-lepiota.data"

s = requests.get(mush_data_url).content

mush_data = pd.read_csv(io.StringIO(s.decode("utf-8")),header=None)

# データに名前をつける(データを扱いやすくするため)

mush_data.columns = ["classes", "cap_shape", "cap_surface", "cap_color", "odor", "bruises",

"gill_attachment", "gill_spacing", "gill_size", "gill_color", "stalk_shape",

"stalk_root", "stalk_surface_above_ring", "stalk_surface_below_ring",

"stalk_color_above_ring", "stalk_color_below_ring", "veil_type", "veil_color",

"ring_number", "ring_type", "spore_print_color", "population", "habitat"]

# カテゴリー変数(色の種類など数字の大小が決められないもの)をダミー特徴量(yes or no)として変換する

mush_data_dummy = pd.get_dummies(

mush_data[['gill_color', 'gill_attachment', 'odor', 'cap_color']])

# 目的変数：flg立てをする

mush_data_dummy["flg"] = mush_data["classes"].map(

lambda x: 1 if x == 'p' else 0)

# 説明変数と目的変数

X = mush_data_dummy.drop("flg", axis=1)#ここはflg立てした0か1のデータを縦に分離(classesに)

Y = mush_data_dummy['flg']#分離されたflg立てした0か1のデータ

train_X,test_X,train_y,test_y = train_test_split(X,Y, random_state=42)

#train_Xとtest_Xに変数Xを分割して8124行　分け方はランダム

#train_yとtest_yに変数Yを分割して8124行　分け方はランダム

# モデルの読み込み

from sklearn.ensemble import RandomForestClassifier

# モデルの構築

model = RandomForestClassifier()

# モデルの学習

model.fit(train_X, train_y)

# 正解率の算出

model.score(test_X, test_y)