データを訓練用と訓練用に分ける
時系列分析の場合は前回のデータを基にするのでランダムにしない
一般的な分別の場合はランダムに分ける
◆一般的な分析の場合
|
1 2 3 4 |
y = data.quality X = data.drop('quality', axis=1) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2,random_state=123,stratify=y) |
◆時系列分析の場合
前半67%を訓練用、残りはテスト用
|
1 2 3 4 |
train_size = int(len(dataset) * 0.67) test_size = len(dataset) - train_size train, test = dataset[0:train_size,:], dataset[train_size:len(dataset),:] print(len(train), len(test)) |
季節調整済とは原系列をトレンド、季節変動、残差分類する事
(原系列 = トレンド + 季節変動 +残差)
原系列 – トレンド – 季節変動 = 残差
例えば気温の観測においては
夏と冬では気温差が激しいのでそこは考慮せず、
年単位で計測する地球温暖化による気温の変化を計測する場合に使用する
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
import pandas as pd import matplotlib.pyplot as plt import statsmodels.api as sm from pandas import datetime import statsmodels.api as sm %matplotlib inline import numpy as np # データの読み込み co2_tsdata = sm.datasets.co2.load_pandas().data # 欠損値の処理 co2_tsdata2 = co2_tsdata.dropna() # 季節調整とグラフのプロット res = sm.tsa.seasonal_decompose(co2_tsdata2,freq=51) fig = res.plot() plt.show() # 何も書き込まず実行してください |
階差系列グラフは定常性を持たせるためのもの。
階差系列とは時系列データの隣りのデータで処理する事。
[1,5,3,5,3,2,2,9]の時系列データを階差系列にすると
[4,-2,2,-2,-1,0,7]となる
コードはaaa.diff()
(aaaはデータが入った変数)
そこからさらに階差数列をとると２次の階差数列となる。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
import pandas as pd import matplotlib.pyplot as plt import statsmodels.api as sm from pandas import datetime %matplotlib inline import numpy as np co2_tsdata = sm.datasets.co2.load_pandas().data # 欠損値 co2_tsdata2 = co2_tsdata.fillna(method="ffill") # 原系グラフ plt.subplot(2,1,1) plt.xlabel("date") plt.ylabel("co2") plt.plot(co2_tsdata2) # 階差グラフ plt.subplot(2,1,2) plt.xlabel("date") plt.ylabel("co2_diff") co2_data_diff = co2_tsdata2.diff() # プロット plt.plot(co2_data_diff) plt.show() |
移動平均とは、k個の連続する値の平均値を取得
時系列データの特定区間で移動させながら取得を繰り返すこと
元のデータの特徴を維持し、データを滑らかにする
月ごとのデータに季節変動があれば、
12個の連続する値の移動平均で、季節変動を除去でき、
トレンドを抽出。
それから移動平均を元の系列から引き、
系列のトレンド成分を除去する
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 |
import pandas as pd import matplotlib.pyplot as plt import statsmodels.api as sm from pandas import datetime %matplotlib inline import numpy as np co2_tsdata = sm.datasets.co2.load_pandas().data # 欠損値の処理 co2_tsdata2 = co2_tsdata.fillna(method="ffill") # 原系列のグラフ plt.subplot(6,1,1) plt.xlabel("date") plt.ylabel("co2") plt.plot(co2_tsdata2) # 移動平均を求める co2_moving_avg = co2_tsdata2.rolling(window=51).mean() # 移動平均のグラフ plt.subplot(6,1,3) plt.xlabel("date") plt.ylabel("co2") plt.plot(co2_moving_avg) # 原系列-移動平均グラフ plt.subplot(6,1,5) plt.xlabel("date") plt.ylabel("co2") mov_diff_co2_tsdata = co2_tsdata2-co2_moving_avg plt.plot(mov_diff_co2_tsdata) plt.show() # 何も書き込まず実行してください |
対数変換を行いデータの変動を穏やかにする
対数で数字が大きいほど小さめの数に結果が出力される。
変動の激しい時系列に対して自己共分散を一様にできる
対数変換でもトレンド除去できない場合は
更にトレンド除去する
対数変換は np.log()
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
import pandas as pd import matplotlib.pyplot as plt import statsmodels.api as sm from pandas import datetime %matplotlib inline import numpy as np # データ sunspots = sm.datasets.sunspots.load_pandas().data sunspots.index = pd.Index(sm.tsa.datetools.dates_from_range('1710','2018')) del sunspots["YEAR"] # 対数変換を行う sunspots_log = np.log(sunspots) # グラフ plt.title("Sunspots") plt.xlabel("date") plt.ylabel("sunspots_log") plt.plot(sunspots_log) plt.show() |
[1,5,3,5,3,2,2,9]という時系列データの階差系列は[4,-2,2,-2,-1,0,7]となる
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
import numpy as np import pandas as pd import matplotlib.pyplot as plt import statsmodels.api as sm from pandas import datetime %matplotlib inline # データ読み込む sales_sparkring = pd.read_csv(filepath_or_buffer = 'https://aidemyexcontentsdata.blob.core.windows.net/data/5060_tsa/monthly-australian-wine-sales-th-sparkling.csv') # データの時期を入力 Mは間隔 index = pd.date_range('1980-11-31','1995-11-31',freq = 'M') # インデックスデータをdfのインデックスに設定 sales_sparkring.index = index # カラムの削除 del sales_sparkring['Month'] # グラフのタイトル設定 plt.title("monthly-australian-wine-sales-th-sparkling") # x軸とy軸名前設定 plt.xlabel("date") plt.ylabel("sales") plt.plot(sales_sparkring) plt.show() |
