• Skip to main content
  • Skip to primary sidebar

学習記録

機械学習

look_backで過去に遡る

2017年12月29日 by 河副 太智 Leave a Comment

それぞれのYにlook_backの値を代入

1
2
3
4
5
# データの作成
look_back = 10
 
trainX, trainY = create_dataset(train, look_back)
testX, testY = create_dataset(test, look_back)

ユーザー定義関数を作成して実行結果を受け取る

1
2
3
4
5
6
7
8
# データセットの作成
def create_dataset(dataset, look_back):
dataX, dataY = [], []
for i in range(len(dataset)-look_back-1):
a = dataset[i:(i+look_back), 0]
dataX.append(a)
dataY.append(dataset[i + look_back, 0])
return numpy.array(dataX), numpy.array(dataY)

 

実行前

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
[[ 0.02588999]
[ 0.04530746]
[ 0.09061491]
[ 0.08090615]
[ 0.05501619]
[ 0.10032365]
[ 0.14239484]
[ 0.14239484]
[ 0.10355988]
[ 0.04854369]
[ 0.        ]
[ 0.04530746]
[ 0.03559873]
[ 0.07119742]
[ 0.11974111]
[ 0.10032365]
[ 0.06796119]
[ 0.14563107]
[ 0.21359226]
[ 0.21359226]
[ 0.17475727]
[ 0.09385115]
[ 0.03236246]
[ 0.11650488]
[ 0.13268611]
[ 0.14886734]
[ 0.23948219]
[ 0.1909385 ]
[ 0.22006473]
[ 0.23948219]
[ 0.30744341]
[ 0.30744341]
[ 0.25889972]
[ 0.18770227]
[ 0.13592234]
[ 0.20064726]
[ 0.2168285 ]
[ 0.24595472]
[ 0.28802589]
[ 0.24919096]
[ 0.25566342]
[ 0.36893204]
[ 0.40776703]
[ 0.44660196]
[ 0.33980587]
[ 0.28155342]
[ 0.22006473]
[ 0.29126218]
[ 0.29773465]
[ 0.29773465]
[ 0.42718449]
[ 0.42394826]
[ 0.40453079]
[ 0.44983819]
[ 0.51779938]
[ 0.54368937]
[ 0.43042073]
[ 0.34627834]
[ 0.24595472]
[ 0.31391588]
[ 0.32362464]
[ 0.27184466]
[ 0.42394826]
[ 0.39805827]
[ 0.42071202]
[ 0.51779938]
[ 0.64077675]
[ 0.61165047]
[ 0.50161815]
[ 0.40453079]
[ 0.32038835]
[ 0.40453079]
[ 0.44660196]
[ 0.41747573]
[ 0.52750814]
[ 0.53398061]
[ 0.5372169 ]
[ 0.68284798]
[ 0.84142399]
[ 0.78640783]
[ 0.67313921]
[ 0.55016184]
[ 0.43042073]
[ 0.56310678]
[ 0.5825243 ]
[ 0.5598706 ]
[ 0.68932045]
[ 0.67637551]
[ 0.69255674]
[ 0.87378645]
[ 1.00000012]
[ 0.97411013]
[ 0.81229782]
[ 0.65372169]
[ 0.54045308]]

 

実行後

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
[[ 0.02588999  0.04530746  0.09061491  0.08090615  0.05501619  0.10032365
   0.14239484  0.14239484  0.10355988  0.04854369]
[ 0.04530746  0.09061491  0.08090615  0.05501619  0.10032365  0.14239484
   0.14239484  0.10355988  0.04854369  0.        ]
[ 0.09061491  0.08090615  0.05501619  0.10032365  0.14239484  0.14239484
   0.10355988  0.04854369  0.          0.04530746]
[ 0.08090615  0.05501619  0.10032365  0.14239484  0.14239484  0.10355988
   0.04854369  0.          0.04530746  0.03559873]
[ 0.05501619  0.10032365  0.14239484  0.14239484  0.10355988  0.04854369
   0.          0.04530746  0.03559873  0.07119742]
[ 0.10032365  0.14239484  0.14239484  0.10355988  0.04854369  0.
   0.04530746  0.03559873  0.07119742  0.11974111]
[ 0.14239484  0.14239484  0.10355988  0.04854369  0.          0.04530746
   0.03559873  0.07119742  0.11974111  0.10032365]
[ 0.14239484  0.10355988  0.04854369  0.          0.04530746  0.03559873
   0.07119742  0.11974111  0.10032365  0.06796119]
[ 0.10355988  0.04854369  0.          0.04530746  0.03559873  0.07119742
   0.11974111  0.10032365  0.06796119  0.14563107]
[ 0.04854369  0.          0.04530746  0.03559873  0.07119742  0.11974111
   0.10032365  0.06796119  0.14563107  0.21359226]
[ 0.          0.04530746  0.03559873  0.07119742  0.11974111  0.10032365
   0.06796119  0.14563107  0.21359226  0.21359226]
[ 0.04530746  0.03559873  0.07119742  0.11974111  0.10032365  0.06796119
   0.14563107  0.21359226  0.21359226  0.17475727]
[ 0.03559873  0.07119742  0.11974111  0.10032365  0.06796119  0.14563107
   0.21359226  0.21359226  0.17475727  0.09385115]
[ 0.07119742  0.11974111  0.10032365  0.06796119  0.14563107  0.21359226
   0.21359226  0.17475727  0.09385115  0.03236246]
[ 0.11974111  0.10032365  0.06796119  0.14563107  0.21359226  0.21359226
   0.17475727  0.09385115  0.03236246  0.11650488]
[ 0.10032365  0.06796119  0.14563107  0.21359226  0.21359226  0.17475727
   0.09385115  0.03236246  0.11650488  0.13268611]
[ 0.06796119  0.14563107  0.21359226  0.21359226  0.17475727  0.09385115
   0.03236246  0.11650488  0.13268611  0.14886734]
[ 0.14563107  0.21359226  0.21359226  0.17475727  0.09385115  0.03236246
   0.11650488  0.13268611  0.14886734  0.23948219]
[ 0.21359226  0.21359226  0.17475727  0.09385115  0.03236246  0.11650488
   0.13268611  0.14886734  0.23948219  0.1909385 ]
[ 0.21359226  0.17475727  0.09385115  0.03236246  0.11650488  0.13268611
   0.14886734  0.23948219  0.1909385   0.22006473]
[ 0.17475727  0.09385115  0.03236246  0.11650488  0.13268611  0.14886734
   0.23948219  0.1909385   0.22006473  0.23948219]
[ 0.09385115  0.03236246  0.11650488  0.13268611  0.14886734  0.23948219
   0.1909385   0.22006473  0.23948219  0.30744341]
[ 0.03236246  0.11650488  0.13268611  0.14886734  0.23948219  0.1909385
   0.22006473  0.23948219  0.30744341  0.30744341]
[ 0.11650488  0.13268611  0.14886734  0.23948219  0.1909385   0.22006473
   0.23948219  0.30744341  0.30744341  0.25889972]
[ 0.13268611  0.14886734  0.23948219  0.1909385   0.22006473  0.23948219
   0.30744341  0.30744341  0.25889972  0.18770227]
[ 0.14886734  0.23948219  0.1909385   0.22006473  0.23948219  0.30744341
   0.30744341  0.25889972  0.18770227  0.13592234]
[ 0.23948219  0.1909385   0.22006473  0.23948219  0.30744341  0.30744341
   0.25889972  0.18770227  0.13592234  0.20064726]
[ 0.1909385   0.22006473  0.23948219  0.30744341  0.30744341  0.25889972
   0.18770227  0.13592234  0.20064726  0.2168285 ]
[ 0.22006473  0.23948219  0.30744341  0.30744341  0.25889972  0.18770227
   0.13592234  0.20064726  0.2168285   0.24595472]
[ 0.23948219  0.30744341  0.30744341  0.25889972  0.18770227  0.13592234
   0.20064726  0.2168285   0.24595472  0.28802589]
[ 0.30744341  0.30744341  0.25889972  0.18770227  0.13592234  0.20064726
   0.2168285   0.24595472  0.28802589  0.24919096]
[ 0.30744341  0.25889972  0.18770227  0.13592234  0.20064726  0.2168285
   0.24595472  0.28802589  0.24919096  0.25566342]
[ 0.25889972  0.18770227  0.13592234  0.20064726  0.2168285   0.24595472
   0.28802589  0.24919096  0.25566342  0.36893204]
[ 0.18770227  0.13592234  0.20064726  0.2168285   0.24595472  0.28802589
   0.24919096  0.25566342  0.36893204  0.40776703]
[ 0.13592234  0.20064726  0.2168285   0.24595472  0.28802589  0.24919096
   0.25566342  0.36893204  0.40776703  0.44660196]
[ 0.20064726  0.2168285   0.24595472  0.28802589  0.24919096  0.25566342
   0.36893204  0.40776703  0.44660196  0.33980587]
[ 0.2168285   0.24595472  0.28802589  0.24919096  0.25566342  0.36893204
   0.40776703  0.44660196  0.33980587  0.28155342]
[ 0.24595472  0.28802589  0.24919096  0.25566342  0.36893204  0.40776703
   0.44660196  0.33980587  0.28155342  0.22006473]
[ 0.28802589  0.24919096  0.25566342  0.36893204  0.40776703  0.44660196
   0.33980587  0.28155342  0.22006473  0.29126218]
[ 0.24919096  0.25566342  0.36893204  0.40776703  0.44660196  0.33980587
   0.28155342  0.22006473  0.29126218  0.29773465]
[ 0.25566342  0.36893204  0.40776703  0.44660196  0.33980587  0.28155342
   0.22006473  0.29126218  0.29773465  0.29773465]
[ 0.36893204  0.40776703  0.44660196  0.33980587  0.28155342  0.22006473
   0.29126218  0.29773465  0.29773465  0.42718449]
[ 0.40776703  0.44660196  0.33980587  0.28155342  0.22006473  0.29126218
   0.29773465  0.29773465  0.42718449  0.42394826]
[ 0.44660196  0.33980587  0.28155342  0.22006473  0.29126218  0.29773465
   0.29773465  0.42718449  0.42394826  0.40453079]
[ 0.33980587  0.28155342  0.22006473  0.29126218  0.29773465  0.29773465
   0.42718449  0.42394826  0.40453079  0.44983819]
[ 0.28155342  0.22006473  0.29126218  0.29773465  0.29773465  0.42718449
   0.42394826  0.40453079  0.44983819  0.51779938]
[ 0.22006473  0.29126218  0.29773465  0.29773465  0.42718449  0.42394826
   0.40453079  0.44983819  0.51779938  0.54368937]
[ 0.29126218  0.29773465  0.29773465  0.42718449  0.42394826  0.40453079
   0.44983819  0.51779938  0.54368937  0.43042073]
[ 0.29773465  0.29773465  0.42718449  0.42394826  0.40453079  0.44983819
   0.51779938  0.54368937  0.43042073  0.34627834]
[ 0.29773465  0.42718449  0.42394826  0.40453079  0.44983819  0.51779938
   0.54368937  0.43042073  0.34627834  0.24595472]
[ 0.42718449  0.42394826  0.40453079  0.44983819  0.51779938  0.54368937
   0.43042073  0.34627834  0.24595472  0.31391588]
[ 0.42394826  0.40453079  0.44983819  0.51779938  0.54368937  0.43042073
   0.34627834  0.24595472  0.31391588  0.32362464]
[ 0.40453079  0.44983819  0.51779938  0.54368937  0.43042073  0.34627834
   0.24595472  0.31391588  0.32362464  0.27184466]
[ 0.44983819  0.51779938  0.54368937  0.43042073  0.34627834  0.24595472
   0.31391588  0.32362464  0.27184466  0.42394826]
[ 0.51779938  0.54368937  0.43042073  0.34627834  0.24595472  0.31391588
   0.32362464  0.27184466  0.42394826  0.39805827]
[ 0.54368937  0.43042073  0.34627834  0.24595472  0.31391588  0.32362464
   0.27184466  0.42394826  0.39805827  0.42071202]
[ 0.43042073  0.34627834  0.24595472  0.31391588  0.32362464  0.27184466
   0.42394826  0.39805827  0.42071202  0.51779938]
[ 0.34627834  0.24595472  0.31391588  0.32362464  0.27184466  0.42394826
   0.39805827  0.42071202  0.51779938  0.64077675]
[ 0.24595472  0.31391588  0.32362464  0.27184466  0.42394826  0.39805827
   0.42071202  0.51779938  0.64077675  0.61165047]
[ 0.31391588  0.32362464  0.27184466  0.42394826  0.39805827  0.42071202
   0.51779938  0.64077675  0.61165047  0.50161815]
[ 0.32362464  0.27184466  0.42394826  0.39805827  0.42071202  0.51779938
   0.64077675  0.61165047  0.50161815  0.40453079]
[ 0.27184466  0.42394826  0.39805827  0.42071202  0.51779938  0.64077675
   0.61165047  0.50161815  0.40453079  0.32038835]
[ 0.42394826  0.39805827  0.42071202  0.51779938  0.64077675  0.61165047
   0.50161815  0.40453079  0.32038835  0.40453079]
[ 0.39805827  0.42071202  0.51779938  0.64077675  0.61165047  0.50161815
   0.40453079  0.32038835  0.40453079  0.44660196]
[ 0.42071202  0.51779938  0.64077675  0.61165047  0.50161815  0.40453079
   0.32038835  0.40453079  0.44660196  0.41747573]
[ 0.51779938  0.64077675  0.61165047  0.50161815  0.40453079  0.32038835
   0.40453079  0.44660196  0.41747573  0.52750814]
[ 0.64077675  0.61165047  0.50161815  0.40453079  0.32038835  0.40453079
   0.44660196  0.41747573  0.52750814  0.53398061]
[ 0.61165047  0.50161815  0.40453079  0.32038835  0.40453079  0.44660196
   0.41747573  0.52750814  0.53398061  0.5372169 ]
[ 0.50161815  0.40453079  0.32038835  0.40453079  0.44660196  0.41747573
   0.52750814  0.53398061  0.5372169   0.68284798]
[ 0.40453079  0.32038835  0.40453079  0.44660196  0.41747573  0.52750814
   0.53398061  0.5372169   0.68284798  0.84142399]
[ 0.32038835  0.40453079  0.44660196  0.41747573  0.52750814  0.53398061
   0.5372169   0.68284798  0.84142399  0.78640783]
[ 0.40453079  0.44660196  0.41747573  0.52750814  0.53398061  0.5372169
   0.68284798  0.84142399  0.78640783  0.67313921]
[ 0.44660196  0.41747573  0.52750814  0.53398061  0.5372169   0.68284798
   0.84142399  0.78640783  0.67313921  0.55016184]
[ 0.41747573  0.52750814  0.53398061  0.5372169   0.68284798  0.84142399
   0.78640783  0.67313921  0.55016184  0.43042073]
[ 0.52750814  0.53398061  0.5372169   0.68284798  0.84142399  0.78640783
   0.67313921  0.55016184  0.43042073  0.56310678]
[ 0.53398061  0.5372169   0.68284798  0.84142399  0.78640783  0.67313921
   0.55016184  0.43042073  0.56310678  0.5825243 ]
[ 0.5372169   0.68284798  0.84142399  0.78640783  0.67313921  0.55016184
   0.43042073  0.56310678  0.5825243   0.5598706 ]
[ 0.68284798  0.84142399  0.78640783  0.67313921  0.55016184  0.43042073
   0.56310678  0.5825243   0.5598706   0.68932045]
[ 0.84142399  0.78640783  0.67313921  0.55016184  0.43042073  0.56310678
   0.5825243   0.5598706   0.68932045  0.67637551]
[ 0.78640783  0.67313921  0.55016184  0.43042073  0.56310678  0.5825243
   0.5598706   0.68932045  0.67637551  0.69255674]
[ 0.67313921  0.55016184  0.43042073  0.56310678  0.5825243   0.5598706
   0.68932045  0.67637551  0.69255674  0.87378645]
[ 0.55016184  0.43042073  0.56310678  0.5825243   0.5598706   0.68932045
   0.67637551  0.69255674  0.87378645  1.00000012]
[ 0.43042073  0.56310678  0.5825243   0.5598706   0.68932045  0.67637551
   0.69255674  0.87378645  1.00000012  0.97411013]
[ 0.56310678  0.5825243   0.5598706   0.68932045  0.67637551  0.69255674
   0.87378645  1.00000012  0.97411013  0.81229782]]

 

 

Filed Under: 教師有り, 機械学習

予想結果の可視化

2017年12月28日 by 河副 太智 Leave a Comment

1
2
3
4
5
6
7
8
9
10
11
# プロットのためのデータ整形
trainPredictPlot = numpy.empty_like(dataset)
trainPredictPlot[:, :] = numpy.nan
trainPredictPlot[look_back:len(trainPredict)+look_back, :] = trainPredict
testPredictPlot = numpy.empty_like(dataset)
testPredictPlot[:, :] = numpy.nan
testPredictPlot[len(trainPredict)+(look_back*2)+1:len(dataset)-1, :] = testPredict
# テストデータのプロット
plt.plot(dataframe[round(len(dataset)*0.67):])
plt.plot(testPredictPlot)
plt.show()

 

Filed Under: 教師有り

LSTMネットワークでデータ予測と結果の評価

2017年12月28日 by 河副 太智 Leave a Comment

1
2
3
4
5
6
7
8
9
10
11
12
trainPredict = model.predict(trainX)
testPredict = model.predict(testX)
 
trainPredict = scaler_train.inverse_transform(trainPredict)
trainY = scaler_train.inverse_transform([trainY])
testPredict = scaler_train.inverse_transform(testPredict)
testY = scaler_train.inverse_transform([testY])
 
trainScore = math.sqrt(mean_squared_error(trainY[0], trainPredict[:,0]))
print('Train Score: %.2f RMSE' % (trainScore))
testScore = math.sqrt(mean_squared_error(testY[0], testPredict[:,0]))
print('Test Score: %.2f RMSE' % (testScore))

 

Filed Under: 教師有り, 機械学習

データをLSTMに合わせる

2017年12月28日 by 河副 太智 Leave a Comment

データをLSTMで分析できるように形を整る
[行数], [変数数], [カラム数(ルックバック数)]の形式に変換

 

1
2
trainX = numpy.reshape(trainX, (trainX.shape[0], 1, trainX.shape[1]))
testX = numpy.reshape(testX, (testX.shape[0], 1, testX.shape[1]))

 

Filed Under: 教師有り, 機械学習

教師無しの入力データ、教師データの作成

2017年12月28日 by 河副 太智 Leave a Comment

LSTMの予想ではある時点からいくつか前のデータを用いて
次の時点のデータを予測し教師データを作成する

入力データがある地点からいくつか前の点のデータ
教師データは次の時点のデータ となるように
入力データ、教師データを作成

次の関数のlook_back=nのnが「いくつ前のデータを利用するか」を設定

1
2
3
4
5
6
7
8
9
10
11
def create_dataset(dataset, look_back):
    dataX, dataY = [], []
    for i in range(len(dataset)-look_back-1):
        a = dataset[i:(i+look_back), 0]
        dataX.append(a)
        dataY.append(dataset[i + look_back, 0])
    return numpy.array(dataX), numpy.array(dataY)
 
look_back = 10
trainX, trainY = create_dataset(train, look_back)
testX, testY = create_dataset(test, look_back)

 

Filed Under: 教師有り, 機械学習

LSTMでデータを0-1の値にスケーリング

2017年12月28日 by 河副 太智 Leave a Comment

KerasでLSTMを構築する際はデータを0-1の値にスケーリングした方が結果が安定
但し、データをすべて用いてスケーリングすると、
訓練データにテストデータの情報が混入する事になる

データの最大値が1、最小値が0になるように加工する。
例えば訓練データに1に近い値がない場合には、
テストデータに最大値があるという事になる

訓練データを基準にデータ訓練データのスケーリングするには

1
2
3
4
5
6
7
8
# データのスケーリング
scaler = MinMaxScaler(feature_range=(0, 1))
#trainに入っているデータを基準にスケーリングすることを定義
scaler_train = scaler.fit(train)
#trainデータのスケーリング
train = scaler_train.transform(train)
#testデータのスケーリング
test = scaler_train.transform(test)

 

Filed Under: 教師有り, 機械学習

  • « Go to Previous Page
  • Page 1
  • Page 2
  • Page 3
  • Page 4
  • Page 5
  • Interim pages omitted …
  • Page 9
  • Go to Next Page »

Primary Sidebar

カテゴリー

  • AWS
  • Bootstrap
  • Dash
  • Django
  • flask
  • GIT(sourcetree)
  • Plotly/Dash
  • VPS
  • その他tool
  • ブログ
  • プログラミング
    • Bokeh
    • css
    • HoloViews
    • Jupyter
    • Numpy
    • Pandas
    • PosgreSQL
    • Python 基本
    • python3
      • webアプリ
    • python3解説
    • scikit-learn
    • scipy
    • vps
    • Wordpress
    • グラフ
    • コマンド
    • スクレイピング
    • チートシート
    • データクレンジング
    • ブロックチェーン
    • 作成実績
    • 時系列分析
    • 機械学習
      • 分析手法
      • 教師有り
    • 異常値検知
    • 自然言語処理
  • 一太郎
  • 数学
    • sympy
      • 対数関数(log)
      • 累乗根(n乗根)
    • 暗号学

Copyright © 2025 · Genesis Sample on Genesis Framework · WordPress · Log in