【Scikit-learn】ニューラルネットワーク(多層パーセプトロン・MLP)

Pythonと機械学習ライブラリ「scikit-learn」によるニューラルネットワーク(多層パーセプトロン・MLP)の使い方についてまとめました。

【はじめに】ニューラルネットワークとは

ニューラルネットワーク (Neural network)とは、人の脳内にある神経回路を参考にした学習モデルです。
多層パーセプトロン(MLP)とは、パーセプトロンを複数繋いで多層構造にしたニューラルネットワークです。

404 NOT FOUND | Python入門速報
404 NOT FOUND | Python入門速報

機械学習ライブラリ「Scikit-learn」では、バージョン0.18.0からニューラルネットワーク(NN)を利用できるようになりました。
今回は、それを用いてCSVファイルのデータを読み込んで学習させてみます。

書式

scikit-learnでは、sklearn.neural_network.MLPClassifierクラスを使うことでニューラルネットワーク(NN)を実装できます。
このクラスは、ニューラルネットワークでよく利用されている多層パーセプトロン(MLP)方式です。

sklearn.neural_network.MLPClassifier(hidden_layer_sizes=(100, ), activation='relu', solver='adam', alpha=0.0001, batch_size='auto', learning_rate='constant', learning_rate_init=0.001, power_t=0.5, max_iter=200, shuffle=True, random_state=None, tol=0.0001, verbose=False, warm_start=False, momentum=0.9, nesterovs_momentum=True, early_stopping=False, validation_fraction=0.1, beta_1=0.9, beta_2=0.999, epsilon=1e-08)

※各パラメータに設定されてる値(=の後)はデフォルト値

パラメータ(引数) 内容
hidden_layer_sizes=(100, ) 隠れ層のノード数(多層化可能)
activation=’relu’ 活性化関数(identify, logistic, tanh, relu)
solver=’adam’ 最適化手法(lbfgs, sgd, adam)
alpha L2ペナルティ(正則化の項)
batch_size=’auto’ 最適化のバッチサイズ(sgd、adam用)
learning_rate 重み更新のための学習率スケジュール(’定数’、 ‘invscaling’、 ‘adaptive’)
max_iter=200 反復の最大回数
shuffle 反復する度にサンプルをシャッフルするか(solverが’sgd’か’adam’の時に使用)
random_state 乱数生成の状態 or シード(int、RandomState)
tol 最適化の許容誤差
power_t スケーリング学習率の指数
verbose 進捗メッセージを標準出力するかどうか
warm_start 以前の呼び出しの解を再利用して初期化するかどうか
momentum 勾配降下更新のモメンタム
nesterovs_momentum 訓練データの10%が妥当性検査として自動設定され、2つの連続したエポックで少なくとも妥当性スコアが改善していない場合は訓練終了(solver = ‘sgd’または ‘adam’で有効)
early_stopping 検証スコアが改善されていないとき訓練中止のために早期停止を使用するかどうか
validation_fractionv 早期停止のための妥当性確認として設定される訓練データの割合
beta_1 adamの第1モーメントベクトルの推定値に対する指数関数的減衰率
beta_2 adamの第2モーメントベクトルの推定値に対する指数関数的減衰率
epsilon adamの数値安定性の値(solver = ‘adam’で使用)

【参考文献】 http://scikit-learn.org/stable/modules/generated/sklearn.neural_network.MLPClassifier.html#sklearn.neural_network.MLPClassifier

ソースコード

サンプルプログラムのソースコードです。


表示されない場合は、「https://github.com/nishizumi-lab/sample/blob/master/python/scikit/mlp/ex2.py」をご覧ください。

学習用データ


テスト用データ


MLPの決定境界を可視化

前回記事では、Pythonと機械学習ライブラリ「scikit-learn」でニューラルネットワーク(多層パーセプトロン・MLP)の学習モデルを作成しました。

【Scikit-learn】ニューラルネットワーク(多層パーセプトロン・MLP)
Pythonと機械学習ライブラリ「scikit-learn」によるニューラルネットワーク(多層パーセプトロン・MLP)の使い方についてまとめました。

今回は、Scikit-learnで作成した学習済みモデルをグラフで可視化(生成された決定境界を描画)します。
やり方は簡単で、説明変数に合わせた細かい入力データを作り、学習したモデルで分類を行い塗りつぶしていきます。
その際、各クラスを色分けしてプロットすることで、決定境界(分類の境界線)が浮かび上がります。
細かいデータを作る際は、numpyのmeshgridを使うと便利です。

ソースコード

サンプルプログラムのソースコードです。


学習用データ


テスト用データ


【Scikit-learn】MLPの決定境界を可視化(ニューラルネットワーク・多層パーセプトロン)
Pythonと機械学習ライブラリ「scikit-learn」によるニューラルネットワーク(多層パーセプトロン・MLP)の可視化(決定境界のプロット)についてまとめました。
【Scikit-learn】ニューラルネットワークでアヤメ分類(MLP)
Pythonと機械学習ライブラリ「scikit-learn」を用いて、ニューラルネットワーク(NN)でアヤメの分類を行う方法について解説します。
【Scikit-learn】MLP(多層パーセプトロン)で手描き数字の判別【ニューラルネットワーク】
Pythonと機械学習ライブラリ「scikit-learn」によるニューラルネットワーク(多層パーセプトロン・MLP)で手書き数字画像から数字を判別(digitsデータセット)する方法についてまとめました。
Scikit-learnの使い方まとめ(機械学習入門・サンプル集)
Pythonモジュール「Scikit-learn」で機械学習を行う方法について入門者向けに使い方を解説します。

コメント