【備忘録】パーセプトロンの学習規則

脳内のニューロンの働きを模倣した要素還元主義的なアプローチ，パーセプトロンモデルの学習規則について今日勉強したことを書いていく．

入力 $x$ と重みベクトル $w$ を以下のように置くと

$w = \left(\begin{array}{rrr}w_1\\ w_2\\ \vdots\\ w_m \end{array}\right)$ $x = \left(\begin{array}{rrr}x_1\\ x_2\\ \vdots\\ x_m \end{array}\right)$

総入力 $z = w_1 + w_2 + ... + w_m = w^T x$ と表される．

パーセプトロンのアルゴリズムでは決定関数 $\phi$ は単位ステップ関数になっていて次の式で表される．

\begin{eqnarray}\phi (z) = \left\{ \begin{array}{ll}
1 & (z\geqq\theta) \\
-1 & (z<\theta) \end{array} \right.\\\end{eqnarray}

総入力 $z$ が変数となって出力 $output$ が決定されていき，その $output$ をもとに重みが更新されていく．

１．重み $w$ を $0$ または値の小さな乱数で初期化（適当に値を決める）

２．トレーニングサンプル $x_i$ に対するラベル $y_i$ を用意する（教師データ）

３．出力値 $output$ を計算

４．重みを更新（間違えたら更新）

これらをひたすら繰り返して最適な重みを見つける

$w_i := w_i + \Delta w$

$\Delta w = \eta (y_i - output)x_i$

$\eta$ は学習率で0以上1未満

例えばここで，出力値1でラベルも1で，出力値とラベルが合致しているときは

$\Delta w = \eta (y_i - output)x_i = \eta (1 - 1)x_i = 0$

となり

$w_i := w_i + \Delta w = w_i + 0 = w_i$

なので，更新されない．

合致していない時は， $\Delta w_i$ が0にはならないので重みが更新される．

こかげむら