今回はディープニューラルネットワークから始まります。
ディープニューラルネットワーク
この絵の様に、ニューラルネットワークの中間層が多段になっているものがディープニューラルネットワークです。
演算は行列積で行われます。
前の層のニューロンが２つ、後の層のニューロンが３つの場合、xは前の層の出力、wは重み、bはバイアスとして
ｙ１＝ｆ１（ｗ１・ｘ１＋ｗ２・ｘ２＋ｂ１）
ｙ２＝ｆ２（ｗ３・ｘ１＋ｗ４・ｘ２＋ｂ２）
ｙ３＝ｆ３（ｗ５・ｘ１＋ｗ６・ｘ２＋ｂ１）
層ｊのニューロンはそれぞれ前の層の出力を全て受け取って、それに重みを掛けたものにバイアスを加え、これを活性化関数を通して次の層への入力とします。
活性化関数
活性化関数には問題の種類によって適・不敵が有ります。二値分類ならシグモイド関数、中間層で良く使われるのはレル関数、出力層では回帰問題なら恒等関数や、分類問題ならソフトマックス関数など。
例えば、恒等関数は入力をそのまま出力します（ｙ＝ｘ）、レル関数はｘが０以下ならｙ＝０、ｘが正数ならｙ＝ｘ、など。
活性化関数が無ければ、層（計算）をいくら重ねても最終的には１つの式で表現できてしまい直線的な関係しか表現出来ませんが、活性化関数を導入する事で曲線的な関係を表現することができ表現力が上がります。
これはシグモイド関数です
これはReLU関数です
バイアス
バイアスが何故必要なのか？については難しい説明が有りそうですが、単純に入力が０の時でも何らかの出力を得られる様にするため、と理解しています。
次は学習に入っていきますが、ちょっとずつ進みましょう。
2024年11月5日 手塚幹人
コメント