畳み込みニューラルネットワークの畳み込み層について

[きゃりーわんわん]

畳み込みニューラルネットワークの畳み込み層に関して教えてください。

畳み込み層では、畳み込み層に対する入力にフィルターを適用し、
その結果に対してReLUなどの活性関数を適用すると理解しています。

まず、上記認識はあっていますでしょうか？

次に、複数の異なるフィルターは、具体的にどういうものを使うのでしょうか？

[chop.chop]

概ね、そのような認識で構いません。

実際やっていることは、前の層からの入力に対して重みを掛けた物の和を入力として活性化関数に渡す、という処理になっています。
ここらへんは順伝搬型ネットワークを復習されると良いでしょう。順伝搬型ネットワークとの違いは、層と層が全結合にはなっていない、という点にあります。

次に、複数の異なるフィルターは、具体的にどういうものを使うのでしょうか？

畳み込みニューラルネットワークでは、畳み込み層は特徴抽出として動作します。
メモリの費用対効果では単なる畳み込み(convolution)が実験的に一番とされますが、その他様々なフィルターが存在します。

フィルターとして非線形関数を近似するマイクロネットワークを使用する、という手法も既存の論文で発表されています。


こちらの分野では、この参考書が非常に有用です。

[きゃりーわんわん]

次に、複数の異なるフィルターは、具体的にどういうものを使うのでしょうか？

畳み込みニューラルネットワークでは、畳み込み層は特徴抽出として動作します。
メモリの費用対効果では単なる畳み込み(convolution)が実験的に一番とされますが、その他様々なフィルターが存在します。

フィルターとして非線形関数を近似するマイクロネットワークを使用する、という手法も既存の論文で発表されています。


こちらの分野では、この参考書が非常に有用です。

chop.chopさん、
コメントありがとうございます。

自分もオススメしてくださった本を持っているのですが、
理解が正しいのか確認する術がないため、質問させていただきました。
また、上記参考書を確認しても、フィルターの実態に関しては特に言及がないため、
実装する際にどうすれば良いのか途方に暮れていたところでした。

色々ネットで調べると、以下の論文の2.3 Experimental Settingにて、
一様分布に従って重み(フィルター)を初期化していました。
http://jmlr.org/proceedings/papers/v9/g ... rot10a.pdf
まずはこれに従って実装してみます。

回答ありがとうございます。
一旦解決とたせていただき、
また不明点が出ましたら別途スレッドを作成し質問させていただきます。

[きゃりーわんわん]

補足です。

色々ネットで調べると、以下の論文の2.3 Experimental Settingにて、
一様分布に従って重み(フィルター)を初期化していました。
http://jmlr.org/proceedings/papers/v9/g ... rot10a.pdf
まずはこれに従って実装してみます。

上記論文は以下の論文の、
4.3 ネットワークの学習方法 から辿りました。
http://www.me.cs.scitec.kobe-u.ac.jp/pu ... -Q5-20.pdf