深層学習の流行の始まりがわからなかったので、いろいろ調べました。
その結果わかったことをまとめます。かなり雑かもしれないです。間違っている可能性もあります。ぼくの勝手な解釈も入ります。
昔から、ニューラルネットワークの開発は色々行われていた。層を深くすれば精度が上がりそうであることがわかった。しかし、勾配消失問題のせいで深くできない。だめだ。ニューラルネットワーク下火になる。
2006年にトロント大学のヒントン先生がDeep Belief Networkを発表した。これを使った事前学習で、勾配消失問題が回避できるらしい。ニューラルネットワーク、深層学習に注目が集まった。
2012年にヒントン先生の教え子、Alexさんが中心となって作ったAlexNetがILSVRC2012でその他の古典的手法に大きく差をつけて優勝した。AlexNetはLeCunさんの研究論文をもとに作られたCNNである。LeCunさんのその研究は福島さんのネオコグニトロンをルーツに持つらしい。この歴史的優勝によって、深層学習研究に火が付いた。
こんな感じです。
実際、2013年以降のILSVRCは2012年の結果を受けて、上位チームのほとんどがCNNだったらしい。この例からも、ニューラルネットワークの流行り具合が明らかです。
わかりにくいですが、2012年のAlexNetにヒントン先生のDBNによる事前学習は行われていません。もともと、CNNは事前学習を必要としないからです。この辺がわかりにくかったです。2006年と2012年は直接は繋がってないです。
こちらの記事を主に参考にしました。後、深層学習の青本も参考にしました。以上です。
改善点、アドバイスがあればお願いします。
