以下のようなことがやりたいです。
様々な画像がフォルダに含まれている
白のトイプードルだけ取り出して保存する
347枚の犬が写っている画像を集めました
各画像にラベルを付けました
白のトイプードル : 164枚
それ以外 : 183枚
犬が小さいと学習に使えないので、画像から犬部分を切り出します
学習済みの物体検出モデルYOLOv3を使いました
集めた犬の画像で学習します
50epochで収束しました
バリデーションの精度は95%でした
テスト用の9枚の犬画像があります
物体検出モデルYOLOv3に入力し、犬部分を切り出します
今回学習したクラス分類モデルVGG16に切り出した犬画像を入力します
白のトイプードルの画像のみ取り出すことができました
作成したコードは全てgithubに上げてあります。 github.com
以下の画像がわかりやすいです
従来の知能ロボットの処理系は、モジュールが縦に並んでいます。センサからの情報をモジュールが1つずつ順に処理して、最後、アクチュエータにつながります。
それに対して、サブサンプションアーキテクチャは、モジュールが横に並んでいます。複数のモジュールが、同時に、独立に、非同期に、動いている感じです。
2枚目の画像がシミュレーション世界です。赤いやつがエージェントです。
1枚目の画像は、このエージェントの中身です。サブサンプションアーキテクチャでエージェントの動きを構築できます。
→ひたすら直進する
→障害物を避けながら、ひたすら直進する
→獲物がいないなら待機。いるなら追いかける
→獲物がいないなら待機。いるなら追いかける。見失っても数秒その方向に進む。
→獲物がいないなら待機、直進を繰り返す。いるなら追いかける。見失っても数秒その方向に進む。
以下のリンクで、5層サブサンプションアーキテクチャのエージェントの動きが確認できます。緑のやつです。
自分で以下のテーマを設定しました
「夏季休暇の15日間を使って、研究っぽいことをしてください」
この結果についてまとめます。
1. やったこと、時間的な流れ
1-4日目
人工知能関連にしようと決めました。人工知能関連の論文を読みました。
その後、サブサンプションアーキテクチャ関連に絞りました。
5-8日目
サブサンプションアーキテクチャ関連の論文を読みました。
サブサンプションアーキテクチャを試せるシミュレーションソフト、SB-MASEを見つけました。
具体的なテーマを、「サブサンプションアーキテクチャによる知的な振る舞いの創発」に決めました。
9-10日目
SB-MASEで、サブサンプションアーキテクチャを構築、実装しました。
具体的な内容は後ほど、説明します。
11-13日目
人工知能学会誌を読みました。201905、201907、201909。
14日目
今後の展開について検討しました。
15日目
内容をパワポにまとめ、家族に発表しました。
2. 成果
・研究の難しさがわかった
・論文を読んだ
・情報収集のやり方がわかった
・研究テーマの実行：サブサンプションアーキテクチャによる知的な振る舞いの創発
・研究の難しさがわかった
研究テーマ決定が一番難しく、一番重要
・論文を読んだ
7本の論文と、2本の解説を読みました。
・情報収集のやり方がわかった
・研究テーマ実行：サブサンプションアーキテクチャによる知的な振る舞いの創発
以下の記事で紹介します。
3. 今後について
4. まとめ
2択の質問に5回答えてもらい、その結果をもとにオススメの芸能人をレコメンドするWebアプリを作りました。
STARTボタンを押して解答を始めます。
STARTボタンを押すと、図2のような2択から選択する画面に移動します。画像をクリックすることで選択することができます。5回選択してもらいます。
5回選択すると、図3のような画面に移動します。5回の選択をもとにオススメの芸能人をレコメンド結果を表示します。
図1 スタート画面
図2 2択選択画面
図3 レコメンド結果表示画面
芸能人の画像を集めて、それぞれの芸能人を表現するベクトルをオートエンコーダで学習して、Webページを作りました。
画像を収集するのに苦労しました。WebAPIを使ったのですが、結構時間がとられました。
Webページの実装も手間取りました。レンタルサーバを使ったのですが、まともなWebページの制作は初めてだったので、やり方がさっぱりわからず試行錯誤しました。
ニューラルネットワーク関連の実装は学習や推論ではなく、その前後の準備、インターフェースなどに時間がかかるとよく言われていますが、自分の身をもって実感しました。
このWebアプリに関してやりたかったことがもっとありましたが、今回はこの辺で一旦、完成としました。今後やりたいことは以下です。
・レコメンドのアルゴリズムを改善する(現在はかなり単純)
・学習用の画像を増やす(現在は1人100枚前後)
・レコメンドされる芸能人を増やす(現在は500人前後)
・男性芸能人、犬猫など、他の対象にスケールする(現在は女性芸能人のみ)
・スマホアプリ版を実装する(現在はWebアプリのみ)
・インターフェースをモダンにする(現在は最低限のみ)
・2択の回答回数を増やす100回などに増やす(現在は5回)
強化学習の有名な手法をまとめます。
強化学習とは、知能を、環境によって行動を決定するエージェントと見なして学習する、機械学習の1つです。
以前、強化学習の1つである、モンテカルロとQ-Learningは実装したので、そのリンクを貼っておきます。
以下の順番で説明します。この他にも、SARSA、DDQN、DuelingDQN、PPOなどいろいろありますが、時間がないので割愛します。
1:Q-Learning
2:モンテカルロ
3:DQN
4:A3C
5:UNREAL
1:Q-Learning
Q-LearningはQ関数を利用する手法です。Q関数はある状態sにおける行動aによって決まり、Q(s|a)と表現されます。Q(s|a)はある状態sにおける行動aの適切さを示します。Q(s,a)が一番大きい行動をエージェントは行います。ですから、学習してQ関数の最適なパラメータを得ることで、エージェントは最適な行動がとれるようになります。Q関数は表で表現されます。取り得る状態が10種類、可能な行動が3種類である場合、(10*3)の表です。Q-Learningでは、Q関数は以下の式で更新されます。
Q(s,a)←(1-x)*Q(s,a)+x*(r+y*max(s',a'))
x,yは学習率などのハイパーパラメータです。この式で繰り返し更新することで、適切なQ関数を得ます。
2:モンテカルロ
Q-Learningと同様に、モンテカルロもある環境のある行動を評価する方法です。しかし、内容はかなり異なります。モンテカルロでは、ある行動を評価する時、実際にその行動が行われたと考えて、報酬が得られるまで、行動を続けます。その結果、得られた報酬をもとにある行動を評価します。オセロであれば、ある一手を評価するために、その一手を打ったとして決着がつくまでゲームをして、これを繰り返すことで勝率を出して、ある一手を評価します。
3:DQN(Deep Q-Network)
Q-Learningは表で表現されたQ関数を学習する手法です。しかし、表は有限であるため、できることに限りがあります。それを解決するために、Q関数を深層ニューラルネットワークで近似したのがDQNです。
4:A3C(Asynchronous Advantage Actor-Critic)
DQNにAsynchronous、Adavantage、Actor-Criticを加えた手法です。Adynchronousとは、複数のエージェントを並列に動かして、その結果を集めて学習する方法です。Advantageは数ステップ先まで考慮した報酬の計算方法です。Actor-Criticはある環境である行動をする確率と状態の価値の推定を独立に行うことで、行動が連続的でも対応できるようにする方法です。
5:UNREAL(UNsupervised REinforcement and Auxiliary Learning)
A3Cのネットワークに直接の目的とは異なる補助タスクを組み込むことで、学習をうまくさせる方法です。DeepMindから発表されたかなり新しい方法です。
参考にしたリンクを貼っておきます。
1から順に交互に数字を言って10を言えた方が勝ちのゲームです
1ターンで数字は1つか2つ言えます。
プレイヤーは2人です。
このゲームは勝ちパターンがあるゲームです。勝ちパターンさえ把握していれば先行は必ず勝つことができます。
3種類のAIを実装します。総当たりで戦わせ、最強のゲームAIを決定します。
ランダムに行動を行います。
ランダムに1つ言うか2つ言うか選びます。
モンテカルロ法で行動を決定します。
モンテカルロ法とは、ある状態における行動を評価する方法です。自分がその行動をとったとして、そのまま最後までランダムプレイヤー同士にゲームを進めさせ、勝ったか負けたか記録します。これを何回も行い、勝率を計算して、その行動の良し悪しを評価するということです。
今回は100回ランダム対戦させて行動評価します
強化学習の一種であるQ-Learningで学習し、行動を決定します。
Q-LearningではQ関数を学習します。
Q関数は、ある状態における、ある行動の評価値の配列で表現されます。今回は、状態が0から9の10種類、行動は1,2の2種類なので、Q関数は2*10の2次元配列です。
更新式は、Q(s,a)←(1-α)*Q(s,a)+α*(r+γ*maxQ(s',a'))です。sは状態、aは行動です。s'、a'は、sでaをして得られる状態s'と、そこでの行動a'です。詳しくは、以下のリンクを見てください。
100回対戦した結果は以下です。数値は後攻に対する先行の勝率です。
このゲームは、勝ちパターンさえ把握していれば先行が必ず勝てるゲームです。
Q-Learningは先行の時、全ての相手に対して勝率100%です。勝ちパターンをしっかり学習できています。
表1 先行の勝率(%)
| 後攻 先行 |
ランダム | モンテカルロ | Q-Learning |
| ランダム | 48 | 19 | 11 |
| モンテカルロ | 80 | 71 | 64 |
| Q-Learning | 100 | 100 | 100 |
作成したコードは全てgithubに全て上げてあります。
ランダム、モンテカルロ、Q-Learningを実装しました。
簡単なゲーム設定ではありましたが、良い結果が得られたのでうれしいです。
kaggleは機械学習の競技プログラミングみたいなやつです。これのチュートリアルtitanicをやります。機械学習によるデータ解析を実際に体験することが目的です。部屋の等級、性別、兄弟夫婦の人数、親子の人数、年齢層に対してカーネルSVMを使うことで精度82%まで行きます。
問題について公式の説明のリンクです。
Titanic: Machine Learning from Disaster | Kaggle
以下のリンクを参考にしました。英語ですが、かなりわかりやすいです。
EDA To Prediction(DieTanic) | Kaggle
描画のライブラリmatplotlibの解説はこれがわかりやすかったです。
データを扱うためのライブラリpandasはこれがわかりやすかったです。
この3ステップでやります。
作成したプログラムは全てgithubに上げてあります。
データを読み込みます。nullがあるデータを確認します。性別、年齢、共に乗った人、に順に注目してデータを可視化して分析しました。最後にtrain2.csvにデータを保存しました。analyze.pyです。
性別と生存率のグラフです。女性は生き残る確率が高く、男性は低いことがわかります。
部屋の等級と生存率のグラフです。上のクラスであればあるほど、生き残る確率が高いことがわかります。
まばらな感じですが、子供やお年寄りは生き残る確率が高く、中間層は低いことがわかります。
兄弟夫婦の人数は1人が生存率のピークです。0人でも生存率は下がります。また、多ければ多いほど、下がるようです。
親や子供の人数は1,2,3人だと生存率が高いです。0人だと下がります。4人以上で、かなり下がります。
年齢データ(Age)が連続値であるため、学習できないので 、年齢層で0から4の値を持つAge_bandに変換しました。性別データを0,1の数値データに変換しました。予測に必要のないデータを削除して、保存しました。convert.pyです。
年齢層と生存率のグラフです。16歳以下の生存率が一番高いです。
加工したデータを読み込みます。学習用にデータを変換します。カーネルSVMで学習して、精度確認して、終了です。精度は以下のようになりました。82%です。コードは1.pyです。
Accuracy(rbf SVM): 0.8208955223880597
以上、kaggleチュートリアルtitanicでした。kaggle、pandas、scikitlearn凄いです。
アドバイス、改善点、質問があればお願いします。
