MACHINE PERCEPTION AND ROBOTICS GROUP

機械知覚&ロボティクスグループ
中部大学

深層学習をベースにした強化学習法は，ビデオゲームやロボットにおける自律動作の獲得が可能となり，高い性能を達成している．しかし，強化学習ではどのような判断で自律動作を実現しているのかが不明であるという問題がある．一方，深層学習による認識手法では，ネットワークがどのような意図で認識結果を出力したのかを解析する研究が取り組まれている.画像認識では，特徴マップの応答値から推論時における注視領域を出力する Attention Branch Network (ABN)がある. ABN は，Attention branch から注視領域を表現した Attention map を Attention 機構へ応用することで物体認識性能を向上している.本研究では，自律動作の獲得の性能向上，及び推論時の動作における注視領域を視覚化するために，ABN の Attention 機構を導入した Asynchronous Advantage Actor-Critic (A3C) を提案する．A3C が出力する状態価値は入力の状態がどの程度報酬に貢献するのかを数値的に示しているため，状態価値を ABN と同様に Attention map を GAP により出力することで，特定の環境から状態価値の高い局所的な領域を注視した Attention map を得ることができる．評価実験では，Open AI gymのゲーム環境を使用し，提案手法の有効性を確認した．