機械知覚&ロボティクスグループ
中部大学

Machine Learning Machine Perception Deep Learning 口頭発表

セマンティックセグメンテーションを用いた深層強化学習による自律移動の獲得

Author
丸山祐矢, 古川弘憲, 村瀬卓也, 山内悠嗣, 山下隆義, 藤吉弘亘
Publication
日本ロボット学会学術講演会, 2017

Download: PDF (Japanese)

ロボットによる動作の自動獲得は,ルールベースのアプローチではなく,深層学習を用いた学習ベースのアプローチが利用されている.ある文献では,自動運転を対象とし,画像を入力,ハンドルの操舵角を教師信号として,畳み込みニューラルネットワークによるEnd-to-end学習を実現し,適切な動作を推定する.深層強化学習を用いた文献では,14台のロボットマニピュレータで80万回の把持動作を収集し,強化学習により把持動作を自動獲得している.前者の手法は教師あり学習であり,教師信号として実空間における運転動作と画像を大量に収集する必要がある.一方,強化学習である後者の手法は,教師信号を必要としないが,ロボットを実空間で動作させる必要があり,学習に多大な時間を要する.特に,強化学習を用いて自律移動のための動作を実機で獲得するには,衝突等の学習に必要となるイベントが伴うため,その学習コストは高い.この問題を解決する方法として,シミュレータの利用が考えられる.仮想環境における学習はコストが掛からず,シミュレータを用いることで実時間以上の速度で動かすことによる高速な強化学習が可能である.しかし,シミュレータ環境における入力とシーンを撮影した実空間の入力データの間には大きな隔たりが存在する.そのため,シミュレータ環境で深層強化学習により学習したネットワークモデルを用いて実機で評価すると上手く動かないという問題が発生することがある.そこで,本研究ではこれらの問題を解決するため,セマンティックセグメンテーションを用いた強化学習による自律移動の自動獲得を実現する.実画像で学習したセマンティックセグメンテーションの結果を入力として強化学習することで,シミュレータ・現実空間の間での入力データの隔たりを無くすことが期待できる.これにより,高速かつ低コストなシミュレータ環境での学習結果を用いて,実世界でのロボット制御を実現することが可能となる.

前の研究 次の研究