視線情報を埋め込んだテンポラルシーングラフを用いたナビゲーション文章生成によるHuman-like Guidance
- Author
- 難波田 雅己, 宮田 昌樹, 大久保 翔太, 南里 卓, 平川 翼, 山下 隆義, 藤吉 弘亘
- Publication
- 画像センシングシンポジウム, 2023
Download: PDF (Japanese)
自動車の案内として，機械によるカーナビゲーションと人間によるナビゲーションの2つが考えられる．カーナビゲーションとは既存のカーナビゲーションシステムのことであり，車載モニターのデジタル地図と，右左折地点からの距離や方角，道路名を基準にした案内文によりナビゲーションをする．そのため，「100m先を右方向です」「〇〇通りを北に進んでください」といった定型文による案内であるが，直感的な理解が難しく，事故を誘発する危険性がある．一方，人間によるナビゲーションでは，同乗者が視認した周辺環境の情報を利用して，建物や周辺車等を利用して案内を行う．そのため，「ガソリンスタンドがある交差点を右方向です」「前の黄色い車に付いて行ってください」と言った状況に合わせた案内になり，直感的に理解しやすいが，同乗者がいなければ成り立たない．本研究では人間のナビゲーションをシステムで再現することを目標としたHuman-like Guidance (HlG)の実現を目的とする．HlGでは，「前方の赤い車を追従して次の交差点を右折です」など状況に合わせたわかりやすい案内文でのナビゲーションがシステムのみで可能となる．本研究では，人間の運転中の視線情報と時系列情報を考慮したテンポラルシーングラフによるHlGの実現を提案する．人間の運転中の視線情報は，視線推定ネットワークを用いて運転中の視線情報を学習し，運転者がどこを注視しているか推定することで再現する．また，時系列を考慮した周囲の環境情報を表すシーングラフであるテンポラルシーングラフを提案し，推定した視線情報を付与することで，人間が着目しているものをベースとした案内文を生成する．視線推定，文章生成においてそれぞれ自作のデータセットを作成し，文章生成結果を比較し有効性を検証する実験を行った．