Vision Applications
Deep Learning
口頭発表
車載カメラ映像と動き情報による近未来キャプション生成
- Author
- 森優樹, 平川翼, 山下隆義, 藤吉弘亘
- Publication
- パターン認識・メディア理解研究会, 2020
Download: PDF (Japanese)
画像キャプション生成は，入力画像に対する説明文を生成するタスクであり，ニュース文の自動生成や画像検索のタグ生成などに利用されている．また，自動運転においては，搭乗者の心理的負担を軽減するために，運転制御の判断根拠の言語的説明への応用も期待されている．一方で，これまでの画像キャプション生成は，入力された画像に対するキャプションに留まっており，近未来に起きうるキャプションを生成していない．自動運転においては，事故防止や搭乗者への注意喚起には，現時刻よりも今後起きうる近未来の事象に対するキャプション生成が重要となる．本研究では，近未来キャプション生成という新たなタスクを提案するとともに，車載カメラ映像からの近未来キャプション生成に適したモデルの提案を行う．Berkeley Deep Drive eXplanation Datasetを用いた評価実験では，近未来キャプション生成が可能であることを示した．