走行シーンにおける潜在的リスクの推定
実世界の走行環境には，様々な交通リスクが存在します．
ドライバーや車載カメラから認識可能な顕在化しているリスクは自律走行システムやドライバーの判断によって適切に回避することが可能です．
しかし，停車中の車両や道路構造によって生じる死角から突然飛び出す歩行者や車両を回避することは非常に困難です．このようなリスクは潜在的リスクと呼ばれ，物体が飛び出す直前まで認識することができず，交通事故を高い確率で引き起こします．センサに映らない潜在的なリスクを事前に予測し交通事故の予防に備えることは，自律走行システムのさらなるステップアップや市街地での安全な運転の提供に必要な技術です．
これらの背景から，私たちは車載カメラ画像を用いて走行シーンに含まれる潜在的なリスクを予測する研究に取り組んでいます．
単眼カメラ画像を用いた潜在的リスクの推定
従来の潜在的リスク推定手法は，手法ごとに潜在的リスクの定義が異なります．例えば，歩行者が飛び出す可能性のある領域，車載カメラの死角領域などがこれまでに用いられています．そのため，車載カメラの死角領域から飛び出す歩行者や車両の両方に対応することができません．
そこで本研究では，潜在的リスクの定義を歩行者や車両が飛び出す可能性のある領域と定義し，Cityscapes [Cordts+, CVPR’16]に対して人手によるアノテーションを実施しました．潜在的リスクを推定するためのネットワークを提案します．
通常，歩行者が飛び出す可能性のある領域の認識はアノテーターによって異なり領域ベースのアノテーションでは統一的なラベルを付与することが困難です．アノテーター間の個人差を低減するために，リスク領域の中心1Pixelにアノテーションを行っています．これにより，アノテーター間の個人差を低減するだけではなく，アノテーションコストを大幅に削減することが可能です．
一方で，1Pixelで示すラベルは情報量が少なくネットワークの学習は非常に困難です．そこで，本研究では，屋外画像の深度バイアス[Chen+,NeurIPS’16]を用いて1Pixelのラベルを自車両との距離に応じて拡大し，ガウシアンフィルタを適用することで，自車両と距離に比例して任意のリスク領域のラベルサイズと危険度を表現するための前処理を提案します．前処理後のラベルを用いて潜在的リスク推定ネットワークの学習を行います．
潜在的リスク領域は，異なる物体にまたがる特性があることから，提案するネットワークはInception Module[Szegedy+, CVPR’15]を用いたEncoder・Decoder構造を採用しています．
これにより，任意の走行シーンに対して，自車両との距離やシーンのコンテクストを理解した潜在的リスクの推定が可能であることを確認しました．
カメラパラメータに依存しない自動アノテーション
潜在的リスク推定のためのデータセット構築は，1Pixelのアノテーションを用いた場合でも高いコストが必要です．
様々なドメインに対応可能な潜在的リスク推定モデルの実現を考えると大規模なデータセットの構築が必要となりアノテーションは現実的な時間にはおさまりません．
そのため従来研究では，自己教師深度推定モデルや点群データ，カメラパラメータを活用することで潜在的リスク領域の自動アノテーションを実現しています．
しかし，これら方法は，自動アノテーションが可能なデータセットの条件が厳しく適用可能な範囲が限定的です．
そこで本研究では，車載カメラ画像のみを用いたカメラパラメータや点群を必要としない自動アノテーション手法を提案します．
提案手法は，セグメンテーションモデルから得られたセマンティックマスクから潜在的リスクを構成する要素(車やトラック)を抽出します．
次に，学習済みの深度推定モデルから得られた深度マップに対して水平方向の2階微分を計算することで，任意の走行シーンの死角領域を推定します．
このとき，任意の画像に対して左・右端から2階微分をすることで任意の要素に対する前方の死角領域と後方の死角領域を抽出可能です．
最終的に，潜在的リスクを構成する要素と後方の死角領域の論理積を取ることで任意の物体に対する後方の死角領域を抽出可能であり，これを潜在的リスク領域のWeaklyラベルとします．
評価実験により，提案手法で生成したWeaklyラベルを用いた学習は，手動で付与したSupervisedラベルと同等以上の学習効果が得られることを確認しました．
また提案手法は，カメラ画像のみを必要とする手法であり，セグメンテーションと深度推定が適用可能なすべての車載カメラデータセットに使用することが可能です．
Mapillary Vistas[Neuhold+, ICCV’17]とBDD100K[Yu+, CVPR’20]を用いた実験から，提案手法の高い汎用性を確認しました．
