First Person Visionによる三次元Scan Pathの獲得
First Person Vision(FPV)では，頭部に装着するウェアラブルセンサを用いて，ユーザ視点の動画像から周囲環境を認識し，ユーザの視線情報と合わせることで行動意図の理解を目的としています．我々は，人の眼球と人の視界映像を同時に取得するInside-Outカメラと，そのカメラシステムの構成を活かした注視点の推定法を提案しています．Inside-Outカメラはハーフミラーを介して眼球を正面から，視界映像を眼球と同等の位置から撮影することができます．Inside-Outカメラでは，眼球を撮影した画像から得られる視線ベクトルから，視界を撮影した画像上の注視点位置を求めます．
Inside-outカメラ
Inside-Out カメラは，図に示すようなゴーグル上部に配置した眼球を撮影するEyeカメラ2台と，下部に配置した視界を撮影するSceneカメラ2台で構成されたゴーグル型の視線計測装置です．Eyeカメラは，赤外ミラーと左右の眼球を撮影する2台の赤外カメラ，カメラの周りに6個ずつ配置された赤外LEDで構成されています．LEDはカメラの周囲に配置されており750mm～900mm(中心波長850mm)，指向性 40度の近赤外光を発します．赤外ミラーは，可視光の95%を透過し，赤外光の95%を反射するミラーです．赤外ミラーは，赤外カメラの光軸に対して45度傾けて設置してあるため，上部に設置された赤外カメラは赤外ミラーを介して，人の眼球を正面から撮影することが可能となります．赤外光は不可視であるため，視覚刺激を与えることなく眼球を撮影することができます．
Sceneカメラは，左右の視界を撮影する小型CCD カメラ2台とハーフミラーで構成されていますハーフミラーは可視光の50%を反射し，残りを通過します．ハーフミラーは図に示すように，赤外ミラーと同様にCCDカメラの光軸に対して45度傾けて設置してあるため，ハーフミラーを介すことで光学的に人の視点とほぼ同一の位置からシーンの映像を撮影することができます．また，2台のカメラ間のベースラインは約6.5cmであり，ステレオ視に用いることが可能です．
3次元Scan Path
動的に移動するユーザの3次元空間における注視点の軌跡を計測することにより，ユーザの意図や行動を理解することが必要となります． 3次元空間におけるInside-Out カメラから算出された自己運動に基づく3次元Scan Pathとシーン構造を復元するためのシステムを提案しています．Sceneカメラから取得したシーケンス映像を用いて，動的に移動するユーザの自己運動を推定し，ステレオカメラにより各フレームにおけるシーンの3次元構造を復元します．3次元注視点の推定では，始めにEyeカメラの眼球画像から視線推定を行い，次に，視線の推定結果を用いて同フレームの2次元座標における注視点を推定します．最後に，両目の2次元注視点の推定結果からステレオ視により3次元注視点を推定します．3次元Scan Pathは，各フレームにおける自己運動の推定結果と3次元の注視点推定結果を統合することにより復元することができます．
