ROC2 : World Robot Summit 2018
本研究グループは，オムロン株式会社，中京大学と合同でチーム「ROC2」を結成し，日本の経済産業省とNEDO（国立研究開発法人 新エネルギー・産業技術総合開発機構）が主催する国際ロボット競技会 World Robot Summit 2018 に参加しました．この競技会は，ロボットの社会実装や研究開発の加速を目的とした国際的なロボット複合イベントであり，2018年10月17日から21日にかけて東京ビックサイトで開催されました．国内外の大学，研究機関，企業から計23チームがエントリーしました．
チーム「ROC2」は，その中のフューチャーコンビニエンスストアチャレンジ(FCSC)という種目に参加しました．
フューチャーコンビニエンスストアチャレンジ (FCSC)
FCSCは，コンビニエンスストアにおける商品の陳列や破棄などの業務を自動化することを目的とした競技です．一般的な産業ロボットは専用に整備された環境で動作するのに対し，本大会では，コンビニ店舗内の複雑な環境に適応可能な高精度な物体認識と柔軟なロボット制御技術が求められました．
本競技では，「おにぎり」「ドリンク」「弁当」「サンドイッチ」といった商品の自動補充や，賞味期限切れの商品をどれだけ正確かつ迅速に行えるかを競います．また，指定された棚に正しく商品を補充できたかといった業務の正確性も評価基準となり，実際のコンビニ業務での活用を想定した技術の実証が求められます．
合同チーム「ROC2」
私たち中部大学機械知覚&ロボティクスグループは，オムロン株式会社と中京大学との産学合同チーム「ROC2」を結成し，FCSCに参加しました．チーム「ROC2」では，本研究グループがカメラを用いた商品のセンシングを行う技術の開発を担当し，オムロン株式会社がロボット全体のシステムの構築，中京大学が商品のどの部分を把持するのかを推定する技術の開発を担当しました．競技では，消費者意識の観点から，レーザーなどを商品に直接照射することなく，カメラからのカラー画像のみで商品の6次元情報を推定し，最適なピッキングを行う戦略を採用しました．大会の結果は第2位（競技得点は1位チームと同点）でした．
面セグメンテーションを用いた 6D-PoseNet による姿勢推定
セグメンテーションネットワークと 6D-Pose-Net の2つのネットワークを構築し，段階的に処理を行うことでカラー画像のみを用いた商品の姿勢推定を行います．
セグメンテーションネットワーク
セグメンテーションネットワークでは，Encoder-Decoder構造を持つ SegNet を使用し，入力されたカラー画像に映る商品の面を識別した面セグメンテーション画像を生成します．
サンドイッチの場合，写っている面が「正面」「背面」「耳部」「背景」などの7種類に分類します．
6D-PoseNet
6D-PoseNet では，セグメンテーションネットワークで識別した面の情報をもとに，商品の姿勢を推定します．
面セグメンテーションを用いた画像生成ネットワークの反復処理
こちらの方法では，前述のセグメンテーションネットワークを用いた商品の面セグメンテーション画像と，画像生成ネットワークを用いた面セグメンテーション画像を比較し，両者の出力結果を近づけることで商品の姿勢を推定します．
画像生成ネットワーク
画像生成ネットワークでは，入力された姿勢情報 `q, t` から面セグメンテーション画像を生成します．
姿勢パラメータの更新
出力結果を近づける際は，画像生成ネットワークに入力する姿勢パラメータを両者の誤差`L(P,C)`を用いて逆誤差伝播によって勾配を算出し，セグメンテーションネットワークの出力に近づけるように姿勢パラメータを更新します．
