Team C^2M : APC RGB-D+PointCloud Dataset 2015
Amazon Picking Challenge では、棚に陳列されたアイテムの中から指定されたアイテムをロボットが認識し、ピッキングする問題を扱っており、物流の自動化を目的としたコンペティションです。本Webページでは、Team C^2MがAmazon Picking Challenge用に作成した評価用データセットを公開します。データセットは三菱電機社製のMELFA-3D Visionで撮影し、RGB画像に加えて、距離画像・3次元点群データ(ポイントクラウドデータ)の３種類のデータとなります。定量的評価のために、アイテム毎に指定された色でラベリングした正解画像も用意しています。
データセットの概要
アイテムは、APCで対象となる25種類あり、箱状の形状やビニールで梱包されたアイテム、非剛体ぬいぐるみなど、様々な形状・属性のアイテムが用意されています。各データの形式は以下のようになっています。
RGB画像”color_img.bmp”
・画像サイズ”1280×960″
距離画像”depth.bmp”
・画像サイズ”1280×960″
・0～255のグレースケール画像で距離を表現
三次元点群データ”point3d.pnt”
・X座標,Y座標,Z座標の座標を格納
・1280×960個の座標データを格納
・座標が取得できなかった個所は”-1000″を格納
ラベリングデータ
ラベリングデータは1シーン毎に作成しており、１シーン中に存在するアイテム毎に、アイテムの領域に対して指定された色で塗り分けられています。また、背景は黒で塗りつぶされています。
ラベリングデータの各アイテムに対する番号は”APC_image.png”に示しており、各アイテムのカラーコードは”APC_item_ColorCode.xlsx”に記しています。
・正解ラベル画像”label.bmp”
・APCデータセットのアイテム番号の対応を表した画像”apc_item.png”
・セグメンテーションの色とアイテム番号の対応を表したエクセルファイル”アイテム対応表.xlsx”
| Item ID | R | G | B | Color | Item Image |
| BG | 0 | 0 | 0 |  |
|
| Item 1 | 128 | 0 | 0 |  |
|
| Item 2 | 255 | 0 | 0 |  |
|
| Item 3 | 0 | 128 | 0 |  |
|
| Item 4 | 128 | 128 | 0 |  |
|
| Item 5 | 255 | 128 | 0 |  |
|
| Item 6 | 0 | 255 | 0 |  |
|
| Item 7 | 128 | 255 | 0 |  |
|
| Item 8 | 255 | 255 | 0 |  |
|
| Item 9 | 0 | 0 | 128 |  |
|
| Item 10 | 128 | 0 | 128 |  |
|
| Item 11 | 255 | 0 | 128 |  |
|
| Item 12 | 0 | 128 | 128 |  |
| Item ID | R | G | B | Color | Item Image |
| Item 13 | 128 | 128 | 128 |  |
|
| Item 14 | 255 | 128 | 128 |  |
|
| Item 15 | 0 | 255 | 128 |  |
|
| Item 16 | 128 | 255 | 128 |  |
|
| Item 17 | 255 | 255 | 128 |  |
|
| Item 18 | 0 | 0 | 255 |  |
|
| Item 19 | 128 | 0 | 255 |  |
|
| Item 20 | 255 | 0 | 255 |  |
|
| Item 21 | 0 | 128 | 255 |  |
|
| Item 22 | 128 | 128 | 255 |  |
|
| Item 23 | 255 | 128 | 255 |  |
|
| Item 24 | 0 | 255 | 255 |  |
|
| Item 25 | 128 | 255 | 255 |  |
データセットの構成
本データセットは、Bin内のアイテムが1種類のSingle-Item Bin，Bin内のアイテムが2種類のDouble-Item Bin、Bin内のアイテムが3種以上のMulti-Item Binの3種類のシーンを想定して作成しています。
・Single-Item Bin:各アイテムに対して30シーン撮影(全750シーン)
・Double-Item Bin:2つのアイテムの組み合わせを75個、それぞれの組み合わせごとに5パターン撮影(全375シーン)
・Multi-Item Bin:3つのアイテムの組み合わせを35個、4つのアイテムの組み合わせを5個、それぞれの組み合わせごとに5シーン撮影(全200シーン)
3種類のシーンは、下記のようなフォルダ構成になっています。
ここで、各フォルダの番号は本チームで割り当てたアイテム番号に相当しており、[Double]の[1_6]の場合は、1つの棚にアイテム番号”1″と”6″アイテムが存在することを意味しています。
評価方法
ロボットによるピッキングのためにはアイテムの6D poseを推定することが理想です。しかし、本データセットには非剛体のアイテムなど、6D poseの推定が困難な場合があるため推定座標による評価とセグメンテーション領域による評価の2種類の評価方法を採用します。
- 推定座標による評価
対象アイテムの推定座標の評価では、認識対象のアイテムの推定座標がラベリング画像のセグメンテーション領域内に存在する場合、認識成功・存在しない場合、認識失敗と評価します。
- セグメンテーション領域による評価
セグメンテーション領域の評価では、距離画像のセグメンテーション結果とラベリングデータを比較することで評価します。セグメンテーション評価のため、1画素単位でセグメンテーション結果とラベリングデータを比較していき、1枚の画像のすべての画素に対して検出率と適合率を算出します。そして、算出された検出率と適合率からF値を求め、F値がしきい値(デフォルトでは0.5)以上であればセグメンテーション成功、しきい値未満ならセグメンテーション失敗と評価します。
Download
・Single-Item Bin Dataset: Team C^2M : APC RGB-D+PointCloud Dataset 2015(Single-Item Bin) (~4.5GB)
・Double-Item Bin Dataset: Team C^2M : APC RGB-D+PointCloud Dataset 2015(Dpuble-Item Bin) (~3.2GB)
・Multi-Item Bin Dataset: Team C^2M : APC RGB-D+PointCloud Dataset 2015(Multi-Item Bin) (~1.6GB)
・Full Dataset: Team C^2M : APC RGB-D+PointCloud Dataset 2015(FULL) (~9.3GB)
・評価用ソフトウェア: APC_evaluation_Web.zip (~13KB)
評価用ソフトウェア使用方法
評価用ソフトウェアの開発環境は以下となります。OpenCV1.x.x/OpenCV3.x.xの場合に正常に動作しない可能性がありますので、ご了承ください。
・OpenCV2.4.10
評価用ソフトウェアを使用するにあたり、以下のデータが必要です。
・評価用ソフトウェア
・結果画像”result.bmp”
– 画像サイズ”1280×960″
– 推定した座標を赤色(RGB値255,0,0)でマーカーする
– Depth画像の対象アイテム以外を黒色(RGB値0,0,0)で塗りつぶす
・ラベリングデータ(データセットに付属する対象シーンのもの)
評価用ソフトウェアを使用するにあたり、以下の設定が必要です。
・評価対象シーン(Single-Item Bin, Double-Item Bin, Multi-Item Bin)
・評価に必要なデータのパス(正解ラベル画像，評価対象画像，評価結果出力)
・セグメンテーションの評価時のF値のしきい値(デフォルトでは0.5)
評価用データセットのDepth画像をセグメンテーションした結果画像”result.bmp”が必要となります。この時、Depth画像をセグメンテーションした結果画像”result.bmp”に推定した物体の位置を赤色(RGB値255,0,0)でマーカーをつけておく必要があります。評価する結果のデータ構造は、評価データセットと同様のフォルダ構造にする必要があります。例として、[Double]-[1_6]-[1]のフォルダの中に、1番目のアイテムを対象として認識した結果を出力するフォルダ[1]、6番目のアイテムを対象として認識した結果を出力するフォルダ[6]を作成する必要があります。
プログラムを実行すると上記の評価方法で各シーンの評価がはじまり、全ての処理を終えると各アイテムごとに成功した数が”txt形式”で出力されます。
Tean C^2M の認識法の評価
上記の評価用ソフトウェアを用いて、対象アイテムの推定座標の評価・セグメンテーションの評価を行いました。
・評価結果エクセルファイル: APC_eva.xlsx
評価手法
・Weighted Hough Forest(WHF)[Link]：学習時のサンプルに重みを導入し、認識物体のユニークな形状を学習することで、誤認識を抑制する。
・Vector pair mathing(VPM)[Link]：3点の3次元点で構成されたベクトルペアの中から、安定的に観測可能なペアを照合に利用することで高精度な認識ができる。
- 推定座標による評価
- セグメンテーション領域による評価
＊評価結果は随時追加していきたいと考えておりますので、本データセットを用いての評価結果を募集しております。
免責事項
公開しているプログラムやデータに関する情報には充分に注意を払っていますが、その内容について全てを保証するものではありません。プログラム、資料、ウェブサイトの著作者であるMachine Perception and Robotics Groupは、これらの使用ならびに閲覧によって生じたいかなる損害にも責任を負いかねます。プログラムの改良・再頒布によって生じた損害に関しても責任を負いかねます。公開しているプログラムは、上記の免責事項に同意の上、使用者の責任のもとで研究用途に限り、使用して構いません。商用利用される場合については、下記の連絡先にご連絡下さい。
連絡先
藤吉弘亘：hf@cs.chubu.ac.jp