Projects

Object pose estimation

ASM-Net: Category-level Pose and Shape Estimation Using Parametric Deformation

少数パラメータでモデリングされた非剛体変形に基づくカテゴリレベル姿勢推定

対象物のカテゴリ名が既知の状態で，対象物の3次元位置姿勢と全周囲の3D形状を推定する深層学習ネットワークを提案しました．

本手法のポイントは，対象カテゴリの3Dモデルのみを用いて，RGBDカメラで撮影された実画像に対して良好な性能を発揮できるネットワークを学習できることにあります．そのために，私たちは2つのアイデアを導入しました．1つ目は，数次元のパラメータで形状を変形させることができるActive Shape Modelを用いて，カテゴリ内の形状変化をモデル化することです．2つ目は，学習データに効果的なフィルタリング処理を施し，3D物体モデルをRGBDカメラによる計測をシミュレートした点群に変換することです．カテゴリレベルの姿勢推定に広く用いられているベンチマークデータセットであるNOCS Real275で評価したところ，形状と姿勢の両方の面で従来の手法よりも優れていることが確認できました．

[project page] [paper] [code]

関連発表

1. Shuichi Akizuki and Manabu Hashimoto, ASM-Net: Category-level Pose and Shape Estimation Using Parametric Deformation, The 32nd British Machine Vision Conference (BMVC), Poster Session 4, 2021/11/25.

2. 秋月秀一，橋本学，カテゴリレベル姿勢推定のための対象物の非剛体変形パラメータ推定手法，第27回画像センシングシンポジウム（SSII2021），IS2-12，pp.1-5，オンライン開催，2021/06/10．

Global Hypothesis Verification using Physical Reasoning

形状的整合性と配置実現性を考慮した複数物体の3次元位置姿勢認識

多種類の物体の3次元的な位置姿勢を高信頼に認識する手法を開発しました．

本研究の技術ポイントは，一般的に利用されている形状の類似性のみを利用するだけでなく，上の図のような物体の干渉モデルも利用することです．これにより，複数の物体を同時に認識する際に，それらの配置が物理的に実現可能かどうかを評価することができ，認識の信頼性が向上しました．

関連発表

1. Shuichi Akizuki and Manabu Hashimoto, Physical Reasoning for 3D Object Recognition using Global Hypothesis Verification, European Conference on Computer Vision Workshops (2nd International Workshop on Recovering 6D Object Pose), LNCS Computer Vision - ECCV 2016 Workshops, Part III, Vol. 9915, pp. 595-605, Oct. 9, 2016.

DPN-LRF

点群密度の変化と欠落に頑健な局所参照座標系

点群に密度変化や欠落が生じていても高信頼にマッチングを実現するための局所参照座標系DPN(Dominant Projected Normal )-LRFを開発しました．

局所参照座標系LRF(Local Reference Frame) は，キーポイントごとに設定される局所的な参照座標系です．これまで，照合対象の点群に密度の違いや欠落が発生していた場合にはLRFが不安定となり，キーポイントマッチングに失敗するという課題が残されていました．本研究では，これらの外乱に対して頑健なLRFの計算方法を提案しました．従来のLRFを，DPN-LRFに差し替えるだけで，マッチングの信頼性が向上することを確認しました．

関連発表

1. 秋月秀一, 橋本学, 3次元キーポイントマッチングのための点群密度変化および欠落に頑健なLocal Reference Frame, 電子情報通信学会論文誌D, 電子情報通信学会論文誌D, Vol.J99-D, No.8, pp.727-736, 2016.

2. Shuichi Akizuki, Manabu Hashimoto, DPN-LRF: A Local Reference Frame for Robustly Handling Density Differences and Partial Occlusions，11th International Symposium on Visual Computing (ISVC), Part I, LNCS 9474, pp.878-887, 2015.

Global Reference Frame

平面的な形状の物体に特化した姿勢認識手法

物体表面が平面的であっても安定して姿勢認識が可能な手法を開発しました．

3次元特徴量を用いた物体認識が普及していますが，物体の見えが平面的である場合にはキーポイント上の特徴量が安定せず，認識率が低下するという問題がありました．これは，平面では形状に特徴が少ないことから参照座標系が不安定になることに起因しています．そこで本研究では，平面的な表面に対しても有効な参照座標系GRF(Global Reference Frame）を新開発し，従来の非平面に強いベクトルペアマッチング法（VPM)と適応的に組み合わせることによって，見えの平面性に依存しない物体認識を実現しました．GRFは高速なので，左の動画のように3Dトラッキングも可能です．

関連発表

1. 秋月秀一, 橋本学, Global Reference Frameを用いた対象物の見えに依存しない3次元位置姿勢認識, 精密工学会誌, Vol.80, No.12, pp.1176-1181, 2014/12.

Vector Pair Matching

3次元点群データからの物体の位置姿勢認識手法

ばら積みされた物体の位置姿勢を認識するビンピッキング視覚を開発しました．対象物体の形状を事前分析し，特徴的な局所形状部分をモデルデータとして登録することにより，効率よく物体を検出することが可能です．

本研究では，始点を共有する2本の3次元空間ベクトル（ベクトルペア）をマッチングの単位として設定し，対象物体の中で特徴的なベクトルペアを抽出します．複数のベクトルペアを入力距離データと照合し，多くのベクトルペアに支持された位置姿勢を出力します．データ量がきわめて少ないので高速であり，また特徴的なデータのみを使用するので誤認識の危険性が低いという利点があります．

関連発表

1. Shuichi Akizuki, Manabu Hashimoto, Stable Position and Pose Estimation of Industrial Parts using Evaluation of Observability of 3D Vector Pairs, Journal ofRobotics and Mechatronics (Special Issue on Vision and Motion Control), Vol.27, No.2, pp.174-181, 2015.

Robotic task generation

Tactile Logging

道具の利用方法理解のための使用履歴の記述

人間のデモンストレーション動作を元にロボットが道具の使用方法を理解するためのデータの表現方法を提案します．

本研究では，道具の3次元形状の表面に，人間と物体との接触履歴を時系列的に記述するTactile loggingを提案します．生成されたログデータは物体表面上に残された接触位置と方向のデータです．ロボットはこのログデータを再現するように動作をおこなうことによって，人間らしい道具の利用動作を生成することが期待できます．

関連発表

1. Shuichi Akizuki and Yoshimitsu Aoki, Tactile Logging for Understanding Plausible Tool Use Based on Human Demonstration, 1st International Workshop on Vision for Interaction and Behaviour undErstanding (VIBE) (Workshop of BMVC2018), Newcastle upon Tyne, UK, 2018/9/6. (oral) [pdf]