2026年7月:透明物体認識
2026年7月:透明物体認識
今月は，ある時期に研究分野の変化のきっかけを作った透明物体認識の研究について紹介する．
1980年代，コンピュータグラフィックスで様々な画像を生成する研究が開始され，私を含む多くの画像関係の研究者はわくわくしてその生成した画像を見ていた．中でも透明物体をレイトレーシングで表現する研究は興味深かった．透明物体は本来見えないものであるが，光の屈折減少で光の進行方向を変化させる．有名な画像としてチェッカーボードの上の透明の球体の例がある．規則的なチェッカーボードのパターンが透明の球体により歪み，その歪んがパターンを見ることによりそこに透明の球が本当にあるように見えるわけである．人間は過去の経験からパターンの歪みの様子から脳の中で球体として解釈するわけである．
屈折は屈折率の異なる物質間の境界で光の進行方向が曲がることにより発生し，これは高校などで習うSnellの法則に従っている．高校時代には凸レンズなどの原理をこの法則で説明し，それほど高度な数学が必要なものではない．コンピュータグラフィックススの研究が始まった頃，私も高校時代の参考書を見直したものである．そこで改めて考えてみると，凸レンズなどの役に立つ技術以外に我々の生活の中では，屈折によりさまざまな光景を見ることができる．どのような形状であっても透明物体を背景パターンの上で動かせば背景のパターンの歪み方が変化するし，水面ごしに池の下を見ればパターンが揺らいでいる．人間は，過去の経験からそのパターンの歪方により，透明物体の実際の形状を脳内で構成している．実に興味深いことである．
当時は透明物体の形状推定はコンピュータビジョン（CV）の世界ではほとんど取り上げられていなかったので，何に役に立つかわからないが，取り組んでみた．このように我々の身の回りの不思議な視覚現象を研究題材として取り上げることは，役に立つかどうかはわからないが興味深いものである．
1980年代，コンピュータビジョンの一分野に，Shape from Xという研究があった．
人間は網膜上に映る２次元画像から様々な情報を利用して世界の３次元形状を推定している．初期の代表的なものには，２次元画像中の物体領域の陰影の変化から物体の表面の傾きを推定し，それを統合して物体の３次元の形状を推定するShape from Shadingがある．光源の位置，視点の位置，物体表面の反射特性を利用して，視点から見た物体の表面の傾きを推定するわけである．この考え方は，陰影の変化だけでなく，２次元画像中のテクスチャの変化などにも拡張でき，テクスチャの変化で物体の表面の傾きが推定できるので物体の形状が復元できる．これは物体の表面のテクスチャが一定であるという仮定を設ければ，視点に対して物体表面の傾きが大きいほどテクスチャの密度が大きくなる性質を利用している．
この考え方は，物体表面の傾きだけでなく，画像中に現れる様々な性質を利用して３次元物体が推定できるという考え方に一般化されていった．例えば，動画像の各特徴点の動きの変化から形状を復元するShape from Motion，物体がレンズの焦点から外れた位置にある画像領域はボケるがそのボケから形状を復元するShape from Focus，複数の向きから撮影した画像から物体の影の輪郭を取り出し，その複数の２次元的な輪郭から物体の形状を推定するShape from Silhouette ，その他にも多数の手法が次から次へと提案され，これらを総称してShape from Xと名付けられた．
透明物体（具体的には水面）の形状推定の研究を最初に投稿したのがICCV（International Conference on Computer Vision）というコンピュータビジョンのなかの代表的な会議であった．たしかにこの手法もShape from Xの枠組みであり，Shape from Refractionといえるかもしれない．幸いにもICCVに採択されたが，その査読結果で思い出に残っているものは，「この分野では沢山のShape from Xが次から次へと提案されて，ある意味うんざりする．しかし透明物体に着目したのは面白い」というものであった．的を得た査読のような気がする．つまり，研究の枠組みやその論理展開方法は過去の研究と類似したものであっても，題材に使っている対象自体が新しく興味深いものであれば，評価されるということだと思う．