2026年7月:透明物体認識
2026年7月:透明物体認識
今月は，ある時期に研究分野の変化のきっかけを作った透明物体認識の研究について紹介する．
1980年代，コンピュータグラフィックスで様々な画像を生成する研究が開始され，私を含む多くの画像関係の研究者はわくわくしてその生成した画像を見ていた．中でも透明物体をレイトレーシングで表現する研究は興味深かった．透明物体は本来見えないものであるが，光の屈折減少で光の進行方向を変化させる．有名な画像としてチェッカーボードの上の透明の球体の例がある．規則的なチェッカーボードのパターンが透明の球体により歪み，その歪んがパターンを見ることによりそこに透明の球が本当にあるように見えるわけである．人間は過去の経験からパターンの歪みの様子から脳の中で球体として解釈するわけである．
屈折は屈折率の異なる物質間の境界で光の進行方向が曲がることにより発生し，これは高校などで習うSnellの法則に従っている．高校時代には凸レンズなどの原理をこの法則で説明し，それほど高度な数学が必要なものではない．コンピュータグラフィックススの研究が始まった頃，私も高校時代の参考書を見直したものである．そこで改めて考えてみると，凸レンズなどの役に立つ技術以外に我々の生活の中では，屈折によりさまざまな光景を見ることができる．どのような形状であっても透明物体を背景パターンの上で動かせば背景のパターンの歪み方が変化するし，水面ごしに池の下を見ればパターンが揺らいでいる．人間は，過去の経験からそのパターンの歪方により，透明物体の実際の形状を脳内で構成している．実に興味深いことである．
当時は透明物体の形状推定はコンピュータビジョン（CV）の世界ではほとんど取り上げられていなかったので，何に役に立つかわからないが，取り組んでみた．このように我々の身の回りの不思議な視覚現象を研究題材として取り上げることは，役に立つかどうかはわからないが興味深いものである．
1980年代，コンピュータビジョンの一分野に，Shape from Xという研究があった．
人間は網膜上に映る２次元画像から様々な情報を利用して世界の３次元形状を推定している．初期の代表的なものには，２次元画像中の物体領域の陰影の変化から物体の表面の傾きを推定し，それを統合して物体の３次元の形状を推定するShape from Shadingがある．光源の位置，視点の位置，物体表面の反射特性を利用して，視点から見た物体の表面の傾きを推定するわけである．この考え方は，陰影の変化だけでなく，２次元画像中のテクスチャの変化などにも拡張でき，テクスチャの変化で物体の表面の傾きが推定できるので物体の形状が復元できる．これは物体の表面のテクスチャが一定であるという仮定を設ければ，視点に対して物体表面の傾きが大きいほどテクスチャの密度が大きくなる性質を利用している．
この考え方は，物体表面の傾きだけでなく，画像中に現れる様々な性質を利用して３次元物体が推定できるという考え方に一般化されていった．例えば，動画像の各特徴点の動きの変化から形状を復元するShape from Motion，物体がレンズの焦点から外れた位置にある画像領域はボケるがそのボケから形状を復元するShape from Focus，複数の向きから撮影した画像から物体の影の輪郭を取り出し，その複数の２次元的な輪郭から物体の形状を推定するShape from Silhouette ，その他にも多数の手法が次から次へと提案され，これらを総称してShape from Xと名付けられた．
透明物体（具体的には水面）の形状推定の研究を最初に投稿したのがICCV（International Conference on Computer Vision）というコンピュータビジョンのなかの代表的な会議であった．たしかにこの手法もShape from Xの枠組みであり，Shape from Refractionといえるかもしれない．幸いにもICCVに採択されたが，その査読結果で思い出に残っているものは，「この分野では沢山のShape from Xが次から次へと提案されて，ある意味うんざりする．しかし透明物体に着目したのは面白い」というものであった．的を得た査読のような気がする．つまり，研究の枠組みやその論理展開方法は過去の研究と類似したものであっても，題材に使っている対象自体が新しく興味深いものであれば，評価されるということだと思う．
当時私が研究していたのは，文字認識や図形認識であり，分野としてはパターン認識であった．パターン認識は，主に統計学などを用いて対象を分類することが中心の研究分野であった．一方当時のコンピュータビジョンは，幾何学や光学などを用いて2次元画像から対象の3次元の構造などを明らかにすることが中心の研究分野であった．ちなみに現在ではその両者の距離は非常に接近してきている．
ICCVは，1987年に第1回が開催されたコンピュータビジョン分野の主要会議の一つであった．1990年に日本で初めてICCVが開催されるということで，会議を盛り上げるためにも，国内の画像関係の研究者に多数の投稿が呼びかけられた．1990年の第３回ICCVは，大阪国際交流センターで開催され，最終的に投稿数420篇，採択数102篇（採択率２４．３％）であった．パターン認識分野の研究をしていた私は，当初は異なる分野と思っていた．しかし，私は当時NTTの研究所に勤めていたが，学会的にICCV開催に関係していた上司から，投稿件数を増やすためにも多少分野が異なっても良いから，是非投稿するようにとの指示があった．
私はICCVでこれまでどのような研究が発表されているかわからなかったため，当時はインターネットがない時代であったので，会社の図書館に行って過去のICCVのプロシーディングを確認に行った．そこでShape from Xという発表がいくつかあったので，せっかくなのでその領域で何か研究ができないかを考え，アイデアを出すために周りをきょろきょろする生活を送った．1日の生活の中で回りを見渡しながら考えていた時に，会社の食堂の前に池があり，噴水が出ていて水面の波に合わせて池の底面が揺れ動く現象が面白いと思った．そこで短い時間でこの現象から透明物体の表面（水面）の形状を復元することを試してみた．ちなみに実験では自宅の風呂に水をはり，子供が生まれたときに買った家庭用のVHS-Cのビデオカメラで撮影した．このICCVへの投稿は幸いにも採択された．ちなみに採択されたのちの発表の際には，最初にこの研究を思いついた会社の池の映像と，自宅の風呂の映像をビデオで流したのを思い出す．
このように私にとっては強制的にICCVに投稿することになったが，ICCV1990[1]に発表したおかげで，その後の私の研究の流れが変わるきっかけになった．このような強制力もポジティブに考えれば大変良かったと思っている．
[1] Hiroshi Murase, "Surface shape reconstruction of an undulating transparent object, "Proceedings of the 3rd International Conference on Computer Vision (ICCV) 1990, pp.313-317, 1990.
コンピュータビジョンにはいくつかのサブ分野があるが，その一つが物理ベースのコンピュータビジョンである．物理と言っているが，その中心は光学の原理によって，2次元画像から３次元の構造などを復元する手法である．陰影からの形状復元などはその典型的な例である．陰影からの形状復元の場合には，光学的な要素としては，光源の位置，物体の表面の向きとそこでの光の反射特性，視点の位置ということになる．我々の周囲の多くの物体が目に見えるのは，光源と物体表面の反射によるものであるため，この定式化は自然なものである．
光学現象をもう少し掘り下げると，物体表面での単純な光の反射強度以外にも，光の偏向，光の分光，光の屈折などがある．これらは実際に我々の身の回りに発生する光学現象の中では中心的なものではないが，興味深い視覚の効果をもたらすものである．私自身は，当時はそれほど深くは考えていなかったが，透明物体を題材とし，光の屈折を用いて形状を推定する研究（私のICCVの発表）は，当時物理ベースのコンピュータビジョンを専門としていた海外の研究者にとって，興味深いものであったようだ．ICCVの発表と同時に，複数の海外の研究者から私にアクセスがあった．１名は，当時Physics-Based Vision という単行本（全３冊）を執筆していたThe Johns Hopkins UniversityのLarry Wolffである．彼は，「光の屈折現象はPhysics-Based Vision の中の一つの重要な要素で，この本の中で欠かすことはできない．」ということで，この本の１章に是非この話を入れてほしいということで，急遽この1章を入れることになった[2]．もう1名は，Columbia大学のShree Nayarである．彼もやはりPhysics-Based Visionの研究の第一人者で，光の相互反射に関する研究で権威あるDavid Marr賞を受賞した研究者である．彼は私に是非透明物体の認識に関する研究を一緒に発展させられないかという依頼があった．
私は学生時代からICCVでの発表までの間は，パターン認識を研究していて，例えば日本語の漢字の文字認識を国際会議にも発表したことがあった．その時には，この発表はアメリカにいる中国人の研究者から興味を示され，その研究を本に載せてもらったことはある[3]が，分野が日本語に依存しない研究分野では，こんなにも欧米の研究者から反響があるものとは思わなかった．その偶然に発表したICCVの発表とその反響で，私の研究に対する考え方が変わったし，その後の私の研究の経歴にも影響することになった．研究では「偶然の機会を大切にすることは必要である」と後になって実感した．
[2] Hiroshi Murase, "Surface shape reconstruction of an undulating transparent object,"Physics-Based Vision: Principles and Practice Radiometry, edited by Steve Shafer, Glenn Healey, Larry Wolff, Jones, pp.123-217, 1992/06
[3] Hiroshi Murase, "Online recognition system for free-format handwritten Japanese characters," Character & Handwriting Recognition - Expanding Frontiers -, edited by P. S. P. Wang, pp.207-220, 1991
コンピュータビジョンは人間の知覚原理をコンピュータで実現するものであると言われているが，果たして人間は物理ベースの手法で透明物体などを知覚しているであろうか？
透明物体については，Snellの法則のような単純な光の屈性原理を導入することにより，きれいに形状復元などの問題は解ける．しかし，人間の頭の中でこのような屈折の物理モデルがあり，それで形状知覚をしているとは思えない．人間は過去の経験により，透明物体によりどのように背景の見かけが変化するかの非常に大量な情報を持っていて，その知識により形状を復元していると考えるほうが自然であろう．未知の形状の物体を見たときには，過去の経験により得た見かけの変化の情報から類推することができる．つまり，巨大な関数による，入出力情報の対応付けにより問題を解いている．機械学習における回帰といっても良いであろう．
光学などの物理モデルを使っていないから，人間には錯視が生まれると考えられる．錯視といって良いかどうかはわからないが，例えば，水のきれいな川で，その深さを見誤って溺れてしまうというニュースを時々見る．水の屈折率(1.33)の関係で，川の深さは実際の深さに比べて約0.75倍浅く見えることになる．川の近くで生活している人にとってはたくさんの経験から，川の深さの変換補正を頭の中で自動的に正確に行っているが，経験の浅い人（学習データの少ない人）にとってはその深さの補正が適切に行われずに，川の深さを見誤ってしまうことが考えられる．このように，「錯視」と「人間の知覚原理」との関係は，特に興味深く感じる．