研究紹介
私の研究では,ビデオカメラを使って環境を認識する技術であるコンピュータビジョン技術を用いて様々な新しい複合現実感システムを開発しています． 複合現実感というのは,コンピュータグラフィクス(CG)により目の前の風景にコンピュータ内の情報を付加して見せたり（拡張現実感,Augmented Reality(AR)）, 現実世界で計測した情報をCGにより作られたバーチャル世界に付加して見せる（Augmented Virtuality, Virtualized Reality）技術の総称です． 特に,コンピュータビジョンの中でもカメラのキャリブレーションやトラッキングを応用したものを中心に扱っています．
複合現実感のための人の非侵襲センシング（2019年～）
R. Uramune, K. Sawamura, S. Ikeda, H. Ishizuka, and O. Osamu: "Gaze Depth Estimation for In-vehicle AR Displays", Proc. Augmented Humans International Conference, pp.323-325, 2023/03/12.
槻木日向太, 池田聖, 石塚裕己, 大城理: "注視点の奥行き変化を再現する眼球運動生成", 日本バーチャルリアリティ学会 複合現実感研究会予稿集, 2022/10/06.
澤村和樹, 浦宗龍生, 池田聖, 石塚裕己, 大城理: "車両移動による運動視差を利用した半透明像注視判定", 日本バーチャルリアリティ学会 複合現実感研究会予稿集, MR2022-12, 2022/10/06.
浦宗龍生, 池田聖, 石塚裕己, 大城理: "固視クラスタの再投影誤差に基づく視線自動較正", 画像の認識・理解シンポジウム Extended Abstract 集, 2022/07/26.
浦宗龍生, 池田聖, 石塚裕己, 大城理: "固視の3次元位置と仮想物体の表面形状を用いた視線計測器の自動較正", 日本バーチャルリアリティ学会 複合現実感研究会予稿集, 2021/01/21.
浦宗龍生, 池田聖, 石塚裕己, 大城理: "頭部移動中の3次元注視点に基づく固視検出評価法", Proceedings of Ubiquitous Wearable Workshop, 2021/12/20.
光学透過型HMDにおける明るさ錯覚を利用した光学現象表現（2018年～）
小型で軽量な光学透過型HMDでは，現在，実世界からくる光線の一部を減衰させる技術がなく，実物体表面上に仮想物体の影を表現することはできませんでした．本研究では，光学透過型HMDにおいて明度対比と呼ばれる錯覚を利用して影を表現する手法を開発しています．影として提示したい領域の周辺の輝度を利用者が気づかないように増幅することで，影の部分が相対的に暗くなるという仕組みです．これまで実験により，同じ明るさの表面でも，影内部と影の外では影内部の方が利用者が暗く感じる傾向にあるという証拠を確認しました．また，稠密な仮想の透明物体による集光パターンについても同手法を用いることで，透明物体のリアリティが向上することを確認しました．下の図は，光学透過型のヘッドマウントディスプレイを通して撮影した画像です．透明な物体はすべて仮想物体でCGで描かれています．左はしが影がない状態，中央が仮想影を加えてたもの，右が影に加えて透明物体独特の集光パターンも加えたものです．
S. Manabe, S. Ikeda, F. Shibata, and A. Kimura: "Casting virtual shadows based on brightness induction for optical see-through displays", Proc. 25th IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2018), pp. 627-628, 2018. [pdf]
Shinnosuke Manabe, Sei Ikeda, Asako Kimura, and Fumihisa Shibata: Shadow Inducers: Inconspicuous highlights for casting virtual shadows on OST-HMDs, Proc. 26th IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2019), pp. 1 - 2, 2019/3/25-27.
Kimura Yuto, Shinnosuke Manabe, Sei Ikeda, Asako Kimura, and Fumihisa Shibata: Can transparent virtual objects be represented realisticallyon OST-HMDs?, Proc. 26th IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2019), pp. 1 - 2, 2019/3/25-27.
BrightView：光学透過型HMDにおける知覚明度の増強技術（2017年～）
光学透過型HMDの欠点の1つは，屋外など非常に明るい環境では提示像の明るさが不足することです．本研究では，液晶シャッター等透過率が変更できるフィルタをHMDの前に取り付けて，利用者が気づかないスピードで透明度を低くすると，実世界の明るさの変化はあまり感じずに，仮想物体として表示されている像の明るさがむしろ増加したかのように感じるということを，実験で確認しました．
Shohei Mori, Sei Ikeda, Alex Plopski, and Christian Sandor: BrightView: Increasing Perceived Brightness of Optical See-Through Head-Mounted Displays Through Unnoticeable Incident Light Reduction, Proc. IEEE Virtual Reality, 2018/03.
Shohei Mori, Sei Ikeda, Christian Sandor, and Alexander Plopski: BrightView: Increasing Perceived Brightness in Optical See-through Head-mounted Displays, Proc. ISMAR-adjunct, pp. 202 - 203, 2017/10.
自動走行車に搭載されるセンサを用いたAR X-ray Vision
注視センシングに基づく透過型ディスプレイの奥行き知覚整合技術 (2015年～)
本研究の目的は、ビデオシースルー型ないしは光学シースルー型の個人用ディスプレイであるヘッドマウントディスプレイおよびハンドヘルドディスプレイに共通する実シーンと重畳像の間の奥行き知覚に関する不整合を、主に画像処理によるソフトウェア的アプローチにより解決することである。 利用者が注視する位置や奥行きに関連付けて画像を提示する注視駆動型提示による奥行き知覚整合法を開発し、 利用者が意識することなく従来よりもシームレスに実シーンとCG像を視認できるディスプレイを実現する。 目的達成のための具体的な研究課題として、視線検出に基づく網膜像的整合法の開発、 錯覚現象を利用した認知的整合法の開発、を実施する。 これらの手法開発を通して、注視駆動型提示法による奥行き知覚整合の限界を明らかにし、複合現実感用途への応用可能性を示す。
北嶋 友樹, 池田 聖, 佐藤 宏介: "輻輳に基づくAR X-ray Vision", 日本バーチャルリアリティ学会論文誌, Vol. 21, No. 1, pp. 81-84, 2016.
K. Oshima, K. Moser, J. Rompapas D. II, S. Ikeda, G. Yamamoto, T. Taketomi, C. Sandor, H. Kato: "Improved Clarity of Defocussed Content on Optical See-Through Head-Mounted Displays", Proc. IEEE Symp. on 3D User Interfaces (3DUI2016), pp. 173-181, 2016. [pdf]
A. Rovira, D.C. Rompapas, S. Ikeda, A. Plopski, T. Taketomi, C. Sandor, H. Kato: "EyeAR: Refocusable augmented reality content through eye measurements", Proc. 15th Int. Symp. on Mixed and Augmented Reality (ISMAR-Adjunct), pp. 11-12, 2016. [pdf]
D.C. Rompapas, K. Oshima, S. Ikeda, T. Taketomi, G. Yamamoto, C. Sandor, H. Kato: "EyeAR: Physically-based depth of field through eye measurements", , 2015.
Y. Kitajima, S. Ikeda, K. Sato: "Vergence-Based AR X-ray Vision", Proc. IEEE International Symposium on Mixed and Augmented Reality (ISMAR2015), pp. 188-189, 2015.
K. Oshima, D.C. Rompapas, E.S. Kenny Moser, S. Ikeda, G. Yamamoto, T. Taketomi, C. Sandor, H. Kato: "SharpView: Improved Legibility of Defocussed Content on Optical See-Through Head-Mounted Displays", , 2015.
研究予算
"注視センシングに基づく透過型ディスプレイの奥行き知覚整合技術", 日本学術振興会 科学研究費補助金 基盤研究(B), 2015年度～2017年度
"符号化開口法を用いたHMDの被写界深度拡大", 日本学術振興会 科学研究費補助金 挑戦的萌芽研究, 2,500千円, 2015年度～2016年度
拡張現実感（AR)用タブレットの透明化 (2011年～)
本研究では，iPhoneやiPadなどのカメラ付き情報端末（タブレット）を用いた拡張現実感において，利用者から見る画面内の像と直接みる実際のシーンとが滑らかにつながるように映像を表示することで実シーンとCGで描かれるコンピュータ内の情報との関連性が理解しやすくなることを目指しています。画面と実シーンとを滑らかにつながるように映像を表示するには、シーンと利用者の目の位置の三次元計測が必要となります．この研究では、シーンと目の位置をリアルタイムに三次元計測しながら映像を表示する試作システムを構築し複数の人に実際に使ってもらうことで視認性が向上することを確認しました。
参考文献
[Best Demonstration Award] Makoto Tomioka, Sei Ikeda and Kosuke Sato: "Pseudo-transparent tablet based on feature tracking", Proc. 5th Augmented Human International Conference, 2014/03/09.
Makoto Tomioka, Sei Ikeda and Kosuke Sato: "Approximated User-Perspective Rendering in Tablet-Based Augmented Reality", Proc. IEEE Int. Symp. on Mixed and Augmented Reality, pp. 21-28, 2013/10/02.
冨岡誠，池田聖，佐藤宏介: "カメラ内蔵タブレット型拡張現実感のためのHomography変換を用いた利用者視点画像生成", 第16回画像の認識・理解シンポジウム (MIRU), SS4-25, July 2013. (poster)
冨岡誠，池田聖, 佐藤宏介: "カメラ内蔵タブレット型拡張現実感における実画像幾何補正", 電子情報通信学会技術研究報告, Vol. 112, No. 386, pp. 347-352, 2013/01/24.
研究予算
"拡張現実感ためのカメラ付きタブレット端末映像の透明化", 科学技術振興機構 研究成果展開事業 研究成果最適展開支援プログラム(A-STEP)フィージビリティスタディステージ 探索タイプ, 1,690千円, 2012年度～2013年度.
高解像全方位テレプレゼンスシステム (2003年～2005年)
全方位型マルチカメラシステムの様々な利用形態を示すために，蓄積型のテレプレゼンスシステムを開発しました．予め決められたコースで全方位映像を撮影しておきあとから自由な方向，自由な位置の映像を観察することができます．全方向の映像が取得できているので，様々な形のディスプレイで再生することができます．このようなテレプレゼンスシステムのコンテンツとして最も適したものの一つは，エンターテインメントシステムです．広い視野角かつ高解像度な映像により実際に動いていないにも関わらず動いているような錯覚を生じます．有名な絶叫系遊園地のジェットコースターで映像を撮影し，国立科学博物館のディスプレイで上映しました．
マウスでぐるぐる見回せます
全方位型マルチカメラシステムのキャリブレーション (2002年～2003年)
全方位型マルチカメラシステムは，複数のビデオカメラが放射状外向きに配置，固定されたマルチカメラシステムです．このカメラは，従来から曲面鏡や魚眼レンズを介することにより水平360度を含む高視野角の映像を取得できる全方位カメラよりも，さらなる高解像度化,高視野角化，分解能の一様化が簡単で，しかし，三角測量などのコンピュータビジョンの技術をこのカメラに適用しようとすると,全方位であるがゆえ，多眼カメラであるがゆえキャリブレーションが難しいという問題がありました．