ただいま研究中2022

映像情報からの速度・流れ・動き推定の数理と応用

 

コンピュータビジョンは、視覚系を数学的に解明して計算機で同様の動作・情報処理を実現するための人工知能および応用数学の関連分野であり、情報学の専門を持ちながら電子センサや通信、視覚心理学、数学などの関連他分野と連携する感性や知識である「複合知」が求められる学際領域の一つです。私はその専門の中でも特にオプティカルフローなどの映像上の速度場・流れの推定を得意としています。これはもともと視覚心理学や生物学の概念で、網膜上の光の配列の時間変化のことですが、画像処理として計算機で流れを推定できることが1980年代から知られています。実際に、PIV(Particle Image Velocimetry)など理工系に限らず幅広い分野でオプティカルフローの概念は使われています。流れを推定するアルゴリズムは多数ありますが、私が主に研究している方法は、視覚心理学のモデルとの関連も深い、偏微分方程式を解くタイプのものです。

数理モデルとして、ベクトル場 u(x, y, t), v(x, y, t)  の滑らかさ(正則化項)と映像の明るさ I(x, y, t) の時間不変性(データ項)の重み付き和から成る変分問題

を考えれば、最終的に u, v の連立偏微分方程式が出ます。

これはある種の反応拡散方程式(発展方程式)として解けばよいことになります。こういった式をデジタル画像に適用して、計算機で数値解を出せばよいのですが、なぜかあまりうまくいかなかったので仕方なく任意の映像と重みパラメタでもうまく計算できる方法を考えた、という数値安定性解析のテーマが結果的に卒論からの学位論文の軸の一つになりました。方程式自体を拡張することで、医用画像のような時空間4次元データのボクセルの流れや、距離画像やステレオ画像を用いたシーンフロー(表面の3次元の流れ)推定、イベントカメラでの超高速動き推定など、様々な計測データ・画像列に対して適用できます。また、正則化項やデータ項などを変更することで様々な性質の流れや動きを求めることもできます。それを計算機でキチンと解くためには数値解析が必要になります。在学時から縁あってこのようなテーマの軸をもって研究を続けられています。

 このような様々な動き・流れ推定法を用いた幅広い応用研究も同時に実施しています。視覚心理学における運動錯視のコンピュータビジョン的説明は文理融合で実施するテーマです。変分問題のモデルを適切に選ぶことで、錯視相当の動きを推定できることが分かっています。通信分野では映像データの高能率圧縮符号化への応用があり、科研費テーマにもなりました。伝送済み映像から推定した画素毎の動きを用いることで未来の映像フレームを高品質に予測・生成することができます。未来の画像の予測精度が高ければデータ圧縮効率が高まります。企業との共同研究では太陽光パネル瞬時発電量の地理的分布データの未来予測への応用があり、これによって売買電や自家消費などのシステム効率化が図れるというある意味社会情報に近いテーマです。地理的分布はカメラ画像と異なり非均一な標本ですが、可視化してみると雲などの影響で発電量に地理的な流れが生じていますので、同様に発電量の地理的な動きを推定することで未来の発電量を予測することができます。このように、人間情報の視覚情報処理を中心テーマとして、学際的研究を通して情報理工学ならではの「叡智が世界をつなぐ」を実現していきたいと考えています。

手前の歩行者が左へ横切り、左の物かげから人が飛び出す映像のシーンフロー。赤は手前へ、青は奥への動き。MPI Sintel market_2