松岡研究室では，画像処理，信号処理，深層学習，数理最適化を基盤として，画像・映像・センサデータから有用な情報を抽出するAI技術の研究に取り組んでいます。

特に，単に「きれいな画像を作る」だけでなく，観測データの背後にある物理現象や構造を考慮しながら，環境，人の動き，物体，異常，外乱などを定量的に解析する技術の開発を目指しています。

主な研究対象は，衛星画像，ハイパースペクトル画像，偏光画像，動画像，医用画像，歩行・スポーツ動作データなどです。これらのデータに対して，深層学習，生成AI，グラフニューラルネットワーク，Plug-and-Play ADMM，低ランクモデリング，動的モード分解などを組み合わせた新しい解析手法を研究しています。

PR動画 / Promotion Video

• マルチモーダル衛星画像解析・リモートセンシングAI

• ハイパースペクトル画像の異常検知・画像復元

• 雲被り衛星画像に対する環境指標推定

• SAR・光学・熱赤外・気象データの融合

• 偏光画像を用いた反射・映り込み除去

• 動的モード分解と最適化による動画像復元

• 視認困難環境における画像認識支援

• 歩行動作・スポーツ動作のAI解析

• グラフニューラルネットワークによる関係性解析

• 医用画像・生体信号を対象としたAI解析 

リモートセンシング、信号処理、画像処理、コンピュテーショナルフォトグラフィ、バイオメカニクスに関する研究に取り組んでいます。

松岡研究室では，以下のような画像・信号処理技術を基盤として研究を進めています。

• 深層学習，生成AI，U-Net，Autoencoder

• グラフニューラルネットワーク，ST-GCN

• Plug-and-Play ADMM

• 低ランクモデリング，テンソル分解

• 動的モード分解

• 全変動正則化，L0勾配最小化

• ハイダイナミックレンジ画像生成

• Flash/No-flash画像統合

• Intrinsic Image Decomposition

• スパースFIRフィルタ設計

これらの数理的・工学的な基盤技術を，リモートセンシング，偏光画像，動画像，人の動作解析，医用画像解析などの応用分野へ展開しています。

衛星画像やハイパースペクトル画像を用いて，地球環境を解析するためのAI技術を研究しています。

光学画像，SAR画像，熱赤外画像，気象データなどの異なる観測情報を統合し，雲やノイズの影響を受けた状況でも，環境状態を安定して推定することを目指しています。

主な研究テーマは以下の通りです。

・ハイパースペクトル画像の異常検知
・衛星画像の雲除去・欠損補完
・SAR画像と光学画像のマルチモーダル融合
・NDVIやクロロフィルa濃度などの環境指標推定
・低ランク性や空間・スペクトル構造を利用した画像復元
・物理モデルと深層学習を融合したリモートセンシングAI

本研究では，見た目として自然な画像を復元するだけでなく，環境指標を科学的に妥当な形で推定する「測るAI」の実現を目指しています。

ガラス面や水面，車載フロントガラス越しの映像では，反射，映り込み，波面変動，ノイズなどが重なり，対象物の認識が困難になることがあります。

松岡研究室では，偏光画像，RGB画像，距離画像，時系列映像などの複数の観測情報を活用し，反射成分や外乱成分を分離する画像復元技術を研究しています。

主な研究テーマは以下の通りです。

・偏光画像を用いたガラス面の映り込み除去
・反射成分と透過成分の分離
・動的モード分解を用いた動画像の成分分離
・Plug-and-Play ADMMによる画像復元
・車載カメラ・監視カメラ・点検映像の視認性向上
・認識AIの信頼性向上を目的とした前処理技術

この研究は，自動運転，監視，インフラ点検，河川・海洋モニタリングなど，視認困難な環境での画像認識支援への応用を想定しています。

ガラス越しの撮影では手前の風景が撮影した画像中に映り込むことがある. この映り込みの除去は, 撮影者やその周囲の人々のプライバシー保護やロボットビジョンにおける画像認識精度の向上など, 様々な分野において重要な課題である. 本研究では, RGB-D画像を用いた新たな映り込み分離法を提案している.

This paper proposes a novel reflection removal method for RGB-D images that achieve reflection removal and depth map recovery simultaneously. In general, there is a strong structure correlation between an RGB image and a depth map in gradient domain. Based on this fact, we introduce a novel regularization for RGB-D images named the multi-modal structure tensor total variation (MSTV). A proposed minimization problem based on MSTV which is constructed by two minimization problems, reflection removal and depth map recovery, is solved by using alternating direction method of multipliers (ADMM). Experimental results show the effectiveness of our method by applying it to both artificial and real-world images. 

映像や時系列信号には，時間方向の変化に重要な情報が含まれています。松岡研究室では，動画像の時間構造を活用し，ノイズ除去，成分分離，異常検知，動作解析を行う技術を研究しています。

主な研究テーマは以下の通りです。

・動的モード分解による動画像復元
・時空間構造を考慮したノイズ除去
・低ランクモデリングに基づく動画像解析
・歩行・スポーツ動作の時系列解析
・グラフニューラルネットワークを用いた関係性のモデリング
・Explainable AIによる判断根拠の可視化

画像を1枚ずつ処理するのではなく，時間変化や構造的な関係性を利用することで，より頑健で解釈しやすいAI技術の開発を目指しています。

画像・信号処理技術を，人の動きや医用画像の解析にも応用しています。

歩行動作解析では，モーションキャプチャデータや画像特徴を用いて，膝関節負荷に関連する動作因子の解析に取り組んでいます。また，スポーツ解析では，サッカーのトラッキングデータを用いて，選手やボールの関係性をグラフとして表現し，ボール保持やプレー状況の予測を行う研究を進めています。

主な研究テーマは以下の通りです。

・深層学習を用いた歩行動作解析
・Grad-CAMなどを用いた動作要因の可視化
・サッカートラッキングデータのグラフ解析
・ST-GCNを用いたスポーツ戦術解析
・胸部X線画像などの医用画像AI解析
・人の動きや状態を説明可能にするAI技術

人やスポーツの解析では，単に予測精度を高めるだけでなく，「なぜその結果になったのか」を説明できるAIを重視しています。

We propose an image restoration technique that uses multiple image integration. The detail of the dark area when acquiring a dark scene is often deteriorated by sensor noise. Simple image integration inherently has the capability of reducing random noises, but it is especially insufficient in scenes that have a dark area. We introduce a novel image integration technique that optimizes the weights for the integration. We find the optimal weight map by solving a proposed convex optimization problem for the weight optimization. Additionally, we apply the proposed weight optimization scheme to a single-image super-resolution problem, where we slightly modify the proposed weight optimization problem to estimate the high-resolution image from a single low-resolution one. We use some of our experimental results to show that the weight optimization significantly improves the denoising and super-resolution performances.

We present a new image integration technique for a flash and long-exposure image pair to capture a dark scene without incurring blurring or noisy artifacts. Most existing methods require well-aligned images for the integration, which is often a burdensome restriction in practical use. We address this issue by locally transferring the colors of the flash images using a small fraction of the corresponding pixels in the long-exposure images. We formulate the image integration as a convex optimization problem with the local linear model. The proposed method makes it possible to integrate the color of the long-exposure image with the detail of the flash image without causing any harmful effects to its contrast, where we do not need perfect alignment between the images by virtue of our new integration principle. We show that our method successfully outperforms the state of the art in the image integration and reference-based color transfer for challenging misaligned data sets. 

物体表面の分光反射率測定は, リモートセンシング, 医療, 食品衛生管理, 物体表面の分光反射率測定は, リモートセンシング, 医療, 食品衛生管理, 植生管理, 生体認証や科学捜査など様々な分野で活用されている. しかしながら, 測定範囲が非常に狭いため被写体の規模が大きくなるにつれて測定効率が低下する問題がある. そこで, 観測画像から画素単位の分光反射率を効率よく推定し保存する技術が求められている. 本研究ではフラッシュ点灯画像を補助情報として, 最適化による分光反射率画像（固有色成分）推定技術を開発し, 色補正問題へ応用することでその有効性を示した.

L0勾配最小化を用いた画像の平滑化手法の研究に取り組んでいます。この平滑化手法を用いることで, より精度の高いトーンマッピングや画像の詳細強調などを実現することができると考えています。

This paper proposes an effective smoothing method based on gradient constraints. Image smoothing based on ℓ0 gradient minimization is useful for some important applications, e.g ., image restoration, intrinsic image decomposition, detail enhancement, and so on. However, undesirable pseudo-edge artifacts often occur in output images. To solve this problem, we introduce novel range constraints in gradient domain. Specifically, the proposed method suppresses these artifacts by introducing appropriate range constraints constructed from a reference image. Experimental results demonstrate the advantages of the proposed method over several conventional methods.

悪天候の場合は雨や雪などによって画面に視野妨害ノイズが映り込み, 人物や車などの画像認識に悪影響を及ぼしてしまう. 画像からこのような不必要な情報を分離し, 明瞭な画像を復元することでパターン認識や異常検出の精度向上が期待できるため, 解決すべき重要な課題である. 本研究では, 露光を変えて撮影した多重画像から雨の軌跡除去と飽和画素復元を同時に達成する新たな画像統合手法を提案する.

屋外で撮影された画像は, 霧や霞, 塵埃などの悪天候によって画像のコントラストが低下するという問題がある. このように悪天候下で撮影された画像から霧を除去し鮮明な画像を取得するための研究が近年活発に行われている. 本研究では近赤外画像と可視画像のペア画像を用いることで, より精度の高い霧除去を目標とする.

This paper proposes a new optimization framework for the joint optimization of sparsity and filter order (JOSFO) for FIR filter design. Since the cost function for JOSFO involves L0 and non-uniform overlapped group  L0 norms, which are not convex, a global optimal solution is difficult to obtain. To find an approximate solution of the non-convex problem, existing approaches repeat the following steps: 1) approximate the cost function; 2) find candidates of zero coefficients by minimizing the cost function; and 3) set them to zero. On the other hand, this paper directly solves the optimization problem, without any approximation to the cost function, by using the alternating direction method of multipliers with the pseudo-proximity operators of  L0 and non-uniform non-overlapped group  L0 norms. Experimental results show that resulting filters designed by the proposed method have sparser coefficients and lower orders, while satisfying filter specifications, such as an error from a desired frequency response.