本研究室では、人間の「視覚」を研究しています。
「…情報通信系なのに、人間？視覚？」
そう思われるかもしれません。しかし、皆さんの脳や神経系は非常に優れた情報処理装置です。今や脳の計算速度は計算機に全くかなわないにもかかわらず、品質や質感、キズのチェックなどにおいて、いまだに人間の眼が重要な役割を果たしています。人間の眼や脳はどんな仕掛けでこのパフォーマンスを実現しているのでしょうか。逆に、人間に視覚情報呈示はその特性に合致したものである必要がありますが、例えば人間が快適に感じる視覚刺激とはどのようなものでしょうか。
このような疑問に答えるため、永井研究室では、視覚系（脳や神経）における「画像情報処理」の仕組みの解明を目指しています。特に、物体の認知に直接的に関わる「質感」や「色」、「感性」を処理する仕組みをターゲットとし、そのメカニズムの解明を進めています。
※実験手法としては、非常に洗練された「心理物理学的実験法」を主に用います。心理物理学とは、物理量が正確に統制された刺激（画像）と、それに対する観察者の応答（見えたかどうか、どう見えるか、など）の対応関係を実験的に測定し、その間に存在する情報処理（脳、神経系の処理）を推定する学問のことです。その他にも脳波計測や眼球運動計測など複数の人間計測方法を併用します。実験の遂行には、統計的解析技術、プログラミング技術、画像処理技術、論理的思考能力などが必要になります（ただし、研究室所属後に勉強することで十分に身に付きます）。
1. 質感と感性の科学
私たち人間は容易にモノの質感を判断し、さらにそこから様々な感情も生まれます。近年では、質感印象や感性を生み出す脳の仕組みが、画像処理や画像からの情報抽出に有用であることが示されてきており、その仕組みの理解が注目を浴びています。
視覚系における質感・素材・感性情報の表現
私達が物を見た瞬間に、身の回りの物がどういう素材でできているか、またその物に対する質感や好みなど、様々な質感印象や感情が生起します。では、私達はどのような仕組みで、質感印象や感情を感じるのでしょうか？
このような質感印象や感情を生起させる画像特徴について、素材を見分けるときの有用性、またその認知に要する時間などを細かく検討し、質感や素材の情報、感性的な情報が視覚系においてどのように表現されているかを検討しています。
様々な素材の見分けにどのような画像特徴や質感情報が使われているのか？ (Nagai et al., 2015, 清川ら，2018)
光沢感や透明感を感じる仕組み
光沢や半透明感を生む物体の光反射特性と画像の物理的対応関係は複雑なのですが、人間はそれらの質感を簡単に捉えることができます。
そこで、その光沢感や半透明感を判断する仕組みを心理物理実験や画像工学、統計解析から検討しています。光沢感や透明感に直結する画像情報が明らかになれば、画像上の光沢感・透明感を自在に操作する技術への展開が期待できます。
光沢感を感じるための鏡面ハイライトを脳がどうやって見つけているのか？（Nohira et al., 2023）また、ハイライト以外に光沢感手がかりはあるか？ (Kiyokawa et al., 2021)
2. 色彩の科学
色とは、眼に入る光の波長の情報が反映された感覚です。私たちは、様々な物体がどういう素材でできているかを色によって判断することができます。このような色を認知する仕組み（色覚）は、現在の色彩工学の強固な基礎になっており、色覚の理解は様々な視覚メディアにとって非常に重要な課題となっています。
脳内の色情報表現
視覚系において脳に入る前の色情報表現（例：眼の中のカラーセンサー = 錐体）の理解は進んでいます。しかし、これらの色情報表現だけでは説明できない色知覚現象はいくらでもあります。
このような未知の脳内色情報表現について、心理物理実験や脳波計測、経験の影響などに基づき多角的に明らかにし、色彩工学の原理の再検討を行うことで、カラーバリアフリーや色ムラ定量化など様々な社会問題への寄与を目指しています。
さくらんぼ農家のように特定の色の判断を続けていると、色の見え方（左図）や色の呼び方（右図）が変わる（Horiuchi et al., 2024）
色から質感へ、質感から色へ
従来の色覚研究では、単に色を有する均一画像を用いた実験が主流でした。しかし、光沢感などを有する物体画像では、従来の色覚研究の知見では説明できない知覚がしばしば生じます。
コンピュータグラフィックスで生成した画像の色情報を厳密に統制し、質感的な情報による色の見え方の変化、色情報による質感印象の評価など、色と質感の相互作用の解明を目指しています。
光沢があると、色の見え方が変わる（Nagai et al., 2017)。逆に色をつけると光沢感が変わる（Koizumi et al., 2023）
3. 感性計測手法の発展
人間の知覚や感性の計測は、しばしば非常に時間がかかるものです。例えば、ボタン押し等の行動応答による感性情報の計測では、何度も何度も刺激を見ながらマウスクリックを繰り返す必要があります。この計測を、短い時間で、かつ高精度で行えるようになれば、様々な感性情報の定量化が容易になり、そのメカニズム解明も一気に前進することになります。
心理物理実験法の高効率/高精度化
本研究室ではヒトの知覚感性を心理物理実験によって測定しますが、その計測に非常に時間がかかるケースも多いです。
そのため、逆相関法や最尤差スケーリング法、適応階段法などの統計的心理物理実験法をベースとして、高効率/高精度な心理物理実験を開発し、またそれらの手法を知覚感性メカニズムの解明につなげています。
(左)透明感に関わる画像部位を心理物理実験から同定する（Nagai et al., 2014）。(右)コントラスト感度（物体を検出するための視覚の基礎的な感度特性）を高速/高精度に計測した結果（Hayasaka et al., 2022）。
未知の知覚方略のあぶり出し
例えば、私たちは無意識に他人の顔から、感情や健康状態を読み取りますが、その際に自分がどのような顔画像の特徴を利用しているか分かりますか？そのような無意識な視覚の方略をあぶり出すための心理物理的な実験手法を開発しています。
左図のような少しノイズがかった顔画像に対して心理物理実験を行うと、右図のように顔印象に関わる成分を可視化できる。この図は、顔肌の明るさ感の例を示している（Nagai et al., 2022）。