HDR画像処理

HDR画像処理

高ダイナミックレンジ(HDR)画像とは、次世代の画像形式であり、従来の画像形式(低ダイナミックレンジ(LDR)画像)と比べて取得された輝度範囲が非常に広い画像である。図1のように従来のCCDで取得できる輝度範囲は人間が取得できるそれよりも狭いため、図2のように人間の目では見えていた景色でも後で画像を確認すると明るすぎる領域は白く飛び暗すぎる領域は黒く潰れてしまう。HDR画像は、人間とほぼ同等の輝度範囲を有する画像と定義され、標準的には一画素あたり48bitで表現されるため白飛び黒潰れがなく明暗や色彩が豊かなものである。

図1 各シーンの輝度値とそのダイナミックレンジ

図2 輝度範囲の広いシーンでのLDR画像

本研究室では、以下の研究テーマに関する研究を行っている。

  • HDR imaging: 複数枚のLDR画像からHDR画像を生成する技術

  • HDR image coding: 符号化(圧縮)

  • Tone mapping: HDR画像から極力視覚的劣化を抑えてLDR画像を生成する技術

  • Multi-exposure image fusion: 複数枚のLDR画像から白飛び黒潰れのないLDR画像を生成する技術

HDR Imagingとは、露光を変え取得する輝度範囲をずらして撮影した複数枚のLDR画像を合成し、それらの取得輝度範囲の和によって近似的にHDR画像を生成する技術である。また、多露光画像合成は同様の入力を用いるが白飛び黒潰れのない鮮明なLDR画像を生成する技術である。両者ともに、より鮮明な画像の生成を目指しているが、特に入力画像において物体の位置がずれているせいで発生するゴーストと呼ばれる歪みや高い露光のせいで発生するノイズの抑制を目指している。

HDR画像の符号化に関して、本研究室では二階層符号化に着目し研究している。HDR画像のフォーマットはOpenEXRやRGBEなどがあり、またJPEG 2kなども16bitでの保存に対応しているので符号化可能である。一方で、二階層符号化という方法に準拠したJPEGシリーズのHDR画像対応版であるJPEG XTが最近策定された。二階層符号化とは、HDR画像を符号化する際に基礎と追加の二つのファイルを生成する方法であり、基礎のみからは原HDR画像をLDR画像に変換したものが、両方を用いると原HDR画像が復元できる技術である。これにより、両方の要望のユーザーに対応でき、さらにJPEG XTではLDR画像はJPEGで復元できるので普及しやすいと考えられている。本研究室では、JPEG XTを基準としてより圧縮効率向上を目指して研究している。

図3と4に、Multi-exposure image fusion(多露光画像合成)の例を示す。図3の三枚の画像を合成して図4を得ている。

図3 多露光画像 (左) 高露光、(中央) 適正露光、(右) 低露光

図4 合成結果画像