第29章 フィルタリングとデノイズ
本章では、線形フィルタとエッジ保存型フィルタを比較し、ノイズ低減と細部保存の関係を説明します。
再構成した画像にはノイズが乗ります(第9章)。線量を上げればノイズは減りますが、被ばくとの兼ね合いがあります。そこで、撮り終えた画像からノイズを減らす後処理が使われます。デノイズの難しさは、ノイズと細部(エッジや微細構造)がどちらも高周波成分であることです。素朴に平滑化すると、ノイズと一緒に細部まで消えてしまいます。良いデノイズとは、平坦な領域は平滑化しつつ、エッジは残すことです。
線形フィルタ:ガウシアン
もっとも単純なのは、近傍の画素を重み付き平均する線形フィルタです。ガウシアンフィルタは、中心に近い画素ほど大きい重みで平均します。ノイズは平均によって打ち消し合うので確かに減りますが、重みが空間的な近さだけで決まるため、エッジをまたいだ反対側の画素も平均に入ってしまい、エッジがなまります。線形フィルタは速くて素直ですが、この「エッジもぼかす」性質から逃れられません。
ガウシアンフィルタ(左)とバイラテラルフィルタ(右)のステップ応答。バイラテラルフィルタは空間距離と輝度差の両方で重み付けし、エッジを保存する。
エッジを保存する非線形フィルタ
エッジを残すには、「似た画素だけを平均する」という非線形の工夫が要ります。いくつかの代表的な方法があります。
- メディアンフィルタ:窓の中央値を取ります。平均と違い外れ値に強く、ごま塩(インパルス)ノイズをほぼ完全に除きます。エッジは中央値が階段状に切り替わるので保たれます。
- バイラテラルフィルタ:空間の近さ()に加えて、輝度の近さ()でも重みを付けます。エッジの反対側は輝度が大きく違うので重みが小さくなり、エッジをまたがずに平滑化します。
- 非局所平均(NLM):画素の周りの小さなパッチが似ている画素どうしを平均します。「似た模様は画像の別の場所にもある」という冗長性を使い、テクスチャを保ったまま平滑化します。
- 異方性拡散(Perona–Malik):輝度勾配の小さい向きにだけ熱を拡散させ、勾配の大きいエッジは越えないようにする反復平滑化です。
- TV(全変動)デノイズ: を最小化し、区分的に平坦な解を好みます。第10章・第11章で見た TV 正則化と同じ発想の後処理版です。
デノイズは細部との取引
どのデノイズも、平滑化を強めるほどノイズは減りますが、いずれ本物の細部まで消し始めます。TV や異方性拡散は強くかけると、緩やかな濃淡が段々の平坦面に変わる(漫画のように見える)ことがあります。ノイズをどこまで減らすかは、残したい細部の細かさとの取引です。正解は目的(見たい構造)で決まります。
画質評価指標
デノイズの性能は、真値がある場合には画素値の誤差から評価できます。RMSE(二乗平均平方根誤差)は真値との差を表し、小さいほど誤差が少ないことを示します。PSNR(ピーク信号対雑音比)は RMSE を対数尺度の dB で表した指標で、大きいほど真値に近いことを示します。
ただし、RMSE や PSNR は画素ごとの差を平等に足すだけで、その差が「どこに」出ているかを見ません。たとえば全体を少し明るくしただけでも、構造は保たれているのに PSNR は大きく下がります。人が感じる画質は、明るさのずれよりも構造(エッジや模様)の保存に敏感です。これを捉えるのが SSIM(構造的類似性指標)で、窓ごとに輝度・コントラスト・構造の一致を測って平均します。1 で完全一致、構造が崩れるほど下がります。SSIM は人の知覚に近いとされ、デノイズや超解像の評価で広く使われます。
シミュレーション:フィルタを比べる
エッジと平坦領域を持つファントムにガウス雑音を乗せ、フィルタを選んでかけます。左が真値、中央がノイズ画像、右がデノイズ結果です。RMSE(小さいほど良い)・PSNR(大きいほど良い)・SSIM(1 に近いほど良い。デノイズ後 / ノイズ画像の順)で真値との近さを測ります。ガウシアンは強くかけるとエッジがぼけ、バイラテラルや異方性拡散はエッジを保ったままノイズだけを減らせます。強さを上げすぎると、どの方法もいずれ細部を失い、SSIM が下がります。
真値
ノイズ画像
デノイズ結果
真値(左)、ガウス雑音を加えた画像(中央)、選択したデノイズ法の出力(右)。フィルタ強度に応じた RMSE とエッジ保存の変化を示す。
学習型デノイズとの関係
第13章で見た深層学習によるデノイズも、この系譜にあります。違いは、フィルタの形を人が設計するのではなく、ノイズあり画像とノイズなし画像の対から、除くべきノイズの統計をネットワークが学習する点です。うまく学習できれば、手設計のフィルタより高い画質を出せますが、学習データの分布から外れた入力には弱く、存在しない構造を作り出す危険もあります。手設計のフィルタは挙動が透明で予測可能なので、両者は用途に応じて使い分けられます。
この章の要点
デノイズは、ノイズと細部がどちらも高周波であるために難しく、良い方法は平坦部を平滑化しつつエッジを残します。ガウシアンなどの線形フィルタは速いがエッジもぼかします。メディアン・バイラテラル・非局所平均・異方性拡散・TV は、「似た画素だけを平均する」非線形の工夫でエッジを保ちます。ただしどの方法も、平滑化を強めればいずれ本物の細部を失うので、ノイズ低減と細部保存はつねに取引です。深層学習型はノイズ統計を学ぶ点が異なり、透明性と引き換えに高い画質を狙えます。
参考文献
- Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion. IEEE Transactions on Pattern Analysis and Machine Intelligence 12, 629–639 (1990).
- Tomasi C, Manduchi R. Bilateral Filtering for Gray and Color Images. Proc. ICCV 839–846 (1998).
- Buades A, Coll B, Morel JM. A Non-Local Algorithm for Image Denoising. Proc. CVPR 60–65 (2005).
- Rudin LI, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms. Physica D 60, 259–268 (1992).