画質改善では、なぜISPの調整だけでなく処理設計まで考えることがあるのか？

ISPの「調整」と「処理設計」は、同じ作業ではない

ISPに関する仕事は、しばしば「画質を調整する」という一言でまとめられます。しかし実際には、性質の異なる二つの作業が含まれています。

一つは、用意されている処理に対して設定を合わせ込み、要求する画像に近づける作業です。もう一つは、どの処理にどこまでの役割を持たせ、どの順で置き、どこで行うかを見直す作業です。前者を調整、後者を処理設計と呼び分けると、話がかみ合いやすくなります。

まず、パラメータの調整で要求に届くかを見る

はじめに確認するのは、既存の処理の設定を合わせ込むことで要求を満たせるかどうかです。ノイズをどこまで抑えるか、色をどう再現するか、明暗の階調をどう割り当てるか、輪郭をどこまで立てるか。こうした設定を、使用する現場の条件に合わせて調整します。

撮影する対象、照明、設置場所、被写体との距離が変われば、同じカメラでも適した設定は変わります。あらゆる環境に共通する一つの設定があるわけではありません。

既存の処理を活かせるなら、それが合理的

調整で要求を満たせるのであれば、それが最も合理的な選択です。開発の期間も、検証の負担も、後からの変更のしやすさも、既存の処理を活かしたほうが有利になります。

処理設計は、調整より上位の作業というわけではありません。調整で届く課題に対して構成から見直すのは、必要のない負担を増やすことになります。何をどこまで見直すかは、要求と制約から決まります。

一つのパラメータを強めれば済むとは限らない

調整を進めていくと、ある設定を強めることで目的の方向へは近づくものの、別のところが崩れるという状況に行き当たることがあります。

ノイズを減らすことと、細部を残すことは同時に成り立たないことがある

たとえば、暗い場所で撮影した画像のノイズを減らしたいとします。ノイズを抑える処理を強めれば、ノイズは減ります。

ただし、ノイズと細かな模様や輪郭は、画像の中では似た形で現れることがあります。そのため、ノイズを強く抑えると、残したかった細部まで一緒に失われる場合があります。

失われた細部を取り戻そうとして、輪郭を強調する処理を強めることがあります。すると輪郭は立ちますが、今度は本来なかった縁が目立ったり、抑えたはずのノイズが別の形で見えてきたりすることがあります。

ここで起きているのは、一つの設定が悪いということではありません。ある処理で削ったものを別の処理で補おうとすると、その補い方がまた別の影響を生む、という連鎖です。

こうなると、個々の設定を単独で追い込んでも決着がつきません。見るべきなのは、処理全体としての釣り合いです。

ISPの処理は、前後の結果に影響し合う

ISPの中には複数の処理が置かれていますが、それぞれが独立して完結しているわけではありません。前段の処理が出した結果を、後段の処理が入力として受け取ります。

つまり、前段で失われた情報は後段では戻りません。逆に、前段で残しすぎたものが後段の処理を難しくすることもあります。同じ設定でも、その処理に入ってくる画像の状態が変われば、出てくる結果は変わります。

「どこを直すか」は一つに決まらない

そのため、ある症状が見えたとき、それを直す場所は一つとは限りません。症状が現れている処理を触るのが正しい場合もあれば、その手前の段階で条件を整えたほうが結果的に良くなる場合もあります。

症状の出ている場所と、原因のある場所は、必ずしも一致しません。ここを見ずに、目に見える段階だけを繰り返し調整すると、片方を良くすると片方が崩れる状態から抜け出せなくなります。

調整で届かないとき、処理の構成と役割を見直す

設定を合わせ込んでも要求に届かないと判断した場合、次に見るのは処理そのものの構成です。既存のISPの調整に留まらず、処理の設計まで踏み込むことがあります。

「足りない」をどう判断するか

調整で届かないという判断は、感覚ではできません。何を満たせば要求を満たしたことになるのかを先に決めておく必要があります。

その画像を人が見るのか、機械が判定するのか。どの撮影条件の範囲で成立していればよいのか。どこまでなら許容できるのか。これが決まっていれば、調整の余地が残っているのか、それとも構成の問題なのかを切り分けられます。決まっていないまま調整を続けると、良くなったのかどうかを判断できません。

どの処理を、どこで、どの粒度で行うか

構成を見直すときに考えるのは、どの処理にどこまでの役割を持たせるか、どの順に置くか、どの段階で行うかです。同じ目的の処理でも、撮影する条件の側で抑えるのか、ISPの中で扱うのか、後段のソフトウェアで扱うのかによって、結果も条件も変わることがあります。

どの層で何を担うかという判断は、ISPの中だけの話には収まりません。この考え方については別の記事で扱っています。

画質以外の条件も同時に決まる

処理の構成を変えると、画質だけが変わるわけではありません。次のような条件も同時に動きます。

• 処理量：どこで何を行うかによって、必要な計算量が変わる
• 処理時間：求められる速さに間に合う構成かどうかが変わる
• メモリ：処理の持ち方によって、必要な容量が変わる
• 消費電力：電力に制約のある機器では、構成が成立条件になる

画質だけを見て構成を決めると、製品として成立しないことがあります。逆に、上流で条件を整えて処理量を減らせるなら、より小さな構成で成立することもあります。処理設計は、画質と製品条件を同時に見る作業です。

3AとISPは、最終画質の中でつながっている

ISPの処理を考えるとき、AE・AWB・AFといったカメラ制御を別の箱として切り離すことはできません。露出が変われば入ってくる画像の明るさやノイズの状態が変わり、色の判断が変われば後段の色やトーンの扱いも変わります。

つまり、ISP側の設定だけを見て調整しても、制御側の条件が変われば結果は変わります。カメラ制御どうしの関係については別の記事で扱っているため、ここでは、両者を分けずに最終的な画像の中で見る必要がある、という点までに留めます。

既存の処理では足りない場合、必要に応じて方式そのものを検討する

多くの場合、要求は調整と構成の見直しで満たせます。まずはその範囲で成立させることを考えます。

一方で、撮影条件が特殊であったり、求められる画質が既存の処理の前提と合っていなかったりする場合には、構成を変えても届かないことがあります。そうしたときには、必要に応じて処理の方式そのものを検討することもあります。

既存技術で満たせない課題に対して、どのように方式を組み立てていくのかについては、別の記事で説明しています。

NeoTech InnovationがISPと画像処理の設計で考えていること

私たちは、ISPの仕事を「設定を追い込む作業」とも「処理を作り直す作業」とも決めていません。要求に対して、どこまで戻れば成立するのかを見るところから始めます。

既存の処理の調整で要求を満たせるのであれば、それを活かします。調整で届かないと判断した場合には、どの処理にどこまでの役割を持たせるか、どの段階で行うかという構成まで戻って考えます。

そのとき同時に見ているのは、画質だけではありません。処理量、処理時間、消費電力といった条件を満たしたうえで、必要な画像が安定して得られる構成になっているか。製品として成立する形で画質を作ることを、ISPと画像処理の設計では前提に置いています。

まとめ

ISPの調整と処理設計の違いを整理します。

• ISPの仕事には、既存処理の設定を合わせ込む作業と、処理の構成・役割・配置を見直す作業がある
• 多くの場合は調整で要求を満たせる。既存の処理を活かせるなら、それが合理的である
• 一つの設定を強めると別のところが崩れ、補おうとするとまた別の影響が出ることがある
• ISPの処理は前後で影響し合うため、症状の出ている場所と原因のある場所は一致しないことがある
• 調整で届かないと判断するには、何を満たせば要求を満たしたことになるのかを先に決めておく必要がある
• 構成を見直すと、画質だけでなく処理量・処理時間・メモリ・消費電力も同時に変わる
• 構成を変えても届かない場合には、必要に応じて処理の方式そのものを検討することもある

調整と処理設計は、上下の関係ではありません。要求と制約に対して、どこまで戻れば成立するのかが違うだけです。その見極めが、画質改善では先に必要になります。