AE・AWB・AFは、なぜ別々に調整するだけでは足りないのか？

AE・AWB・AFは、それぞれ別の役割を持っている

AEは明るさ、AWBは色、AFはピントを、撮影条件に合わせて自動的に調整する制御です。担当する対象が違うため、開発でも別々の機能として扱われます。

それぞれの役割や仕組みについては別の記事で説明しています。ここからは、この3つが同時に動くときに何が起きるのかを見ていきます。

同じ一枚の画像を、3つの制御が同時に扱っている

AE・AWB・AFは別々の制御ですが、対象にしているのは同じ画像です。そして多くの場合、同じ映像の流れの中で、同時に動いています。

ある制御が画像の状態を変えれば、他の制御が判断の材料にしている情報も変わります。つまり、それぞれが独立して結果を出しているように見えても、実際には同じ土俵の上にいます。

個別に調整して数値が合っていても、最後に見るのは一枚の画像、あるいは一本の映像です。評価されるのはそこです。

露出が変われば、色やピントの条件も変わる

3つの中でも、露出の設定は他への影響が広く出ます。明るさを決める操作は、明るさだけを変えているわけではないためです。

明るさだけでなく、ノイズや判断材料が変わる

暗い場所で明るさを確保しようとすると、感度を上げる方向の調整が入ることがあります。すると画像は明るくなりますが、同時にノイズが増えることがあります。シャッターの条件を変えて明るさを稼げば、動きのある被写体ではぶれ方が変わります。

画像の状態が変われば、色を判断するために使われる情報の条件も変わります。ピントを合わせるための手がかりも、ノイズや明るさの影響を受けます。

たとえば、暗い場所で動画を撮る場合を考えてみます。暗いので明るさを確保しようとする。その結果ノイズが増える。ノイズが増えると、色の判断も、ピントの手がかりも安定しにくくなることがあります。

このとき「暗いから明るくする」という一手だけで解決するとは限りません。どこまで明るくするのか、そのぶんノイズをどう扱うのか、色やピントへの影響をどこまで許容するのか。合わせて考える必要が出てきます。

動画では「一瞬の正しさ」より、収束と安定性が問われる

静止画であれば、シャッターを切った瞬間に条件が合っていれば目的は果たせます。しかし動画やライブビューでは、状態が続きます。

そこで問われるのは、ある瞬間に正しいかどうかだけではありません。目標の状態に落ち着くまでの過程や、落ち着いたあとに揺れないかどうかも、見ている人の印象を左右します。

速さ・安定性・正確さのバランス

自動制御は、速く合わせようとすると行き過ぎたり、揺り戻したりしやすくなります。逆に、慎重に合わせようとすると、変化への追従が遅れます。

つまり、速さ・安定性・正確さは、同時にすべてを最大にできるとは限りません。どれを優先するかは、その映像が何に使われるかによって変わります。

人が見る映像であれば、多少遅くても滑らかに変化するほうが自然に見えることがあります。機械が判定するのであれば、判定のタイミングで条件が安定していることのほうが重要になる場合があります。

シーンが変わるとき、3つの制御が同時に動く

撮影条件が大きく変わる場面では、3つの制御が同時に反応します。ここが、3Aを別々に考えきれない理由が最もはっきり出るところです。

追従の速さが揃っていないと、何が起きるか

たとえば、明るい屋外から暗い室内へ移動する場面を考えます。明るさの条件が変わるので露出が追従し、光源が変わるので色の調整も追従し、被写体との距離や条件が変わればピントも追従します。

このとき、それぞれの追従の速さが揃っていないと、切り替わりの途中で見え方が不自然になることがあります。明るさが先に合って色が遅れて追いつく、あるいは色が変化している最中にピントが動く、といった状態です。

個々の制御は、それぞれ正しく追従しています。それでも、同時に見ると違和感が出ることがあります。ここは個別の調整だけでは見つけにくい部分です。

静止画と動画では、求められる条件が変わる

同じカメラでも、静止画と動画では3Aに求められることが変わります。

• 静止画：撮影する瞬間に条件が合っていることが中心になる
• 動画：条件が変化していく過程の自然さや、揺れの少なさが問われる
• 検査などの判定用途：判定のタイミングで、毎回同じ条件が再現できることが重要になる

静止画向けに作り込んだ設定が、そのまま動画で自然に見えるとは限りません。逆に、動画で安定するように抑えた設定が、静止画では物足りなく感じられることもあります。用途が分かっていないと、どちらに寄せるべきかを決められません。

個別の正しさと、全体としての自然さは同じではない

3Aの調整では、それぞれの制御に対して確認項目があります。狙った明るさになっているか、色が想定どおりか、ピントが合っているか。個別に見れば、どれも問題ないという状態は作れます。

数値が合っていても、見え方が不自然になる場合がある

それでも、実際の映像を通して見ると自然に感じられないことがあります。明るさの変化に色の変化が重なる、ピントの動きと明るさの変動が同時に起きる、といったように、単体では問題にならない動きが重なるためです。

個別の制御がそれぞれ正しく動いていても、最終的な画質として自然とは限りません。個別の調整に意味がないのではなく、それだけでは確認しきれない領域がある、ということです。

重要なのは、AE・AWB・AFを最終的な画像の中でどうバランスさせるかです。

3Aの調整は、最終的な画質から逆算する

では、何を基準にバランスを取るのか。基準になるのは、その映像や画像に何を求めるかです。

何を優先するかを先に決める

求める画質が先にあり、3Aの調整はその後にあります。順番が逆になると、調整の良し悪しを判断できません。

• その映像は、人が見るのか、機械が判定するのか
• 動きのある場面か、条件が安定した場面か
• 明るさの変化にすばやく追従したいのか、変化を穏やかに見せたいのか
• 多少暗くても色を優先するのか、明るさを優先するのか
• どの条件の範囲で、同じように撮れていればよいのか

こうした優先順位が決まっていれば、3つの制御のどこを譲り、どこを守るかを判断できます。決まっていないまま個別に最良を目指すと、互いに引っ張り合ったままになります。

なお、明るさや色は、ISPでの処理やセンサーの条件とも関係します。3Aの中だけで解決しようとせず、必要に応じてその前後まで含めて見ることも必要になります。

既存の制御で足りない場合は、必要に応じて方式そのものを見直す

多くの場合、要求は既存の制御の調整で満たせます。まずはその範囲で、優先順位に沿ってバランスを取ります。

一方で、撮影条件が特殊であったり、求められる安定性が既存の制御の前提と合っていなかったりする場合には、調整だけでは届かないことがあります。そうしたときには、必要に応じて制御方式そのものを見直すこともあります。

既存技術で満たせない課題に、どう向き合って方式を組み立てるのかについては、別の記事で説明しています。

NeoTech InnovationがCross-3A Optimizationで考えていること

私たちは、AE・AWB・AFを個別に最良の状態へ持っていくことを目的にはしていません。個別の調整は必要ですが、それだけでは最終的な画質が決まらないためです。

確認するのは、その映像が何に使われるのか、どの条件の範囲で安定していればよいのか、変化の途中も含めて自然に見えるか、という点です。そのうえで、AE・AWB・AFの相互の影響を踏まえて全体を調整します。

一枚だけ、あるいは一瞬だけ良い状態を作ることよりも、必要な条件の範囲で安定して同じように撮れること。この観点を、3Aの調整では常に置いています。

まとめ

AE・AWB・AFを別々に調整するだけでは足りない理由を整理します。

• 3つの制御は別々の役割を持つが、対象にしているのは同じ画像である
• 露出の設定を変えると、ノイズや、色・ピントの判断材料の条件も変わることがある
• 動画では、ある瞬間の正しさよりも、収束の過程と安定性が印象を左右する
• 速さ・安定性・正確さは、同時にすべてを最大にできるとは限らない
• シーンが変わる場面では3つが同時に動き、追従の速さが揃っていないと不自然に見えることがある
• 静止画・動画・判定用途では、3Aに求められる条件が変わる
• 個別の数値が合っていても、全体として自然とは限らない
• 求める画質が先にあり、3Aの調整はその後にある

個別の調整が不要なわけではありません。個別に見るだけでは確認できない部分があるからこそ、最終的な画像や映像から逆算して、3つの制御をどうバランスさせるかを考えます。