ICCV2023にて「DynamicISP: Dynamically Controlled Image Signal Processor for Image Recognition」を発表

ソニーグループ株式会社 Technology Infrastructure Centerの研究開発チームからの論文がComputer Vision分野のTop ConferenceであるICCV2023に採択され、10/2~10/6にパリにて発表してまいりました。 ICCV2023は、メインの論文発表だけではなくチュートリアルやワークショップ、企業展示などの様々なプログラムを有し、7000人以上が現地参加する活況ぶりでした。

今回発表した技術は「画像認識AIが認識しやすいようにAI自らがカメラのパラメータを動的に制御する」というものです。

普段皆さんが目にするpngやjpgなどの形式の画像は、イメージセンサがセンシングした値に様々な加工をImage Signal Processor (ISP)で施したものです。通常、ISPはヒトが見て自然で美しく感じるように専門家によってチューニングされています。

それに対し、本研究では、
1.　ヒトの目が自然に感じる画像とAIが認識しやすい画像は違うのではないか？
2.　静的なチューニングより、環境に合わせて動的にISPのパラメータを変えるべきではないか？
という2つの仮説に基づき、以下のように後段の認識器が画像についてどう感じたかの情報を取り出し、その情報を元にISPのパラメータを制御して認識しやすい画像を自ら作り出すということを行います。

それにより、特に暗所、HDR、手振れといった難環境での認識精度を改善することが出来ました。

詳しい手法については、以下の論文と解説動画(英語)をご覧ください。

学会のPoster Sessionでは大勢の方と議論させて頂き、とても貴重な体験となりました。

様々な最先端の技術を優秀な方と議論出来るのは、技術やアイデアの発展、モチベーション向上などに繋がり、学会に参加する大きなメリットではないかと思います。

最後になりますが、以下本論文の著者となります。ご精読ありがとうございました。