Sony Research Award Program (Sony RAP)は、最先端の学術研究に資金を提供し、教員とソニーの研究者との協業関係の構築を支援しています。 Sony RAPによるソニーとウィスコンシン大学マディソン校の共同研究は、ソニーの池谷亮志とウィスコンシン大学マディソン校のモヒト・グプタ教授が主導しました。
池谷亮志: この共同研究プロジェクト (2019 ~ 2021) について、特に最先端技術との差異化と潜在的なユースケースについて簡単に説明していただけますか?
モヒト・グプタ: 私たちは、シングルフォトンカメラ(SPC)のためのコンピュータビジョンと機械学習アルゴリズムを設計しています。 SPCは視覚世界を可能な限り細かい粒度(個々のフォトン)で捉えることで、物理的に許容される最高精度の視覚の再現の可能性を切り開きました。 私たちの研究は、SPCを中心とした包括的なイメージングおよびコンピュータービジョンスタックの確立に向けた最初の一歩を踏み出しました。 この協業プログラムが成功すれば、従来のカメラでは実現できない機能を備えた新しいクラスのシングルフォトンビジョンアルゴリズムが実現することになります。 これにより、超低照度環境下での高品質の写真撮影、科学分野での画像処理における高速運動の解析(超低照度環境下での高速細胞変形の追跡など)、天文学(明るい星の近傍にある暗い天体の望遠鏡での探査など)や科学分野の高精度な画像処理まで、さまざまな応用が可能になります。
池谷亮志: ソニーの研究者との緊密な協業があなたの研究や研究の方向性に与えた影響について説明していただけますか?
モヒト・グプタ: 菅さん、池谷さん、光永さん、森内さんをはじめとするソニーの研究者たちと緊密に仕事をすることは、非常にやりがいがあります。 ソニーチームとの議論、彼らからの激励、および非常に有益な技術的フィードバックは、私たちの研究アイデアの形成と洗練に役立ちました。 私たちは、世界クラスのソニーの研究者と引き続き協業することにより、私たちの世界を新たな視点から見ることができる次世代の未来のカメラを設計していきたいと考えています。
池谷亮志: この共同研究から開発された技術は、イメージセンサーの将来にどのような影響を与えるでしょうか? この技術を量産化するための課題について説明していただけますか?
モヒト・グプタ: シングルフォトンカメラは、一般消費者向け写真撮影、極限状態でのロボット使用時(自律航法、ドローンなど)での認識、科学分野での画像処理(顕微鏡や天文学)など、幅広い用途にわたってイメージングとコンピュータビジョンに革命を起こす可能性を秘めています。 ただし、このテクノロジーの新たな性質により、広く採用されるためにはいくつかの課題に対応する必要があります。 まず、SPCによってキャプチャされた生のフォトンストリームデータは、従来のカメラによってキャプチャされた画像とは性質が異なり、従来のビジョンおよびMLアルゴリズムには適していないことがあります。 さらに、SPCによってキャプチャされる生データの量は従来の画像よりも桁違いに多く、制約のある帯域幅、電力、計算量、およびメモリ容量の下で運用することが困難になります。最後に、SPCの技術はまだ初期段階であり、成熟させるには製造プロセスを確立する必要があります。
幸いなことに、イメージセンサーの世界的リーダーであるソニーとの緊密な協業は、これらの課題に対処し、この研究の実際的な効果を最大化するのに大いに役立つと信じています。 この共同研究の一環として開発された技術は、ソニーの広範な専門知識と経験を用いて、SPCを高速動作時や限られた電力や計算量の下で、フォトン不足(低照度)環境からフォトン過多(高照度)環境まで広範囲にわたるイメージングと推論が可能な多目的センサーに変える可能性があります。 この研究は、SPC 技術の現在進行中の急速な進歩に支えられて、さまざまな領域にわたって強力で実用的な影響を生み出すでしょう。 例えば、明るい太陽光下での長距離での「レーザースキャン品質」の深度分解能を達成できるシングルフォトン3Dイメージングシステム、生きた標本の蛍光寿命顕微鏡検査、暗い環境での高速動作に対応する高性能(低ブラー、超解像度)写真撮影やロボットナビゲーション、低計算能力デバイスでの高レベルのシーン理解などが挙げられます。 エンジニアリングの地道な進歩によっても、数パーセント程度の性能改善はできる可能性はありますが、このような桁違いのパフォーマンス向上を達成するには、質的な変化が必要であり、この協業の一環として開発された新しい種類のシングルフォトンコンピューテーショナルイメージング技術がその原動力となるでしょう。
