2016年6月9日（木）、東芝は、単眼カメラで撮影した1枚の画像からカラー画像と距離画像を同時に取得できる撮像技術を開発したと発表しました。
単眼カメラでカラー画像と距離画像を取得する仕組み
・レンズ開口部に、水色と黄色のカラーフィルタからなる独自のカラー開口フィルタを取り付けることで、物体までの距離に応じたボケと色ズレが発生する。
・このボケと色ズレを画像解析することで、物体までの距離が画素毎に検出可能となる。
・このフィルターは、明るさへの寄与率が高い緑色の光を透過させるため、撮像した画像の画質劣化が少なく、そのままカラー画像としても使える。
本技術の特長
・カメラ間距離35cmのステレオカメラ並みの距離精度が出せる。
・本方式はレンズと画像処理で構成されるため、一般的な安価なイメージセンサーを利用して構成できる。試作機は市販カメラを使用した。
・今後、カメラの小型化と画像処理の高速化を行い、早期の実用化を目指す。
まとめ
距離を測定する方法としては、ステレオカメラ、赤外線デプスセンサ、超音波センサ、ミリ波レーダ、LiDAR、SfM技術などがあるものの、ステレオカメラは2つのカメラ間距離を30cm程度離す必要があり、赤外線デプスセンサや超音波センサは数10m以上の長距離の対象物の測定が困難だったりと、一長一短なのだそうです。
今回の東芝の技術だと、それぞれの課題を克服し、かつ小型・低コスト化が可能とのことで、実用化されれば、自動車やドローン、ロボットに搭載するカメラセンサーとして主流になるかもしれません。
試作機は市販のカメラを使ったとのことで、ソース元には言及がありませんが、そのまま一般のデジタル一眼カメラ用のレンズフィルターを作り、画像処理はPhotoshopにでも組み込めば、ボケ量の調整や背景の切り取り合成処理が、より手軽にできるようになるかもしれません。
ボケ量については、東芝の仕組みがボケの違いを利用して距離を測るとのことで、ボケの少ないパンフォーカス画像では使えず、デュアルカメラでできるピントが合っている位置を後から変えたり、ボケ量の増減（特にボケ量を減らすこと）はできないかもしれません。
もう1つ、超近距離での距離測定（顔の凹凸等）はできるのか気になります。
もし可能であれば、顔認識技術にも応用できそうですし。