メディア
特集
» 2010年11月01日 00時00分 公開

コンピュテーショナルフォトグラフィの活用で :多機能化に向かう次世代カメラ (2/5)

[坂東 洋介 (東芝 セミコンダクター社),EDN Japan]

ライトフィールドの応用例

 従来のカメラとは異なる手法により、ライトフィールドのデータを取得(撮影)できるようになったならば、新たにどのようなことが行えるようになるのだろうか。以下に、いくつかの例を示すことにしよう。

■視点の変更

 前節で述べたように、ライトフィールドの(s, t)平面上の点を1つ決めると、ピンホールカメラによる画像となる。そこで、図4における(s, t)の値を変えると、視点の変更が可能になる(図7)。


図7 視点の変更 図7 視点の変更 視点を左右に動かした例。赤色の線を引いた鶏のクチバシに注目すると、手前の鶏のほうがズレが大きいことがわかる。立体視用の左目画像、右目画像としても利用できる。
図8 焦点ボケの合成 図8 焦点ボケの合成 (s, t)平面の通過領域サイズを変更することで、被写界深度を変更できる。また、センサーの位置を変えればピントの変更が可能になる。
図9 多視差の裸眼立体視ディスプレイ 図9 多視差の裸眼立体視ディスプレイ 多視差の裸眼立体視ディスプレイは、ライトフィールドの表示機だと言える(v軸、t軸を省略して2次元的に図示している)。
図10 奥行きの推定 図10 奥行きの推定 視差情報を利用することにより、高精度でロバスト(エラーに強い)な奥行き推定が行える。

■焦点ボケの合成

 図5に示したように、レンズがある大きさを持っている場合には、レンズのサイズに相当する領域を(s, t)平面上にとり、そこを通過する光線を積分することで焦点ボケの効果を得ることができる(図8)。レンズの領域が絞りに相当するので、領域の大きさを変更することによって、被写界深度の変更が可能になるということだ。

 また、センサー面を移動させることで、ピント(焦点の合う奥行き)を変更することもできる*4)

■3Dへの対応

 (s, t)平面上の2点を選ぶことにより、両眼立体視(3D)用の画像(左目画像と右目画像)を作ることが可能である。その際には、通常用いられている2眼カメラによる撮影画像とは異なり、連続的に視点を変更できるので、奥行き感の調整も容易だ。

 また、複数の視差を用いた視域の広い裸眼立体視のデータを得ることもできる(図9)。

■奥行き推定

 ライトフィールドは複数の視点に対応する情報を持っているので、視差を基に奥行きを推定することが可能である(図10)。2眼カメラによる画像を基にした推定より、高精度かつエラーに強いことが知られている*5)

■前景抽出

 奥行き推定の応用だが、視差が異なることを利用して、手前にある物体のみを切り出し、別の画像に合成することができる*6)

■超解像

 同じく視差情報を利用したものである。視差が画素サイズの整数倍でないとき(すなわちサブピクセル単位のとき)には、画素サイズ以下の情報が存在するため、生成する画像の解像度を向上することができる*7)


脚注

※4…A. Isaksen, L. McMillan, S. J. Gortler. Dynamically reparameterized light fields. Proc. ACM SIGGRAPH 2000, pp.297〜306, 2000

※5…M. Okutomi, T. Kanade. A multiple-baseline stereo. IEEE Trans. PAMI 15(4), pp.353〜363, 1993

※6…N. Joshi, W. Matusik, S. Avidan. Natural video matting using camera arrays. ACM Trans. Graphics 25(3), pp.779〜786, 2006

※7…T. Bishop, S. Zanetti, P. Favaro. Light field superresolution. Proc. IEEE International Conference on Computational Photography, 2009


Copyright © ITmedia, Inc. All Rights Reserved.

RSSフィード

公式SNS

EDN 海外ネットワーク

All material on this site Copyright © ITmedia, Inc. All Rights Reserved.
This site contains articles under license from AspenCore LLC.