ソニーとソニー木原研究所は、カラー動画の撮像とリアルタイム3次元計測を１チップで行うことができるCMOSイメージセンサー"Entertainment Vision Sensor（エンタテインメント ビジョン センサー）"を共同開発しました。また、それを用いた3次元計測システムを同時に開発しました。
なお両社は、本技術を、2月6日に米国サンフランシスコで開催されたISSCC（International Solid-State Circuits Conference ： 国際固体回路会議）で発表しました。

これまでの3次元計測用センサーは、主に距離情報のみを検出する単機能のものが中心でした。今回共同開発した"Entertainment Vision Sensor"は、1チップでカラー動画像と3次元距離情報の両方を、毎秒15フレームまたは30フレームで取得可能な高機能CMOSイメージセンサーです。これら動画像と距離情報を同時に利用することにより、画像認識、物体認識、動き検出など、これまで外部に複雑な情報処理を必要としていた機能を小規模なシステムで実現することができます。これにより、PC、ゲームなどのユーザーインターフェースや3次元モデリング、ロボットの障害物検知・人物検知、セキュリティーシステムの個人認証、TV電話の画像抽出機能など、様々な分野において多様なアプリケーションを提供します。

両社では、2001年のISSCCにおいて、白黒動画撮像と3次元計測機能を搭載したCMOSイメージセンサーを試作、発表しています。この白黒CMOSイメージセンサーでは、画像処理と3次元計測演算を行う回路を、各画素内に配置していたため、チップサイズの大型化、消費電力の増大など、民生用への応用に課題がありました。
今回開発した"Entertainment Vision Sensor"は、画像処理部と3次元計測処理部の独立配置、"DRSCAN"方式の採用、「カラムパラレルプロセッシングアーキテクチャ」の採用により、カラー画像の高画質化やチップサイズの小型化、低消費電力化などを実現しています。

Entertainment Vision Sensorの応用例

主な特長

• 動画像撮影と高精度リアルタイム距離計測を1チップで実現
  カラー動画像の撮影機能と被写体までの距離計測機能を1つのチップで可能にします。画素部と3次元計測演算回路を高速動作させることにより、光切断法に基づく高精度な距離計測をリアルタイム（毎秒15フレームまたは30フレーム）で実現します。
• 高画質化・低消費電力化の実現
  画像信号処理部と3次元計測演算部をチップ内にて独立して配置することにより、それぞれの機能に対して最適な信号処理方式の採用が可能となります。画像信号処理部には、固定パターンノイズを効果的に除去するソニー独自のノイズキャンセル方式"DRSCAN"を搭載、高画質化を実現しました。3次元計測には、演算回路を垂直画素列毎に共有する「カラムパラレルプロセッシングアーキテクチャ」を採用しています。これにより、画素サイズを昨年試作した白黒CMOSイメージセンサーに対し1／20に縮小、チップサイズの小型化や多画素化を可能にします。また、消費電力も1／5以下に削減することが可能となり、民生用への応用の可能性を広げました。

• ＊光切断法とは、スリット状の光を被写体に照射したときに生じる、被写体の形状に対応した反射光の変形を観測することにより、三角測量の原理で被写体の形状を捉えて奥行情報（距離）を求める手法。

• ＊Entertainment Vision Sensor（エンタテインメント ビジョン センサー）、DRSCAN（ディーアールスキャン）は、ソニー(株)の商標です。

主な仕様