製品
HDR ISP IP スイート
Xylon（ザイロン）社のlogicBRICKSハイダイナミックレンジ・イメージプロセッシングパイプラインIPスイートは、車載カメラなどの光条件が目まぐるしく変化する厳しい状況においても、鮮明なカメラ映像を実現します。
1つのIPで複数チャンネルに対応可能。自動車、監視、医療、ビジョンAI等のアプリケーションでご活用いただけます。
概要
小型の AMD Artix™ 7 FPGA から、最新の AMD Versal™ Adaptive SoC デバイスまで、AMD社 のプログラマブル デバイス向けに設計、最適化済。
- logicBRICKS HDR ISP IP スイートは、主要なIPコアであるlogiISP-UHD ISP パイプラインとlogiHDR パイプラインで構成されています。（ザイロン社のサイトへリンクします）
- HDR ISP IP スイートに加えて、評価キット一式、設計サービスもご提供可能です。
- Auto-White Balance（AWB）とAuto-Exposure（AE）は、オプションのlogiISP-2Aソフトウェアライブラリバンドルとしてご提供可能です。
- HDR ISP IP スイート は、AMD Vitis™ 統合ソフトウェア プラットフォームに対応しています。
ISP（Image Signal Processing）について
ISP（Image Signal Processing） はデジタルカメラ、監視カメラ、医療機器、車載カメラ等、画像を使用した認識、検出等の処理、または画像の表示を行う様々な機器、製品に使用されています。
このような撮影機器において、CMOSセンサーからの生のデータ（RAWデータ）のままでは、人間の目で見るような画質、色調の画像には程遠く、また認識や検出などの目的に必要な画質を確保することはできません。そこで、このRAWデータに対してイメージシグナルプロセッシング（ISP）と呼ばれる画像処理が行われます。
このISP処理を経てはじめて、人の目から見ても自然で高品質な画像の表示や、認識、監視、検出などの目的に合った画質の画像の出力が可能になります。
ISPのパイプラインについて
ISPはパイプラインと呼ばれる、異なる複数の処理ブロック（画像処理ステップ）から構成されています。
一般的なパイプラインの例：
- レンズ補正：レンズの歪みや色収差（色のにじみ）を補正し、画像の歪みや色のズレを修正
- デモザイク処理：センサーの各ピクセルは赤、緑、青（RGB）のうち1つのみを記録するため、各ピクセルに隣接するRGB情報を参照して、欠けている色の補完処理を行いカラーに見えるようにする
- ノイズリダクション：空間的ノイズ、色ノイズ、ランダムノイズを含む、長時間露光等で増加するノイズを低減
- ガンマ補正：ガンマ曲線を適用することで、画像のコントラストや輝度を調整し、人の視覚特性に合わせて明暗を調整
- カラー補正：色域を調整し、カメラセンサーの応答を人の視覚に近づける
- ホワイトバランス調整 : 色温度を調整し、異なる光源下でも人の見た色に近い色味に補正
ザイロンのHPR ISPパイプラインについて
以下の図は、ザイロン社のISPのパイプラインの一例です。ザイロン社のISPは処理ブロック単位で選択し、必要に応じて組み替えて使用することが可能です。
ザイロン社のHDR ISP パイプラインは様々な方法で、柔軟に調整することができます。
- Vivado GUIを使って、複数の処理ブロックを結合し様々なカスタムパイプラインを構成可能
- 実装する前にVivado GUIを使って各ブロックの構成パラメータを定義可能
- ソフトウェアにより、実装されたパイプラインを制御し、レジスタの変更も可能
- AWBとAEは、ザイロン社のソフトウェアライブラリ（IPの統計データに基づく）、またはお客様のAWB,AEも使用可能
RGB-IR
RGB-IR技術は、一つのセンサーのみでカラー画像、赤外線画像の両方に対応できる技術です。
このRGB-IRの機能が、ザイロン社のISPソリューション HDR ISPパイプラインのオプションとして新たに追加され、 RGB-IRセンサーに対応できるようになりました。
上記のデモでは、 RGB-IR センサー（OMNIVISION社製）を備えた、5Mpixカメラ（Leopard Imaging社製、写真右側）からの 入力を取り込んでいます。この入力ストリームを、下の図のようなザイロン社のHDR-ISP処理によって、カラーのRGBビデオストリームと、モノクロのIRビデオ ストリームに分離し、それぞれモニターの左右に並べて表示しました。
以下の図は、RGB-IRセンサーからのストリームを、RGBとIRに分離、変換する際の処理イメージを示しています。
RGB-IR センサーからのストリーム処理のイメージ
以下の画像は、（左から） ①イメージセンサーのRaw画像と、②ザイロン社のHDR-ISP処理によって分離、変換したIRビデオ、③RGBビデオ をそれぞれ示しています。
RGB-IRの適用例：
- DMS（ドライバーモニタリングシステム）はIR ビデオ ストリームで実行して運転者の行動を監視
- OMS（同乗者監視）はRGBビデオストリームで実行し車内を監視
といった使い方が想定できます。このような映像の要件が異なる2つのアプリケーションにおいて、今まで2台のカメラが必要だったところを、1台のカメラのみで実行できるようになります。 従来のDMSに加え、表情や顔色により健康状態を監視したい場合等にも、RGB画像の活用が想定できます。
ザイロン社が2024年6月にドイツで開催されたADAS & Autonomous Vehicle Technology Expoにて、RGB-IRの展示を行った際のデモの動画です。ぜひご覧ください。
OKIアイディエスは、HDR ISP IP スイートにおいて、お客様のご要望に合わせたパイプライン、オプションのご提案を行い、ご希望に沿った画作りができるようサポートいたします。
- 当社は、ザイロンのソリューションをお客様製品に組込むサービス「車載組込みソリューション」をご提供しております。
車載組込みソリューションのページも合わせてご覧ください。
車載組込みソリューション
HDR ISP IPスイート、その他ザイロン社のソリューションについては、以下よりお気軽お問い合わせください。
- お問い合わせ
- お問い合わせフォームはこちら
- ※記載されている会社名、製品名は、各社の商標または登録商標です。
- ※ここに記載されている仕様、デザインなどは予告なしに変更する場合があります。
- PDFの閲覧にはAdobe Readerが必要です。Adobe社のサイトからダウンロードしてください。
