Tech Blog
OKIアイディエスのアプリがAMD社のKria™ Appストアに掲載されます！
小野です！
よろしくお願いします！！
よろしくお願いします！！
こんにちは、小野です。
今回は特別な発表があり、緊急でブログ記事を書かせていただきました。
では、ボス、緊急発表をお願いします！
では、発表します。
OKIアイディエスはAMD社のKria™向けアプリケーションを開発しました！
おお～！（ぱちぱちぱちぱち）
そして！このアプリケーションがAMD社のKria アプリストアに掲載すべく準備中です！！
おおおお～！！
ところでKria アプリストアって何でしたっけ？
ところでKria アプリストアって何でしたっけ？
おっと、Kriaアプリストアをご存じでない？Kria SOMの開発や評価に役立つビルド済みのアプリケーションが多く提供されています。以前に“ROS2パーセプションノードアクセラレーションアプリケーション”も取り上げたことがありますよね。
覚えていますよ！
あ、Kriaアプリストアにこのアプリケーションも掲載されているんですよね！
あ、Kriaアプリストアにこのアプリケーションも掲載されているんですよね！
- Kria アプリ ストア：
https://www.amd.com/ja/developer/resources/kria-apps.html#tabs-94bc191069-item-2a41a7b2cd-tab
他にもビジョン系やロボティクス系のアプリケーションが多く、中にはAIのアプリケーションもあります。
当ブログでおなじみのKV260™、KR260™、KD240™といったスターターキットに簡単に実装して評価を行うことができるんです。
当ブログでおなじみのKV260™、KR260™、KD240™といったスターターキットに簡単に実装して評価を行うことができるんです。
つまり、Kria SOMを使ったアプリケーション開発の足掛かりになるということですね。FPGAの開発はよくハードルが高いと言われるので、こういったものがあると開発の敷居も下がりますね。
ちなみに、日本企業が開発したKria SOM向けの
アプリケーションがKria アプリストアに掲載されるのは、AMDプレミアパートナーであるOKIアイディエスが初めてになるようです。
アプリケーションがKria アプリストアに掲載されるのは、AMDプレミアパートナーであるOKIアイディエスが初めてになるようです。
初めてなんですか！？
そうなんです。初めてとなれば、気合も入ります！
“10GigE 4K60fps Vision Camera Application”
それで！
今回開発したアプリはどのようなアプリなんですか？
今回開発したアプリはどのようなアプリなんですか？
“10GigE 4K60fps Vision Camera Application”です。
カメラを使った画像処理のデモアプリケーションなんですね。でも、この名前、以前にも聞いた気がするなぁ…。
実は去年11月に開催されたEdgeTech+という展示会のデモとして開発したものなんです。開発時期は去年の10月あたりです。
思い出しました！
アヴネット様のブースでデモ展示させていただきましたね。あの時の…！
アヴネット様のブースでデモ展示させていただきましたね。あの時の…！
そう！このデモはアプリストアからインストールして試すことができるようになります。これにより、より多くの方がこのデモを体験できるようになるんです。
しかも、我社の“アレ”が入っています…。
しかも、我社の“アレ”が入っています…。
“アレ”…。“アレ”ですか…？
そうです。
今年リニューアルした“10G iGiGE™ IP”です！
そんなわけで、今回は気合を入れて開発しましたので、
多くの方に知ってもらいたいと思います。
改めて紹介させてください。
今年リニューアルした“10G iGiGE™ IP”です！
そんなわけで、今回は気合を入れて開発しましたので、
多くの方に知ってもらいたいと思います。
改めて紹介させてください。
それでは、詳しい解説をお願いします！！
まずはハードウェア構成から見てみましょうか。
デモ全体構成
5.1Mpix CameraとKR260を接続
KR260 から PC（10GNIC実装）へ接続
●ハードウェアリスト
- Kria™ KR260 スターターキット ×1
- CIS社製カメラDCC-5SLEC1R＋Cマウントレンズ ×1
- PC ×1
- NICカード（10GE） ×1 推奨NIC：Intel製（X520-DA2、X710-DA2）
- 光ケーブル（LANケーブル） ×1
- 光トランシーバ（SFP+） ×2 推奨モジュール：10G Tek “AXS85-192-M3”
- モニタ（HDMI）
- HDMIケーブル
- ※セットアップ時にキーボード、マウスが必要
●PC条件
- CPU：x64 系 CPU（Core i7 以上）
- メモリー：16GB 以上
- OS：Ubuntu 18.04.1 LTS x86_64（Kernel Version：4.15.0-32-generic）
今回使うのはKR260なんですね。そして、このカメラは…？
CIS社が提供しているSLVS-ECカメラを使います。SLVS-EC（Scalable Low Voltage Signaling with Embedded Clock）は、ソニーセミコンダクタソリューションズ社が開発した、多画素高速イメージセンサからFPGAへ画像データを送信するための高速インターフェースです。主に産業用カメラで採用されています。
ふむふむ。
つまり、このカメラは只者ではないってことですね。
つまり、このカメラは只者ではないってことですね。
そうです。画素数は5.1MPixで、これはいわゆるフルHD（200万画素）の2倍以上の解像度です。手のひらサイズでありながら、高画質なカメラとなっています。
では、アプリケーションのフローを見ていきましょう。
今説明していただいたように、カメラ映像はSLVS-ECの高速インターフェースを使用してKR260に送信されていますね。
今説明していただいたように、カメラ映像はSLVS-ECの高速インターフェースを使用してKR260に送信されていますね。
カメラで映像取得するときのフォーマットは何ですか？
YUV422です。カメラが対応しているフォーマットはRGBとYUV422の2種類あります。ところで、映像のフォーマットについてわかりますか？
RGBならわかるんですけど。。
RGBは、画像を構成する1ピクセルをRed、Green、Blueという光の三原色のパラメータで表すフォーマットです。それぞれの値は0～255の範囲で決まります。
つまり、1ピクセルを表すのに8bitずつ、合計で24bit必要なフォーマットです。
つまり、1ピクセルを表すのに8bitずつ、合計で24bit必要なフォーマットです。
それでも、24bitって多いんですね、ビット数で言うと少なく聞こえますが…。
それに対してYUVは、Y（輝度）、U（色差信号の青成分）、V（色差信号の赤成分）の3つのパラメータで1ピクセルを表します。
Y： 輝度信号（モノクロ）
U： 色差信号（B信号（青）から輝度Yを引いた値（B - Y） に定数を掛けた値）
V： 色差信号（R信号（赤）から輝度Yを引いた値 （R - Y） に定数を掛けた値）
つまり、明るさと純粋な色味を分けて表現しているんですね。YUVにはいくつか種類があると聞きます。その中で、RGBではなくてYUV422を採用したのには理由があるんですか？
理由は2つあって、1つは以前にKriaにiGiGEを実装した時に採用した画像フォーマットがYUV422でした。
実績があったということですね。
もう1つの理由も教えてください。
もう1つの理由も教えてください。
YUVはRGBに比べて画像の情報量を小さくすることができるんです。
たとえばYUV422ではUとVをそれぞれ4bitに減らすので、合計16bitになります。これをRGBと比較すると24bitから16bitなので2／3の情報量に圧縮できることになります。
たとえばYUV422ではUとVをそれぞれ4bitに減らすので、合計16bitになります。これをRGBと比較すると24bitから16bitなので2／3の情報量に圧縮できることになります。
なるほどなるほど。
YUV422では、以下のようなイメージで映像を表現します。
今回使用するカメラ映像のサイズは2472 × 2064となっています。
今回使用するカメラ映像のサイズは2472 × 2064となっています。
YUV422の表現の仕方がわかりました。
YUV422を使うと、どんなメリットがあるのでしょうか？
YUV422を使うと、どんなメリットがあるのでしょうか？
物体検知や異常検知などの検出アルゴリズムでは、輝度（Y成分）の情報が主に使われます。
それから、コーデックやISP（画像信号処理）などの
入力フォーマットにもYUV422が採用されています。
入力フォーマットにもYUV422が採用されています。
さすがボス！
つまり、後段の画像処理を考慮してYUV422を採用していたのですね。
つまり、後段の画像処理を考慮してYUV422を採用していたのですね。
YUV422についてはご理解いただいたところで、データフローに戻りましょうか。
黄色の四角で囲った部分に注目してください。
カメラで取得した映像をKriaが外部のPCへ送信する際、“アノ”IPが使われています。
カメラで取得した映像をKriaが外部のPCへ送信する際、“アノ”IPが使われています。
OKIアイディエスが開発した高速画像伝送ソリューション、“iGiGE™”ですね。“10G iGiGE™ IP”が送信側に使われているんですか。
そうです。送信側のKria SOM用と受信側のPC用、それぞれのIPをご用意しております。
もちろん、これも今回のソリューションデモに含まれています。
もちろん、これも今回のソリューションデモに含まれています。
そして“iGiGE™”によって、外部のPCへ映像が送信されてディスプレイに表示されるんですね。
Kria側が処理できる最大の画像サイズは3840x2160です。つまり、アプリケーションとしては4K映像を処理できるようになっていますよ。
また、転送レートは3.9Gbpsです。
また、転送レートは3.9Gbpsです。
最大転送レートの10Gbpsに対して余裕があります。
これならAIを実装して転送レートが上がっても十分に対応できそうですね。
これならAIを実装して転送レートが上がっても十分に対応できそうですね。
このデモは先日開催されたAMD社主催の展示会
“Adaptive Computing Summit”にも出展したんです。
その時に展示して動かしていたデモの様子をご覧ください。
“Adaptive Computing Summit”にも出展したんです。
その時に展示して動かしていたデモの様子をご覧ください。
時計の針、文字盤の裏にある細かなギアやパーツが動いている様子がよく見えています。
映像が止まることもなく、カクツキや乱れも全くなく、滑らかで鮮明に再生されていますね。
シンプルなデモですが、セキュリティカメラや工場の生産ライン、AIなど、さまざまな場面に応用ができそうです。
映像が止まることもなく、カクツキや乱れも全くなく、滑らかで鮮明に再生されていますね。
シンプルなデモですが、セキュリティカメラや工場の生産ライン、AIなど、さまざまな場面に応用ができそうです。
フレームレートは60fpsです。
そして、“iGiGE”のアピールポイントである低遅延でリアルタイムの映像伝送が実現できています。
送信側のKria SOM用と受信側のPC用、それぞれのIPをご用意しております。もちろん、これも今回のソリューションデモに含まれています。
そして、“iGiGE”のアピールポイントである低遅延でリアルタイムの映像伝送が実現できています。
送信側のKria SOM用と受信側のPC用、それぞれのIPをご用意しております。もちろん、これも今回のソリューションデモに含まれています。
全部まるまる入っているんですね。
まさに至れり尽くせりじゃないですか！でも、これって誰でも扱えるんですか？
これだけ入ってても、難しくて使い方がわかりづらくて、扱えない…なんてことはないですか？
まさに至れり尽くせりじゃないですか！でも、これって誰でも扱えるんですか？
これだけ入ってても、難しくて使い方がわかりづらくて、扱えない…なんてことはないですか？
もちろん、その点も考慮しています。
Kriaを扱ったことがない方でもインストールからデモのオペレーションができるよう、マニュアルや必要となるソフトウェアは全てご提供いたします。
Kriaを扱ったことがない方でもインストールからデモのオペレーションができるよう、マニュアルや必要となるソフトウェアは全てご提供いたします。
でも、お高いんでしょう…？
今回はデモ版ですので、このアプリケーションは無料でお試しいただけます！
えぇ！？！？タダなんですか？！？！
いいんですかタダで？！
いいんですかタダで？！
高画質映像を高速伝送したいという方に、少しでも多く知っていただきたいですからね。
確かに当社でもGigE Visionに関するお問い合わせを多数いただいています。GigE Visionの注目度はさらに上がってきていると感じています。
というわけで、小野さんもぜひやってみてください。
慣れていない方でもアプリケーションのインストールから実際に動かせるところまでできるか、被験者テストです。
慣れていない方でもアプリケーションのインストールから実際に動かせるところまでできるか、被験者テストです。
わかりました！
数時間後…
ボス！
実際にド素人のボクでも、マニュアルを見ながらこのアプリケーションをインストールして使用できました！
実際にド素人のボクでも、マニュアルを見ながらこのアプリケーションをインストールして使用できました！
ね、できたでしょ！
でも、わかりにくい部分もいくつかありました。
この部分とか、これとか、あそこと、それからそこも…。
この部分とか、これとか、あそこと、それからそこも…。
わかりづらい部分は修正して、より扱いやすく改良するようにします。
茶色の四角で囲った“User application”の部分に画像処理系のアプリケーションをさらに実装すれば、さまざまなことが可能になります。
画像処理AIを実装することも考えられますね。
画像処理AIを実装することも考えられますね。
その通りです。まさにその部分について、このアプリケーションを使って考えていただきたいのです。
たとえば、ボスが冒頭でお話ししていたような、生産ラインの製品の異常検知AIによってFA化（工場の自動化）をさらに進めることができそうですよね。
こういうシステムの導入は規模が大きくてハードルが高いと感じる方もいるかもしれません。ですが、Kriaとカメラ、受信用のPCがあれば、iGiGEによる高速画像伝送を実現できるんです。このシステムのコンパクトさもぜひ体感してもらいたいですね。
そして、当社が開発した“10GigE 4K60fps Vision Camera Platform”をベースに、次のステップに進みたいという方がいらっしゃいましたら、ぜひお気軽にお問い合わせください！
ところでボス、このアプリケーションはいつからKriaアプリストアに載るんですか？肝心の時期を教えてください！
グッドクエスチョン！2024年9月末を予定しています。具体的な日付が決まりましたら、またアナウンスしますね！
わかりました！
多くの人に使ってもらえるのが楽しみです。
多くの人に使ってもらえるのが楽しみです。
では、次のブログでお会いしましょう。
See you next time!
See you next time!
次回のブログ更新は10月を予定しています。
お楽しみに！
お楽しみに！
- お問い合わせ
- お問い合わせフォームはこちら
- ※記載されている会社名、製品名は、各社の商標または登録商標です。
- ※ここに記載されている仕様、デザインなどは予告なしに変更する場合があります。
