当社は、2023年11月15日から17日にパシフィコ横浜で開催された「Edge Tech+2023」に販社のアヴネット様のブースにおいて、デモ展示にご協力させていただきました。天気がすぐれない状況でしたが、主催者の会期結果報告によりますと、3日間で33,128名の方が来場されたとのことで、非常に大盛況でした。
当社OKIアイディエスは、昨年度末から、販社であるアヴネット様が提唱されているFPGAベースのAIエコシステムの枠組みに参画し、「Edge Computing Platform」というコンセプトのもと、活動をしてまいりました。「Edge Computing Platform」のコンセプトは、簡単に言えば、システムレベルの開発において、前段処理、後段処理に配置したものを、性能や消費電力やリソースに合わせ、機能を再配置しながら最適化を行う。という考え方です。つまり、共通ツールの利用、開発環境のプラットフォーム化を行います。これにより、開発中はもちろん、製品リリース後にサービスとして、機能再配置、最適化して提供することも可能となります。このコンセプトのもと、私たちOKIアイディエスは、アヴネット様ブースの「Avnet Edge Computing Platform」のカテゴリにデモを3点ほど用意し、展示させていただきました。
「Avnet Edge Computing Platform」カテゴリの展示状況
① 10GigE 4K60fps Vision Camera Platform
② AIエッジ向けAIモデル軽量化、最適化ソリューション
③ Robotics Platform (じゃんけん AI)
1つのソリューションとして着目したのが、生産ラインでの活用をイメージした“FAカメラシステム”です。
OKIアイディエスは、マシンビジョン規格のひとつである「GigE Vision® IP」を保有しており、当時、AMD社がエッジAI向けに上市したKria™ K26 SOMに実装した実績があります。この時、入力系はWeb会議などで使っているUSBカメラ(FHD30fps)でしたが、FAラインをイメージし、4K60fpsのGigE Vision カメラシステムをAIエッジデバイスKria™ K26 SOM(System On Module)にて実現することに取り組みました。Kria™ K26 SOMを搭載したKria™ K260 ロボティクススターターキットには、多画素高速イメージセンサー向けの高速インターフェース規格であるSLVS-ECというインターフェースが搭載されています。そこで、同じくエコシステムに参画されていて、産業用イメージングシステムの開発から製造、販売を手掛け、SLVS-EC対応の5Mpixカメラと、SLVS-EC IP を保有されているCIS様とタッグを組み、推進し、完成させることができました。
以下に、デモ構成と、その構造図を示します。
デモの内容としては、前述しましたように、FAのラインをイメージしております。
生産ラインでの製品検査カメラから入力された製品画像を、前工程であるカメラ側で処理を行い、マシンビジョン用途で広く使われている「GigE Vision®」で高速伝送します。カメラ用「SLVS-EC Receiver IP」と、高速画像送信用「GigE Vision V2.0 Tx IP」の2つのIPを、Kria™ K26 SOM へ実装する必要があります。また、下記構成図にある“User Application”部にて、AI処理を行うことも想定ですので、DPUのリソースも確保しておく必要があります。エッジAI向けのKria™ K26 SOMには、FPGA/SoCが搭載されていますが、この容量は比較的少ないため、最適に実装する必要があります。このFPGA/SoCへの実装は、当社の最も得意とする部分です。(その実績から、当社はAMD社のプレミア ソリューション メンバーに認定されております)リソース的な部分はCIS様のご協力もいただき、実装することができました。
① デモ構成
① 構成図
カメラとモニター部をもう少し拡大します。
5Mpixのカメラで、被写体として基板(Kria™ K260)を撮影、その画像をモニターに表示しました。
専用のアプリにて、実際の伝送状況モニターし、60fpsが安定して出せていることを、ご覧いただきました。
今回、AI処理は実装しないベーシックな“GigE Vision®カメラプラットフォームの形態で展示しましたが、もちろんAI処理を組み込むことも可能です。ご興味ありましたら、お気軽にお問い合わせください。
2つ目のデモは、当社OKIアイディエスで最も注力しており、他社と差別化ができると考えているOKI独自のAIモデル軽量化技術「PCAS(Pruning Channels with Attention Statistics)」を使ったデモです。
以下に、デモ構成と、その構造図を示します。
USBカメラ(30fps)にてリアルタイム映像を取得し、物体検知を行うAIモデル「YOLOv4」にて推論を実施。認識した物体にバウンディングBOXおよび、その「信用度(※1)」を表示する画像処理を行いました。この物体検知を行うAIモデルを、AIモデル軽量化技術「PCAS」にて任意の圧縮率で軽量化を行い、AMD社のFPGA/SoC高速化プラットフォーム「Zebra™」にて、AMD社の最新アクセラレータカード ALVEO™ V70に実装した状態をデモンストレーションしました。
(※1)信用度:AIの出力結果が物体の検出にどれだけ自信を持っているかの指標
② デモ構成
② 構成図
今回の展示では、モデルを最大に軽量化し、下の写真にあるようにフレームレート30fps以上を出すことができました。
ここで、“軽量化”は、“認識精度”に影響はあります。影響はあるのですが、お客様の開発したいアプリケーションで、どの程度の認識精度が必要かの見極めが重要と考えます。影響がある=使えない ではなく、上流工程で見極めを行い、仕様に落とし込むことにより、評価ターゲットの絞り込み、開発期間の短縮が期待できると、私たちは考えています。
また、認識精度影響がアプリケーションとして許容できた場合、軽量化の効果はFPGA/SoCのダウンサイジングにも効くと考えられますので、エッジ向けに展開されているFPGA/SoCに高度AIを搭載できる可能性もあると考えています。
AIモデルを軽量化したいと考えていらっしゃる方、ご興味のある方は、是非ご相談ください。
モデル軽量化技術「PCAS」
ここで、AIモデルの軽量化のイメージを図示します。
PCASは、モデルプルーニング技術の一種で、AIモデル内に存在する不必要な演算(ニューロン)を特定・削減します。小型モデルの挿入・最適化に基づいて、軽量化対象の各畳み込みレイヤーを含むニューロンの重要度の推定、および削減を行うことで、認識精度を最大限維持しつつ、効果的にモデルを軽量化します。その結果、推論処理の高速化 と メモリー使用量/消費電力の低減 を実現します。
AIモデル軽量化「PCAS」のイメージ
FPGA/SoC高速化プラットフォーム「Zebra™」
Zebra™は、AMDの主力ソフトウェアプラットフォームです。AIプログラム(ニューラルネットワーク)に対する推論を行い、FPGAに実装することで高速な演算処理(ハードウェアアクセラレーション)が可能になります。GPUで学習したニューラルネットワークを1コマンドでFPGA/SoCで実行できることも大きな特徴です。
PCAS×Zebra™
当社OKIアイディエスでは、AI軽量化技術「PCAS」とFPGA/SoC高速化プラットフォーム「Zebra™」を組み合わせたAIモデルのFPGA/SoCへのアクセラレーション最適手法でお客様の開発の効率化、AI推論処理の高速化をサポートいたします。
この提案は、AIモデルの開発はGPUで、AIモデルの実装はFPGAで、とそれぞれのデバイスの特長を活かしてエッジAI開発を行うものになります。GPUはAIの開発で広く利用されており、一般的には、AIの開発がし易いと言われています。そのため、AIモデルの開発自体はGPUを利用して進めます。そして、装置への実装については、エッジAIで要求されているコンパクトさと高性能を実現するために、インタフェース含めた構成が可能で、他のデバイスよりも低遅延、低消費電力と言われているFPGA/SoCに対して行う、という提案です。異なるデバイスへのAIモデルの実装の際、重要なポイントとなりますのが、独自のAIモデルの軽量化技術「PCAS」とAMD社のFPGA/SoC高速化プラットフォーム「Zebra™」を組み合わせたAIのFPGA/SoCへのアクセラレーション最適化手法になります。
6月に開催された「ものづくりワールド」、10月に開催された「AI・人工知能EXPO秋」に引き続き、今回も出させていただきました。お客様と「じゃんけん」勝負するシンプルなデモです。お客様が出した手(「グー、チョキ、パー」)をAI推論し、ロボットハンドが必ず勝ちます!(笑)今回も、「ロボットハンドのデモがあるのを聞いて来た!」という方が多数いらっしゃり、その関心度の高さをあらためて感じました。
以下、上記展示会レポートと重複する内容となりますこと、ご容赦願います。
このデモは、ROS2(Robot Operating System 2)にて制御系を構築しました。ROS2はロボット開発のプラットフォームでロボットを動かすためのライブラリが用意されています。応答性が向上する効果も確認できました。
また、同じデモですが、Kria™ K26 SOM、Kria™ K24 SOMの2種類のSOM(System On Module)を並べて展示しました。Kria™ K24 SOMは、23年9月にラインナップされた最新製品(AMD社)です。当社は、AMDの「Premier Solution Partner」に認定されており、この最新製品をいち早く入手し、実装いたしました。
<参考>
Kria™ K26 SOM/Kria™ K24 SOM サイズ比較
Kria™ K26 SOMの特徴
Kria™ K24 SOMの特徴
ここからは、Kria K240版でのデモ形態でご紹介いたします。
デモの構成は、下記の写真に示すように、主要アイテムは、USBカメラ、ロボットハンド、そしてAIエッジ向けのデバイス「Kria™ K240 (AMD製)」だけです。
③ デモ構成
実際に見ていただいたほうがイメージ掴めると思いますので、是非動画をご覧ください。(40秒弱の動画です)
ご覧いただけたでしょうか?デモの内容をもう少しご説明します。
「Edge Computing Platform」のコンセプトは、年間を通してアヴネット様、CIS様とキャンペーンを行ってまいりました。
そして、この「Edge Tech+2023」への出展。アブネット様、CIS様と共にひとつのものを産み出すプロセスは非常に良い経験となりました。そして、本当に大きな反響をいただいてきているなと実感します。
一方、「AIは使いたいんだけど」、「何からして良いかわからない」・・・まずは情報収集という方が、多数いらっしゃいます。今回のようなエコシステムの枠組みで、その壁を下げていき、まずは「できるかも!」に変わっていただけるように、引き続き活動していきたいと思います。
当社は設計・受託会社です。お客様の「こんなAIを搭載した商品を開発したい」、「AIを使ってみたいんだよなぁ」などのご要望の具現化のお手伝いをさせていただいております。お気軽にご相談ください。
そして、Edge Tech+に出展させていただいた①10GigE 4K60fps Vision Camera Platformの内容を、当社Webセミナーにてご紹介いたします!
開催日時:12月13日(水) 14時~15時
皆様の、お申し込みを心よりお待ちしております。
本展示、デモに関するご質問、ご相談ございましたら、お気軽にお問い合わせください。