【Unite Tokyo 2019】Unityで手軽に使えるAIエンジンailia SDK

Unityで⼿軽に使えるAIエンジン「ailia SDK」 Unite2019 株式会社アクセル 品部 仁志 株式会社アクセル

アジェンダ n はじめに：ディープラーニングで何が出来るか？ n ailia SDKについて n ailia SDKを使うと何が変わるのか n ailia SDKが提供する価値 n ailia SDK 詳説 n デモンストレーション 2

アジェンダ n はじめに：ディープラーニングで何が出来るか？ n ailia SDKについて n ailia SDKを使うと何が変わるのか n ailia SDKが提供する価値 n ailia SDK 詳説 n デモンストレーション 3

ディープラーニングとは 4 ディープラーニングはニューラルネットワークによる多層の学習・推論を挿す 画像はCNN（Convolutional Neural Network）で扱う ⼊⼒画像に対して畳み込みと平均化を繰り返すことで物体を認識する 重み係数とネットワーク構成を変えることで認識対象や⽤途を切り替えることができる 出展：VGG in TensorFlow

ディープラーニングで何が出来るか？ 物体検出 5

ディープラーニングで何が出来るか？ 顔認識 / 性別・感情・表情推定 6

ディープラーニングで何が出来るか？ 特徴量の⽐較 7

ディープラーニングで何が出来るか？ 2D画像からの⾻格検出 8

ディープラーニングで何が出来るか？ 開発・制作⼯程でのディープラーニング活⽤の例 Ø ⾃動アセット分類・カテゴライズ・絞り込み ü 画像・サウンドなどの膨⼤なアセットを⾃動分類して開発を効率的に Ø ⽣成系（画像・テクスチャ・サウンドほか） ü 画像やテクスチャ、サウンドのバリエーションをAIで⽣成する ü ステージ・マップ等のバリエーション⽣成 Ø デバッグ ü 異常画⾯検知や⾃動プレイなど 9

アジェンダ n はじめに：ディープラーニングで何が出来るか？ n ailia SDKについて n ailia SDKを使うと何が変わるのか n ailia SDKが提供する価値 n ailia SDK 詳説 n デモンストレーション 10

ディープラーニングフレームワーク「ailia SDK」 「ailia SDK」とは 推論⽤ディープラーニングフレームワーク 「ailia SDK」 https://ailia.jp/ エッジ端末（機器側）でディープラーニング推論を実⾏するミドルウェアです 11

• https://ailia.jp/

ディープラーニングフレームワーク「ailia SDK」 「ailia SDK」for Unity software ailia SDKはUnity向けのプラグインを提供しています (Unity Package 形式) 12

⽬次 13 n はじめに：ディープラーニングで何が出来るか？ n ailia SDKについて n ailia SDKを使うと何が変わるのか n ailia SDKが提供する価値 n ailia SDK 詳説 n デモンストレーション

従来のワークフロー（クラウドで学習・推論） 1．クラウドで学習 14 2．クラウドで推論 Keras Chainer Keras Chainer Pytorch TensorFlow Pytorch TensorFlow 3．デバイスでInput/結果を送受信

従来のワークフロー（クラウドで学習・推論） l よくある問題点 ・エッジ機器に常時インターネット接続が必須 ・リアルタイム画像認識だと通信容量が膨⼤ ・ネットワークが切れたときの動作の担保 ・サーバーでの推論が⾼コスト 15

従来のワークフロー（クラウドで学習・エッジ側で推論） 1．クラウドで学習 16 2．クラウドで推論（精度検証） Keras Chainer Keras Chainer Pytorch TensorFlow Pytorch TensorFlow モデルファイルを エクスポート 4．デバイスで推論を実⾏ 3．エッジ推論アプリの開発 モデルファイル

従来のワークフロー（クラウドで学習・エッジ側で推論） l よくある問題点 ・アプリ開発向けのDNNフレームワークが無い ・AIモデルの変換に失敗する ・AIモデルの容量が⼤きすぎる・資産性が⾼い ・対象機器・構成に制限がある ・推論実⾏が重い ・実機でしか動作確認できない ・そもそも上⼿く動かない 17

ailia SDKのワークフロー（クラウドで学習・エッジ側で推論） 1．クラウドで学習 18 2．クラウドで推論（精度検証） Keras Chainer Keras Chainer Pytorch TensorFlow Pytorch TensorFlow Caffemodel/ONNX エクスポート 4．デバイスで推論を実⾏ 3．ailia SDKでエッジ推論アプリの開発 Caffemodel/ONNX モデル

ailia SDKのワークフロー（クラウドで学習・エッジ側で推論） l ailia SDKを利⽤すると・・・ ・AIモデルを統⼀フォーマットで管理 ・AIモデルの圧縮・難読化ができる ・ailia SDKのライブラリ”だけ”で実⾏可能 ・あらゆる機器でクロス開発・アプリ配布可能 ・GPUをフル活⽤した⾼速推論処理 19

ailia SDKのワークフロー（クラウドで学習・エッジ側で推論） 20 ailia SDKなら全ての問題を解決 クリエイティブ・課題解決に集中できる環境へ

⽬次 21 n はじめに：ディープラーニングで何が出来るか？ n ailia SDKについて n ailia SDKを使うと何が変わるのか n ailia SDKが提供する価値 n ailia SDK 詳説 n デモンストレーション

22 ailia SDK が提供する価値（1）

23 世界最⾼⽔準の ⾼速エッジ推論プラットフォーム

世界最⾼⽔準の”⾼速エッジ推論“プラットフォーム 24 l 「ailia SDK」は世界最⾼⽔準の⾼速なエッジ推論環境を提供します ü 完全⾃社開発による全プラットフォームへのGPU処理実装・最適化 ü 継続した⾼速化・レイヤ実装 YOLO tinyにおける推論速度 0 0.5 1 1.5 2 2.5 3 3.5 Windows Mac Android TensorFlowLiteの3倍の性能（iOS） iOS Tensorflow / TensorflowLite ailia SDK ※2019年7⽉ 当社調べ

25 ailia SDK が提供する価値（2）

26 ディープラーニングシステムの 「ハードウェアの選択肢」

ディープラーニングシステムの「ハードウェアの選択肢」を提供 27 l 「ailia SDK」はあらゆるプラットフォームへライブラリを提供します ü 完全⾃社開発による継続的な開発・アップデート ü あらゆるプラットフォームへライブラリ提供 Windows Linux MacOS Android Embedded System 標準対応 iOS FPGA AI edge chip オプション

28 ailia SDK が提供する価値（3）

29 最も快適・安⼼・効率的な開発環境

最も快適・安⼼・効率的な開発環境 30 l 「ailiaSDK」は最も快適・安⼼・効率的なエンジニアリング環境を提供します ü 共通したAPI 、Unityプラグインなどのクロス開発環境（C++/C#/Python など） ü 共通のAIモデルの読込で全プラットフォーム動作可能（ caffemodel / ONNX ) ü 単体ライブラリで動作する依存性の低さ ü ⼀貫したAPIを⻑期間にわたって提供（⻑期的な動作互換性） ü 当社許諾のみでアプリ同梱可能なライセンス ü AIモデルの圧縮・難読化（保護） ü 綿密な低レイヤサポート

⽬次 31 n はじめに：ディープラーニングで何が出来るか？ n ailia SDKについて n ailia SDKを使うと何が変わるのか n ailia SDKが提供する価値 n ailia SDK 詳説 n デモンストレーション

ワークフロー 32 / ONNX )

ailia SDK のアーキテクチャ 33 Keras, Darknet, Caffe, Chainer 学習、係数変換 Pretrained Model CaffeModel, ONNX C++, C#(Unity) ailia classifier API VGG16, InceptionV3, ResNet アプリ開発 ailia detector API YOLOv1, YOLOv2 フレームワーク ailia predict API RenderScript (Android) C++ AMP (Windows) Metal (iOS, Mac) IntelMKL, OpenBLAS AVX, NEON GPU GPU GPU CPU CPU OpenVX (*) アクセラレータ FPGA/ASIC (*) OpenVXは開発中、OpenCLにも対応予定

API概要 ・AILIA : DNNコアライブラリ ・AILIA Utility : ユーティリティクラス ・AILIA detector : 物体検出ライブラリ（YOLO等） ・AILIA classifier : 画像分類ライブラリ（ImageNet等） ・AILIA feature extractor : 特徴抽出ライブラリ（画像検索等） ユーティリティクラスを使⽤することで、ディープラーニングの知識不要で物体検出が 可能。また、⼿間の掛かる前処理・後処理を省略可能 34

AILIA predict API 35 CONFIDENTIAL モデル（重み係数）を読み込んで⼊出⼒形式を取得した後、Predictを実⾏す ることで推論が可能

AILIA classifier , detector API 36 CONFIDENTIAL 物体識別タスクおよび物体認識タスクにおいて、⾯倒な前処理と後処理を⾃動化 簡単なコードで物体認識が可能

重み係数の圧縮 37 CONFIDENTIAL 独⾃の重み圧縮アルゴリズムを搭載 量⼦化とエントロピー符号化を合わせて概ね1/3程度まで係数列を圧縮可能 重み係数圧縮の効果 100% 80% 無圧縮 60% QP=16 40% QP=12 20% 0% LeNet Tiny Yolo

38 CONFIDENTIAL 対応レイヤー 以下のレイヤーに対応 プロプライエタリなため未対応レイヤーの追加もサポート可能 Conv, ConvTranspose, MaxPool, AveragePool, GlobalMaxPool, GlobalAveragePool Relu, LeakyRelu, Sigmoid, TanH, Lrn, PRelu SoftMax, BatchNormalization, InstanceNormalization Flatten, Transpose, Data, Constant, Dropout, Clip, Add, Sub, Div, Mul, Sum, Min, Max Gemm, Matmul, DepthToSpace, Reshape, Concat, Flatten, Gather Tile, Cast, Ceil, Floor, Round, Exp Pad, Resize, Shape, Slice, Squeeze, Unsqueeze ReduceMin, ReduceMax, ReduceMean, ReduceProd, ReduceSum, ReduceSumSquare NonMaxSuppression

39 CONFIDENTIAL 対応ネットワーク 以下のネットワークに対応 プロプライエタリなため未対応ネットワークの追加もサポート可能 AlexNet InceptionV3 XceptionV1 VGG16 LeNet SqueezeNet MobileNet YOLO v1,v2ʻ（v3対応中） ResNet SRResNet

アジェンダ n はじめに：ディープラーニングで何が出来るか？ n ailia SDKについて n ailia SDKを使うと何が変わるのか n ailia SDKが提供する価値 n ailia SDK 詳説 n デモンストレーション 40

41 Unityを使ったデモンストレーション

ディープラーニングフレームワーク「ailia SDK」 まとめ l ailia SDKを使⽤することでクロスプラットフォームでGPUを使⽤し た⾼速推論が快適に開発可能 l 依存関係の少ないライブラリでアプリに組み込み再配布可能 l Unityに対応しておりAIを使⽤したアプリケーションを簡単に開発可能 l ⼦会社のax株式会社ではコンサルティングからモデル作成、SDKの 提供、サポートまで、 AIに関するトータルソリューションを提供し ます 42

43 Q&A

44 ご清聴有り難うございました アクセル（AXIP）ブースでもお気軽に ご相談承りますので是⾮お越し下さい

会社概要 45 株式会社アクセル ・東証⼀部（ 証券コード：6730 ） ・本社：東京都千代⽥区、設⽴：1996年 ・代表者：松浦⼀教 ・資本⾦：1,018百万円 研究開発型ファブレス半導体メーカー グラフィックスLSIを主⼒とするLSI及び応⽤機器の開発･販売 パチンコ・パチスロ機（遊技機器）市場向けが主⼒ 秋葉原UDX 10階

主要な製品 46 パチンコ・パチスロ機市場向け n グラフィックス LSI 組み込み機器市場向け n グラフィックス LSI n LEDドライバ LSI nメモリモジュール その他 n 開発評価基板 n ミドルウェア製品 （ゲームアプリ等向け）

アクセル グループ紹介 ax株式会社 ( https://axinc.jp ) ・AI に関するコンサルティング・アプリ開発 ・ミドルウェア(AXIP)の販売 ・ailia SDK の開発、販売 ・⼦会社（アクセル孫会社）としてbitcraft社、MotionPortrait社を保有 47

• https://axinc.jp

アクセル グループ⼀覧 VIPPOOL株式会社 48 ( https://corp.vippool.net ) ・暗号通貨マイニングプール運営 ・ブロックチェーンアプリケーションの開発 ・ブロックチェーン向けハードウェア開発（HWウォレット等）

• https://corp.vippool.net