310 Views
February 25, 23
スライド概要
2023-02-25 .NETラボ勉強会の登壇資料です。
Microsoft MVP for Windows and Devicesです。WindowsやWindows PCの情報を発信しています。 マイクロソフト製品や技術をお伝えするポッドキャスト番組を配信しています。 https://www.youtube.com/@Windows-podcast/ https://windows-podcast.com/podcast/
Windows 11とNPUで 実現するWindowsのAI 2023年2月25日 .NETラボ勉強会 木澤朋和 Microsoft MVP for Windows and Device for IT windows-podcast.com
自己紹介 • 木澤朋和(きざわともかず) • 某メーカー系でエンジニアをやっています • Microsoft MVP for Windows and Devices for IT (2022/7~2023/6) • ブログの執筆 • ポッドキャスト番組の配信、動画(YouTube)の配信 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 2
ポットキャスト番組 • 「WoodStreamのデジタル生活」 • マイクロソフトの製品や技術をお話しする番組 • windows-podcast.com/podcast • 各種音声配信サービスとYouTubeで毎週配信 • 配信 13年 / 668回 Google Podcasts Spotify Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 3
YouTube • YouTube動画も毎週更新しています。 • https://www.youtube.com/@windows-podcast Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 4
ご注意 • 本セッションは2023年2月21日時点の情報からお話ししていま す。 • 今後、マイクロソフト及び各プロセッサメーカーの動向で 内容は変更されることがあります。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 5
本日の内容 • WindowsのAI機能にNPUがなぜ必要か? • 各プロセッサメーカーとWindowsの動向 • Windows Studio Effectsとは? • ニューラルネットコンピューティングとNPU • WindowsのAI機能の展開 • 各プロセッサメーカーの対応 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 6
Windows 11の Windows Studio Effects Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 7
Windows Studio Effects • 背景ぼかし • カメラに映っている人物の背景をぼかす。 • 人物の映像をリアルタイムに検出して、背景をぼかす。 • アイコンタクト(視線の補正) • カメラに映っている人物の「目」がカメラ目線になるように 映像を補正する。(次ページ) • 自動フレーミング • カメラに映っている人が移動するした場合に、人に合わせて画面の枠(フレー ム)を移動させ、常に人を追うようにする。 • 音声フォーカス • 「喋っている人の声」以外を除去する。近くにいる他の人の喋り声や騒音な どを除去して鮮明でクリアな音声を入力する。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 8
アイコンタクト • カメラ目線にする 画像:マイクロソフトより Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 9
自動フレーミング • 人に合わせてフレームを移動 移動 枠が移動 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 10
Windowsすべてのカメラ/音声入力で利用可 • 特定のアプリケーション向けではなく • Windowsのカメラ入力、音声入力の機能で利用可 • Teamsだけではなく • Zoom • Webex • その他カメラと音声入力をする すべてのアプリケーションから使うことができる。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 11
Windows Studio Effectsを 実現するためにNPUが活躍 • 映像と音声をリアルタイムに識別して補正する処理が必要 • Windows Studio EffectはNPUを搭載したデバイスでないと機 能しない。 • 現時点ではArmプロセッサのQualcomm Snapdragonと Microsoft SQ3のみが対応 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 12
NPUとは? Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 13
ニューラルコンピューティング • 人間の脳細胞を模したもの • 脳内の神経細胞(ニューロン)とニューロン同士を接続するつな がりであるシナプスから構成 • 図の丸がニューロン、線がシナプス 左側が情報の入力、 中間が推論過程、 右側が答え https://www.ac-illust.com/ より Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 14
ニューラルコンピューティング • 入力した情報(例えば画像)から 条件を抽出してそれらの関連性のかさみ付け答えを導きだす いろいろ推論 85%で「犬」 https://www.ac-illust.com/ より Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 15
実現するには • 沢山の情報から判定する必要がある。 • 「複数の処理を同時に」行わなければならない。 • この過程で複雑な数値計算は必要としない 大抵は「行列計算」であり 実際は「加算」か「乗算」を行う。 • 浮動小数点演算のような機能ではなく 単精度の整数演算で十分 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 16
Windows Studio Effectsからの利用 • 背景ぼかし • 背景ぼかしをするために「人の形」を見極めて、映像の中のどこまでが人で どこからが背景なのかを割り出す。 • 映像から「人」である部分を推論。 • アイコンタクト/自動フレーミング • 映像の中から動いている人を割り出す。 • 人の瞳を特定する • ノイズキャンセリング機能 • 主に話している人の声とバックの騒音、他の人の会話を分けなければなりま せん。 • リアルタイムに行う • 同時に入ってくる沢山の情報を同時に処理する Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 17
処理するプロセッサ • CPU • • • • Central Processing Unit Intel Coreプロセッサ AMD Ryzenプロセッサ Qualcomm Snapdragon • GPU • Graphics Processing Unit • NVIDIA GeForceシリーズ • AMD RADEONシリーズ • NPU • Neural Processing Unit Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 18
CPU • CPUは原則、シーケンシャルな処理をする。 • 入力があって、計算をして、出力する。 • この処理を順番に一つ一つ行っていきます。 • 複雑で高度な計算を行います。 • 同時処理 • マルチコア、マルチスレッドでも、数十個くらいです。 • 最新の第13世代CoreプロセッサのCore i9-13900でも32スレッド • 映像や音声などの非常に多くの複数の情報の同時に限界 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 19
GPU • 映像にしたい情報入力して、 画像にするために計算をして、 画像の情報にして出力 • 同時処理 • 複数の処理をする単位としては(注:超乱暴な言い方をすると) NVIDIAのGeForce RTX4090は16,384の同時処理を行う。 • CPUほど高度な計算を行うわけではない。 • そういう意味ではニューラルネットワークなどのAI的な処理に向いて いる。(現実的に扱われている) • 演算内容としては高精度な浮動小数点演算も行う。 • 同時に消費電力も高くなる。 • AIの処理としてはそこまでの演算能力は必要としない Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 20
NPU • NPUはGPU同様に複数の情報を同時に処理する仕組みを持った AI処理に特化したプロセッサ • 32ビット浮動小数点演算ではなく16ビットや8ビットの 整数演算を高速に処理 • 複雑な計算を行うこともなくGPUほど消費電力が高くない • 「行列計算」に最適化されたプロセッサとして誕生 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 21
だからNPU • ニューラルコンピューティングはCPUとGPUで賄えていた • 更に効率よく低消費電力で処理するNPUを適用 • CPUとGPUにもそれぞれ仕事がある その他のAI的な処理はNPUに任せるというトレンド • 特にスマートフォンの世界ではカメラ機能や各種認識機能を はじめとしてNPUが活躍している。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 22
モバイル系NPUの特徴 • ニューラルコンピューティング • 「トレーニング」と「推論」というフェーズに分かれている • 特にモバイル系では「推論」の機能に注力 • トレーニング済みの学習情報を持っており、 そこから推論する動き。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 23
Windows 11の展開 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 24
Windows Studio Effectsは公開 • 「Windows Studio Effectsは特定のハードウェアSnapgradon 8cx Gen3(Microsoft SQ3のベース)で動いている。 他のOEMやハードウェアベンダーとも連携する。 デバイスとWindowsエコシステムを構築し続けるためにも Windows Studio Effects は公開する。」 • Ignight 2022の動画より MicrosoftのGroup Program managerのFred Balsigerさん Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 25
各種NPUへの対応 • 「将来、有望なNPUにWindows Studio Effectsを採用する計画 もある。 したがって、業界全体の将来の技術がこれらのNPUを活用し、 すべてのWindowsマシンでWindows Studio Effectsのますます 広範囲なエコシステムが見られるようになるでしょう」 • Ignight 2022の動画より MicrosoftのGroup Program managerのFred Balsigerさん Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 26
各種NPUの対応 • NPUを活用するライブラリが必要 • 現時点ではQualcommのSnapdgragonに特化した仕組みとなっ ている • 「Windowsの場合、QualcommはSnapdragonのNeural処理エ ンジンAPIを利用できるようにしている。これでNPUで直接処 理できるようになっている。とはいえ、特定のハードウェア アーキテクチャを抽象化して、開発者向けのより包括的なソ リューションに取り組んでいる。これについては来年のBuild までに情報を提供していく。」(Fred Balsigerさん) Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 27
各プロセッサメーカーの対応 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 28
Qualcomm • Snapgragon • QualcommのSOC Snapdrgon 8cx Gen3にはトレーニング情報があ る • ここからデータを入力して推論させてWindows Studio Effectsな どに適用 • 「オートフレーミング」「ノイズキャンセル」「音声アクティ ベーション」「顔検出」「ジェスチャートラッキング」などを サポート Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 29
Qualcomm • QualcommはMicrosoft SQ1の段階でWindows Studio Effects のアイコンタクトの機能を実装 • Snapdragon 8cx => Microsoft SQ1にNPU搭載済み https://developer.qualcomm.com/blog/ai-accelerated-experiences-security-windows-snapdragon Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 30
Intel • Intel • インテルは「XPU」という考え方でCPU、GPU、NPUを統合を 計画 • インテルでは第10世代Coreプロセッサ(Ice Lake)でIntel GNA(Gaussian & Neural Accelerator)としてAIアクセラレータ を投入 • OpenVINOとしてAIソリューションとしてSDKの公開 • Windows Studio Effectsには未適用 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 31
Intel • 第14世代CoreプロセッサにあたるMeteor Lake、第15世代Core プロセッサと想定されるLuner Lakeには「Integrated AI Accelaration」としてAI処理の特化したNPU相当の機能が入る ことが発表されている。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 32
Intel • CES2023の直前に発表 • インテルは第13世代CoreプロセッサのノートPC対応版の発表 • NPU(インテルではVPU(Visual Processing Unit))を外付けにす ることを可能としていることを発表 • 第14世代Coreプロセッサへの NPU(VPU)に内蔵に向けての 布石と言える。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 33
AMD • AMDはZen4,Zen5アーキテクチャでAIE(AI Engine)と呼ばれる 旧Xilinx(AMDが買収)の技術が適用されようとしている。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 34
AMD • CES2023でRyzen AI EngineでWindows Studio Effectsに正式 対応を発表 https://www.youtube.com/live/OMxU4BDIm4M?feature=share&t=1416 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 35
Apple Siliconはどうなる? • 2/17にマイクロソフトが正式に対応を承認 http://bit.ly/3XQbR4E Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 36
YouTubeでも解説しています https://www.youtube.com/@windows-podcast/ ポッドキャスト番組 https://windows-podcast.com/podcast/ Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 37