Windows 11とNPUで実現するWindowsのAI

408 Views

February 25, 23

#windows 11 #Windows 11 #AI #NPU #Windows Studio Effects #ニューラルコンピューティング

スライド概要

2023-02-25 .NETラボ勉強会の登壇資料です。

木澤朋和

@tomokazu_kizawa

スライド一覧

Microsoft MVP for Windows and Devicesです。WindowsやWindows PCの情報を発信しています。マイクロソフト製品や技術をお伝えするポッドキャスト番組を配信しています。 https://www.youtube.com/@Windows-podcast/ https://windows-podcast.com/podcast/

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 2.44MB)

関連スライド

Insider Previewから見たWindows 11 24H2

windows 11

木澤朋和 3.1K

Copilot+ PCと新型Surface Pro 11とSurface Laptop 7

surface

木澤朋和 2.8K

新型登場Surface Pro 10とSurface Laptop 6

木澤朋和 1.8K

WoodStream Windows Journal創刊準備号

windows 11

木澤朋和 442

Microsoft Copilot Studio

木澤朋和 344

PowerToys

powertoys

木澤朋和 321

各ページのテキスト

Windows 11とNPUで実現するWindowsのAI 2023年2月25日 .NETラボ勉強会木澤朋和 Microsoft MVP for Windows and Device for IT windows-podcast.com

自己紹介 • 木澤朋和(きざわともかず) • 某メーカー系でエンジニアをやっています • Microsoft MVP for Windows and Devices for IT (2022/7~2023/6) • ブログの執筆 • ポッドキャスト番組の配信、動画(YouTube)の配信 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 2

ポットキャスト番組 • 「WoodStreamのデジタル生活」 • マイクロソフトの製品や技術をお話しする番組 • windows-podcast.com/podcast • 各種音声配信サービスとYouTubeで毎週配信 • 配信 13年 / 668回 Google Podcasts Spotify Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 3

https://www.youtube.com/c/windows-podcast

Windows Studio Effects • 背景ぼかし • カメラに映っている人物の背景をぼかす。 • 人物の映像をリアルタイムに検出して、背景をぼかす。 • アイコンタクト(視線の補正) • カメラに映っている人物の「目」がカメラ目線になるように映像を補正する。(次ページ) • 自動フレーミング • カメラに映っている人が移動するした場合に、人に合わせて画面の枠(フレーム)を移動させ、常に人を追うようにする。 • 音声フォーカス • 「喋っている人の声」以外を除去する。近くにいる他の人の喋り声や騒音などを除去して鮮明でクリアな音声を入力する。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 8

10.

11.

12.

Windows Studio Effectsを実現するためにNPUが活躍 • 映像と音声をリアルタイムに識別して補正する処理が必要 • Windows Studio EffectはNPUを搭載したデバイスでないと機能しない。 • 現時点ではArmプロセッサのQualcomm Snapdragonと Microsoft SQ3のみが対応 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 12

13.

14.

ニューラルコンピューティング • 人間の脳細胞を模したもの • 脳内の神経細胞(ニューロン)とニューロン同士を接続するつながりであるシナプスから構成 • 図の丸がニューロン、線がシナプス左側が情報の入力、中間が推論過程、右側が答え https://www.ac-illust.com/ より Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 14

15.

16.

17.

Windows Studio Effectsからの利用 • 背景ぼかし • 背景ぼかしをするために「人の形」を見極めて、映像の中のどこまでが人でどこからが背景なのかを割り出す。 • 映像から「人」である部分を推論。 • アイコンタクト/自動フレーミング • 映像の中から動いている人を割り出す。 • 人の瞳を特定する • ノイズキャンセリング機能 • 主に話している人の声とバックの騒音、他の人の会話を分けなければなりません。 • リアルタイムに行う • 同時に入ってくる沢山の情報を同時に処理する Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 17

18.

処理するプロセッサ • CPU • • • • Central Processing Unit Intel Coreプロセッサ AMD Ryzenプロセッサ Qualcomm Snapdragon • GPU • Graphics Processing Unit • NVIDIA GeForceシリーズ • AMD RADEONシリーズ • NPU • Neural Processing Unit Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 18

19.

CPU • CPUは原則、シーケンシャルな処理をする。 • 入力があって、計算をして、出力する。 • この処理を順番に一つ一つ行っていきます。 • 複雑で高度な計算を行います。 • 同時処理 • マルチコア、マルチスレッドでも、数十個くらいです。 • 最新の第13世代CoreプロセッサのCore i9-13900でも32スレッド • 映像や音声などの非常に多くの複数の情報の同時に限界 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 19

20.

GPU • 映像にしたい情報入力して、画像にするために計算をして、画像の情報にして出力 • 同時処理 • 複数の処理をする単位としては(注:超乱暴な言い方をすると) NVIDIAのGeForce RTX4090は16,384の同時処理を行う。 • CPUほど高度な計算を行うわけではない。 • そういう意味ではニューラルネットワークなどのAI的な処理に向いている。(現実的に扱われている) • 演算内容としては高精度な浮動小数点演算も行う。 • 同時に消費電力も高くなる。 • AIの処理としてはそこまでの演算能力は必要としない Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 20

21.

NPU • NPUはGPU同様に複数の情報を同時に処理する仕組みを持った AI処理に特化したプロセッサ • 32ビット浮動小数点演算ではなく16ビットや8ビットの整数演算を高速に処理 • 複雑な計算を行うこともなくGPUほど消費電力が高くない • 「行列計算」に最適化されたプロセッサとして誕生 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 21

22.

だからNPU • ニューラルコンピューティングはCPUとGPUで賄えていた • 更に効率よく低消費電力で処理するNPUを適用 • CPUとGPUにもそれぞれ仕事があるその他のAI的な処理はNPUに任せるというトレンド • 特にスマートフォンの世界ではカメラ機能や各種認識機能をはじめとしてNPUが活躍している。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 22

23.

24.

25.

Windows Studio Effectsは公開 • 「Windows Studio Effectsは特定のハードウェアSnapgradon 8cx Gen3(Microsoft SQ3のベース)で動いている。他のOEMやハードウェアベンダーとも連携する。デバイスとWindowsエコシステムを構築し続けるためにも Windows Studio Effects は公開する。」 • Ignight 2022の動画より MicrosoftのGroup Program managerのFred Balsigerさん Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 25

26.

各種NPUへの対応 • 「将来、有望なNPUにWindows Studio Effectsを採用する計画もある。したがって、業界全体の将来の技術がこれらのNPUを活用し、すべてのWindowsマシンでWindows Studio Effectsのますます広範囲なエコシステムが見られるようになるでしょう」 • Ignight 2022の動画より MicrosoftのGroup Program managerのFred Balsigerさん Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 26

27.

各種NPUの対応 • NPUを活用するライブラリが必要 • 現時点ではQualcommのSnapdgragonに特化した仕組みとなっている • 「Windowsの場合、QualcommはSnapdragonのNeural処理エンジンAPIを利用できるようにしている。これでNPUで直接処理できるようになっている。とはいえ、特定のハードウェアアーキテクチャを抽象化して、開発者向けのより包括的なソリューションに取り組んでいる。これについては来年のBuild までに情報を提供していく。」(Fred Balsigerさん) Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 27

28.

29.

Qualcomm • Snapgragon • QualcommのSOC Snapdrgon 8cx Gen3にはトレーニング情報がある • ここからデータを入力して推論させてWindows Studio Effectsなどに適用 • 「オートフレーミング」「ノイズキャンセル」「音声アクティベーション」「顔検出」「ジェスチャートラッキング」などをサポート Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 29

30.

Qualcomm • QualcommはMicrosoft SQ1の段階でWindows Studio Effects のアイコンタクトの機能を実装 • Snapdragon 8cx => Microsoft SQ1にNPU搭載済み https://developer.qualcomm.com/blog/ai-accelerated-experiences-security-windows-snapdragon Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 30

https://developer.qualcomm.com/blog/ai-accelerated-experiences-security-windows-snapdragon

31.

Intel • Intel • インテルは「XPU」という考え方でCPU、GPU、NPUを統合を計画 • インテルでは第10世代Coreプロセッサ(Ice Lake)でIntel GNA(Gaussian & Neural Accelerator)としてAIアクセラレータを投入 • OpenVINOとしてAIソリューションとしてSDKの公開 • Windows Studio Effectsには未適用 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 31

32.

33.

Intel • CES2023の直前に発表 • インテルは第13世代CoreプロセッサのノートPC対応版の発表 • NPU(インテルではVPU(Visual Processing Unit))を外付けにすることを可能としていることを発表 • 第14世代Coreプロセッサへの NPU(VPU)に内蔵に向けての布石と言える。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 33

34.

35.

https://www.youtube.com/live/OMxU4BDIm4M?feature=share&t=1416

36.

http://bit.ly/3XQbR4E

37.