Copilot+ PC でエッジ AI 使ってみた

Copilot+ PC でエッジ AI 使ってみた Tomohiro Suzuki @hiro128_777 2024-12-9

自己紹介 鈴木友宏 Azure Open AI、Azure、 M365、Power Platform、.NET などの Microsoft 製品を用 いたシステムの構築をしています。 このスライドの URL C# Tokyo 運営メンバー Twitter：@hiro128_777 blog：https://hiro128.hatenablog.jp/ 2

• https://hiro128.hatenablog.jp/

エッジ AI やりたくて Copilot+ PC 発売日（6/18）に買ったが… • Phi Silica 搭載されていない • それどころか NPU 使えない • Recall 無効 • ペイントで画像生成できる • 速い！ それだけかよ… 準備できてから出せよ… まさに人柱 3

半年たってどうなった 4

半年たってどうなった - Phi Silica Windows Insider Program でインストールだけはできたが使えるのは1月から （と言っているがほんとか？？） 5

半年たってどうなった - Recall Windows Insider Program でプレビュー利用可能 6

半年たってどうなった - NPU 使えない 使えないまま。 • Phi Silica ＋ Windows App SDK 1.7 リリース待ち • DirectML 対応待ち 7

結局エッジ AI はできないのか CPUを使った エッジAI ならできるので試してみた huggingface-cli download microsoft/Phi-3-mini-4k-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir . 8

エッジ AI （CPU）試してみた …精度は…イマイチか… 9

エッジ AI （CPU）試してみた ところが、英語にするとかなり精度が高い 10

エッジ AI （CPU）試してみた CPU は余裕がありそう メモリは16GB では足りなそう 11

demo 12

今後について • Phi Silica が使えるようになったら精度、速度など試してみる • DirectML が対応したら精度、速度など試してみる 13

ご清聴ありがとうございました 14