画像認識マイコンボード特別ワークショップ

画像認識マイコンボード特別ワークショップ ~ XIAO ESP32S3 Sense + SenseCraft AI ~ 202 5/10/ 30神戸 芸術工 科大学 生産 工芸デ ザイ ン学 科 MATSUOKA Takashi @matsujirushi12

MATSUOKA Takashi @matsujirushi12 2017～ MVP for Windows Development 2020～ for Microsoft Azure 2022～ for Internet of Things 1991年大手メーカーに入社し、 工場の自動化や情報システム の開発、運用に従事。2017年8 月、Seeed株式会社設立時に 転職。組み込みデバイスの開 発環境整備やライブラリ開発 を担当。 書籍 雑誌 YouTube 「e」3つ

「e」3つ https://www.seeedstudio.com/catalog.html

• https://www.seeedstudio.com/catalog.html

画像認識が ノンコーディングでできる 小さいマイコンボード のワークショップです。

写っているモノを判定する センサーを作る のワークショップです。

ワークショップの内容一覧 1.Vision AI 2.Hands-on: 顔を検知する 3.Hands-on: 顔検知したときにLEDを点灯する 4.Vision AI モデル 5.Hands-on: モデルを変更する 6.ラップアップ 7.PR

1. Vision AI

生成AI Vision AI

Vision AI Examples Tesla Autopilot: ⚫ ⚫ ⚫ ⚫ Tesla Autopilot Tesla Vision 8 cameras 360o view Recognize & distinguish objects

Vision AI Examples Monitoring: ⚫ Panda AI model ⚫ Long range ⚫ One Position ⚫ Report the location of panda Really large forest park

Vision AI Examples Monitoring: ⚫ Hummingbir d AI model ⚫ Control ⚫ One Position ⚫ Record the time of bird eating Hummingbird feeder

Vision AIの構成 Model カメラ 画像 Vision AI モデル 特徴量 後処理 Program 画像はhttps://docs.pytorch.org/tutorials/intermediate/torchvision_tutorial.htmlから引用

• https://docs.pytorch.org/tutorials/intermediate/torchvision_tutorial.html

XIAO ESP32S3 Sense + SenseCraft AI Model カメラ 画像 Vision AI モデル 特徴量 後処理 Program Seeed Studio XIAO ESP32S3 Sense SenseCraft AI

2. Hands-on: 顔を検知する

顔を検知する カメラ Vision AI モデル 後処理

XIAOをPCに接続する

SenseCraft AIにログインする

デバイスに接続する

顔を検知する

他のVision AI モデルを試す

3. Hands-on: 顔検知したときにLEDを点灯する

顔を検知する カメラ Vision AI モデル 後処理

LEDを点灯する

4. Vision AI モデル

「分類」と「検出」

Vision AI モデルの主な種類 画像分類 – Image Classification 物体検出 – Object Detection セグメンテーション - Segmentation 姿勢推定 – Pose Estimation 引用元: https://data-analysisstats.jp/%E6%B7%B1%E5%B1%9E%E5%AD%A6%E7%BF%92/%E7%94%BB%E5%83%8F%E5%88%86%E9%A1%9E%E3%83%BB%E7%89%A9%E4%BD%93%E6%A4%9C%E5%87% BA%E3%8 3%BB%E3%82%BB%E3%82%B0%E3%83%A1%E3%83%B3%E3%83%86%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E3%81%AE%E6%AF%94%E8%BC%83/

• https://data-analysis-stats.jp/深属学習/画像分類・物体検出・セグメンテーションの比較/

いちご検出 Swift-YOLOモデル (物体検出) 学習 イチゴ検出 データセット

5. Hands-on: モデルを変更する

モデルを再学習する

6. ラップアップ

ラップアップ • Vision AI • カメラ – Vision AIモデル – 後処理 • Vision AIモデル • 画像分類、物体検出など • 再学習でカスタマイズ • XIAO ESP32S3 Sense + SenseCraft AI • Webブラウザでポチポチするだけ • 画像分類の再学習ができる

ラップアップ • 高性能なカメラセンサー • 温度センサー … 温度がわかる • Vision AIセンサー … 写しているものがわかる

7. PR

Vision AI 関連製品 SenseCAP Watcher Grove – Vision AI Module V2 XIAO ESP32S3 Sense reCamera