GUIのない変なAndroid端末で
Flutterしてみる

GUIのない変なAndroid端末で Flutterしてみる おまけでAndroid端末の画面表示・操作が可能な専用端末の紹介 [email protected] 2024/09/14 @FlutterKaigi mini #2 @Ishikawa

5分なので自己紹介は略

Our Invention 現場の声に応えた新規デバイスの紹介 負担なく現場導入が可能なワーカー支援デバイスを開発。装着者の見ているもの、聴いているものをリアルタイムにデータ化し、 今までにない情報活用を可能とする 人とAIをつなぐ、機械との協働を実現する THINKLET 高性能マイク（５個） 4G LTE／Wi-Fi 通信機能 各種センサー／GPS エッジAI搭載 超広角カメラ 人が得意なことは人に、AIが得意なことはAIに任せる役目を担うウェアラブルデバイス Copyright © 2024 Fairy Devices Inc. All rights reserved. 3

Connected Worker Solutionによる支援イメージ A 高難易度の課題のみ リアルタイム支援 B • AIのソリューションが 一時対応 • 必要に応じて熟練工 にエスカレーション 高度な現場作業に 非熟練者が対応可能 デジタル化による現場 スキルの技能伝承 C 作業報告書の自動作成 作業の自動判定 AI支援 /対応のレコメンド 危険アラート 作業手順指示 /完了確認 多言語翻訳 Copyright © 2024 Fairy Devices Inc. All rights reserved. スループット強化 4

保守・メンテナンスに活用 導入に際して現地側の教育を必要とせず、早期に遠隔支援体制を確立可能。 遠隔支援体制によって設備の維持管理を低コストに実現できる。 専門家による作業支援 ✓ 遠隔・諸島部などのアクセスが 難しい地域でも、非常時対応 や定期メンテナンスでの活用 専門的サポート 点検記録の遠隔確認 点検レポート Copyright © 2024 Fairy Devices Inc. All rights reserved. ✓ 点検などの内容を動画＋高解 像度画像で記録し、レポート 化することで、遠隔での点検業 務が実現 5

当社のコア技術 「AIの目と耳」を世界の産業現場に実装する Device Solution Voice AI Human & AI Experts Edge AI 音声処理と機械学習 に関する最先端の研究 Copyright © 2024 Fairy Devices Inc. All rights reserved. Cloud AI バーティカルな テクノロジースタック 15年以上に亘る 産業現場DXのノウハウ 2

収録視点サンプル動画 https://www.youtube.com/watch?v=EOiBvmIrdT0

• https://www.youtube.com/watch?v=EOiBvmIrdT0

UIのないAndroid端末？

WiFi Bluetooth GPS 4G LTE 加速度センサ ディスプレイがない以外は 普通のAndroid端末です カメラ スピーカー マイク イヤホン

肩で支えるので安定した画像が撮れます LTEやWiFiで通信できます クラウドから端末の制御ができます マイクが５つあるので音声処理が可能 ZoomやTeamsにジョインできます

THINKLETのFairyOSは Android 8.1のAOSPベースなので Flutterも普通に動きます

⚠ 開発者モードにしたら解除しないで！ adbはデフォルトで動作しています 開発者モードにはできますが、オフにするとadbも止まります すると、GUIないので詰んでしまいます 自力で回復はできないので、残念ながら返送してもらう必要があります

⚠ 装着者は画面操作ができません 制御可能なボタンが３つあります パーミッション許可ダイアログなどを表示しても操作できません 開発時にも画面が表示できません → 開発時にはscrcpyコマンドを使用して

開発に必要な情報

THINKLET | mimi ®︎ ®︎ https://mimi.fairydevices.jp/technology/device/thinklet/

• https://mimi.fairydevices.jp/technology/device/thinklet/

THINKLET 取扱説明書 https://static-connected-worker.thinklet.fd.ai/support/ja/index.html

• https://static-connected-worker.thinklet.fd.ai/support/ja/index.html

THINKLET開発者ポータル https://fairydevicesrd.github.io/thinklet.app.developer/

• https://fairydevicesrd.github.io/thinklet.app.developer/

THINKLETを始めましょう https://fairydevicesrd.github.io/thinklet.app.developer/docs/intro

• https://fairydevicesrd.github.io/thinklet.app.developer/docs/intro

GitHub - FairyDevicesRD/thinklet.app.sdk https://github.com/FairyDevicesRD/thinklet.app.sdk

• https://github.com/FairyDevicesRD/thinklet.app.sdk

CWS開発者ガイド https://reference.thinklet.fd.ai/

• https://reference.thinklet.fd.ai/

Raspberry Piで作るTHINKLET Viewer https://zenn.dev/fairydevices/articles/c730e7776139bb

• https://zenn.dev/fairydevices/articles/c730e7776139bb

Flutterでハロワしてみる

デバイスの見え方 % utter devices Found 3 connected devices: THINKLET LC01 (mobile) • P16M116D5252533 • android-arm64 • Android 8.1.0 (API 27) fl (Snip)

ターゲットはAndroidで % utter create --platforms=android hellowworld fl fl utter create

% cd hellowworld % utter run はて、ビルドしたアプリが動いているかはどうやってみるのだ？ fl fl utterでビルド

scrcpyで確認

Flutter書いてたの 一年前で すっかり忘却

ChatGPTに書いてもらう ChatGPT 4oに書いてもらう main()のないコード吐くんですが...

ChatGPTに書いてもらう ChatGPT 4oに書いてもらう main()のないコード吐くんですが... 自力でいろいろ修正して動かす

ChatGPT o1-preview なんか推論できてすごいらしい 先のコードに問題がないか分析を依頼 でも、main()がないのに気が付かない... 指摘してみた

閑話休題

開発者向けの無償貸出やってます THINKLETを使って作りたいプロダクトに関する企画案を提示いただき、審査の上貸し出しの可否を決定します

https://forms.gle/1YC8ZwyfjFoS63hs8

• https://forms.gle/1YC8ZwyfjFoS63hs8

ネット接続する端末の障害の６割は ネット接続前に発生する

画面出すものいるんじゃない？

USBに差し込むと画面が表示される ・現場向けなら誰でも確実に操作できるものを ・低コストで柔軟に生産できるもの

面接前に３日で試作

現在はこんな感じ

プレゼン終了後のデモ希望は 個別にどうぞ 金沢におりますので、イベント終了後は [email protected] までご連絡ください