Strands Agentsで作る自作スマートスピーカー

Strands Agentsで作る自作スマート スピーカー Koki Miura(@k_miura_io)

自己紹介 • 三浦 耕生(こうき) • 名古屋在住 • バックエンドエンジニア • JAWS UG名古屋＆神戸 運営 • 好きなAWSのサービス：Lambda、ECS、 IoT Core @k_miura_io koki.miura05

re:Invent行った人？

re:Inventで発表されたアップデート • Nova 2 シリーズがリリース • Bedrock Agent Coreが品質評価、エピソード記憶、双方向通信に対応 • Bedrock Knowledge Baseのマルチモーダル検索対応 • Strands AgentsのTypeScript版リリース • Amazon Connectの大量アップデート • S3 VectorsがGA • Lambda Durable Functions、Managed Instanceのリリース • EC2のM4 Macインスタンスがリリース • DatabaseのSaving Planを発表 など

re:Inventで発表されたアップデート • Nova 2 シリーズがリリース • Bedrock Agent Coreが品質評価、エピソード記憶、双方向通信に対応 • Bedrock Knowledge Baseのマルチモーダル検索対応 • Strands AgentsのTypeScript版リリース • Amazon Connectの大量アップデート • S3 VectorsがGA • Lambda Durable Functions、Managed Instanceのリリース • EC2のM4 Macインスタンスがリリース • DatabaseのSaving Planを発表 など

https://aws.amazon.com/jp/nova/models/?sc_channel=el

• https://aws.amazon.com/jp/nova/models/?sc_channel=el

https://aws.amazon.com/jp/nova/models/?sc_channel=el

• https://aws.amazon.com/jp/nova/models/?sc_channel=el

Nova 2 Sonic • AIでの自然でリアルタイムな会話を実現する 音声合成モデル • どれか一つの言語だけではなく、複数の言語 をネイティブに話せる • 前バージョンからポルトガル語とヒンディー語 に対応している o日本語は非対応

何か遊べないか

Strands Agentsで実装してみる • re:Inventのアップデートの一つにStrands Agentsの双方向ストリーミングが追加され た(Bidirectional streaming) • 試験的なリリースなので今後仕様変更す る可能性あり • リアルタイムな会話に対応しているモデル であればBedrock以外にも接続できる o Nova Sonic o Gemini Live API o Open AI Realtime API

用意するもの • Raspberry Pi 5 • USBマイク • スピーカー

DEMO

いざというときのための動画 https://youtu.be/7fA4-sZpJLQ

• https://youtu.be/7fA4-sZpJLQ

試してみて • Strands Agentsのセットアップ自体は複雑ではないけど、Bidirectの バックグラウンドで使われているPyAudioをセットアップするのがちょっ と手こずった • スピーカーやマイクのボリューム調整しないとループが発生する • 日本語は対応されてないけど、「日本語話して」的な声掛けするとカタ コトだけど日本語話した

まとめ • Strands Agentsが双方向通信に対応したことでプログラムがテキストだけじゃない 音声のエージェントに対応されるようになった • ただ会話させるだけならシンプルだが、音量などの調整をしないと会話のループ が起きるので実運用するためには実装やパラメータを工夫する必要がありそう(仕 様変更される可能性があるのでそこまでやるかどうか悩ましいところ) • ChatGPTがリリースされてから5年でAIとマルチモーダルな会話ができる時代がす ぐそこまで来ている

END