これぞ現代のRPA?!ローカルLLMで動かすAIエージェント

これぞ現代のRPA?! ローカルLLMで動かすAIエージェント Koki Miura(@k_miura_io)

自己紹介 • 三浦 耕生(こうき) • バックエンドエンジニア • JAWS UG名古屋＆神戸 運営 • 鯱.py 運営 • 俺の勉強会 運営 @k_miura_io koki.miura05

ローカルLLMとは ●LLM（大規模言語モデル）を自分のPC上で動かす仕組み ●クラウド（ChatGPT等）と違い、データが外部に送信されない ●インターネット接続なしでも利用可能 ●プライバシー・セキュリティ面で安心 ●利用料金がかからない（電気代のみ） ●代表的なツール：Ollama、llama.cpp、LM Studio

AI活用する際の懸念点 1 データセキュリティ 機密性の高い製造データや 知的財産の漏洩リスク 4 人材不足 AI人材の確保と 既存社員のスキル教育 2 品質・精度の問題 AIの誤判断による 不良品流出や製造ミス 5 既存システム連携 レガシーシステムとの 統合や互換性の課題 3 導入コスト 初期投資・インフラ整備・ 運用コストの負担 6 責任所在の不明確さ AIの判断ミスに対する 責任の帰属問題

AI活用する際の懸念点 1 データセキュリティ 機密性の高い製造データや 知的財産の漏洩リスク 4 人材不足 AI人材の確保と 既存社員のスキル教育 2 品質・精度の問題 AIの誤判断による 不良品流出や製造ミス 5 既存システム連携 レガシーシステムとの 統合や互換性の課題 3 導入コスト 初期投資・インフラ整備・ 運用コストの負担 6 責任所在の不明確さ AIの判断ミスに対する 責任の帰属問題

PCスペックのインフレ • ローカルLLMを動かすのに高精度なGPUを買い求 める人がいるとか • Raspberry Piのスペックも上がってきていて、対応 したアクセラレーターボードも出ている

モバイル向けLLMとは ● クラウドではなく、スマートフォンやタブレット上で直接推論を実行するLLM ● プライバシー保護：データが端末から外に出ない ● オフライン動作：ネットワーク不要でAIを利用可能 ● 低遅延：クラウド往復がないため応答が高速 ● 課題：メモリ制約（8-24GB RAM）、バッテリー消費、計算能力の限界 ● 量子化（4bit/8bit）やプルーニングで軽量化して対応

代表的なモデルと最適化技術 主要モデル（sub-10B） ▸Gemma 3n（Google） ─ モバイルアーキテクチャ専用設計 ▸Qwen3-8B / Qwen2.5-VL-7B（Alibaba） ─ 画像理解・推論の二刀流 ▸Llama 3.1/3.2（Meta） ─ 100+言語対応、オープンウェイト ▸MobileLLM / SmolLM3（Meta / HuggingFace） ─ sub-3Bの超軽量モデル 主要な最適化技術 ▸量子化：FP16→INT4でモデルサイズを1/4に圧縮 ▸MoE：トークンごとに一部のパラメータのみ活性化 ▸投機的デコーディング：小モデルで先読みし2-3x高速化

推論フレームワークとユースケース 主要フレームワーク ▸llama.cpp：C/C++で軽量推論、GGUFフォーマット対応 ▸ExecuTorch（Meta）：2025年にGA、モバイル・エッジ向け推論エンジン ▸MLC-LLM：TVMベースのコンパイラ、iOS/Android対応 ▸MediaPipe（Google）：Gemmaモデル対応、GPU/CPU推論 ユースケース ▸オフラインチャット・翻訳・文章校正 ▸端末上の画像認識・ドキュメント要約 ▸Apple Intelligence / Gemini Nano などOS統合型AI

手元のPCでAIエージェント動かせるかも？

AIエージェントとは？ • プロンプト：エージェントのタスクを定義するプ ロンプト（システムプロンプト）を提供する • モデル：Amazon Bedrockだけではなく、 Anthropic APIやOllamaといったローカルの LLMまでサポートしている • ツール：Python関数でツールをつくったり、 MCPと連携できる他、拡張パッケージで構築 済みのツールを呼び出すこともできる https://aws.amazon.com/jp/blogs/news /introducing-strands-agents-an-opensource-ai-agents-sdk/

• https://aws.amazon.com/jp/blogs/news

作ってみた • Web検索からレポートをまとめるAIエージェント • ワードが生成されるので、後から見直し、編集して 提出できる • 大学生の課題でやるようなレポートを手元のPCで 作成する • 大学生の強い味方(もちろん自己責任)

システム構成

使用するLLMの選定 • OllamaからLLMを取得する場合、 「Tools」のタグで絞り込む必要が ある • ツール呼び出しに対応してい るモデルから選ぶ • 先にモデルそのものを取得してモ デル単体で動かしたときのレスポ ンスの早さを確認するのがおす すめ • あとは精度とのバランスで見るの がおすすめ

RPA文脈でやれそうなこと • 単純なデータ入力業務 • 見積もり書を読み込ませて帳簿に記載 • メールの自動振り分け • 問い合わせメールの内容分析→重要度のラベル付けしてチケット起票 • サイトを巡回 • スクレイピングのMCPと連携して結果をSlackで通知

AIエージェント入門 https://bit.ly/4bBL3PJ

• https://bit.ly/4bBL3PJ

まとめ ● ローカルLLMでAI活用のハードルを下げられる ─ データ非送信でセキュリティ面も安心、オフライン・無料で利用可能 ● モバイル・エッジ向けLLMが急速に進化中 ─ 量子化・MoE等の最適化技術、Gemma 3n / Qwen3 / Llama 3.2等が充実 ● 手元のPCでAIエージェントが作れる時代に ─ Strands Agents × OllamaでWeb検索→レポート生成をローカル完結 ● LLM選定のポイント ─ Toolsタグ対応モデルを選び、速度と精度のバランスで判断

宣伝

宣伝② https://bit.ly/3NJQvHa

• https://bit.ly/3NJQvHa

END