UiPath UI Agent(仮称)を使ってみる
156 Views
August 07, 25
スライド概要
2025年8月5日(火) 開催
UiPath Friends 関西 ~ We build Robots! 共に創る、共に働くオートメーションの未来 ~
UiPath Community MVP テクニカルセッション
UiPath FriendsはUiPath ユーザー有志によって運営される非営利の公式ユーザーコミュニティです。 UiPathに関する技術交流や勉強会を行い、UiPathユーザーの技術力向上に寄与していきます。 イベントの登壇資料を掲載しています。 コミュニティサイト: https://uipath-friends.doorkeeper.jp/ YouTubeチャンネル: https://www.youtube.com/@UiPathFriends
関連スライド
各ページのテキスト
#UiPathFriends UiPath UI Agent(仮称)を使ってみる Yoichi Suetake 1
自己紹介 名前： 末武 陽一（すえたけ よういち）(Suetake, Yoichi) #UiPathFriends X (旧Twitter) : @SuetakeYoichi LinkedIn : yoichi-suetake 所属： 株式会社オプテージ ＲＰＡソリューションチーム チームマネージャー 属性： IＴ屋（技術士（総合技術監理・情報工学部門）） 天文屋 気象屋（気象予報士） UiPath使用歴：約8年 (Academy Lv1修了2017/5/24) UiPath Japan MVP 2019-2023 UiPath Community MVP 2022-2025 (Global) Moderator of UiPath Community Forum 2
概要 #UiPathFriends 先日Public PreviewになりましたUiPath UI Agent(仮称)を実際に使ってみたレポートです。 3
UiPath UiAutomation関連の動作のおさらい #UiPathFriends 【基本的な動作】 いくつかの手段を用いて自動化の操作対象を特定し、 アクションはアクティビティの種類で決定する。 アクション 対象の特定方法 クリック アクティビティ 厳密セレクター 文字を入力 アクティビティ ＋ あいまいセレクター テキストを取得 アクティビティ Computer Vision ： 画像 4
UiPath UiAutomation関連の動作のおさらい #UiPathFriends セマンティックアクティビティ 【基本的な動作】 入力情報を元に、自動化の操作対象はAIが決定する。 アクションはアクティビティの種類で決定する。 アクション 対象の特定方法 フォームデータを抽出 アクティビティ フォームを入力 アクティビティ ＋ 入力情報を元に AIが特定 値を設定 アクティビティ 注：要AI Unit 5
UiPath UiAutomation関連の動作のおさらい #UiPathFriends 【セマンティックアクティビティの例】 RPA Challengeサイトでの「フォームに入力」アクティビティ利用例 Xlsxファイルから抽出したDataTableを渡すことにより、画面上のヘッダ情報に合致するフィールドをAIが特定しそこに入力する。 （範囲読み込みや繰り返しを含む、アクティビティ6つ程度でクリア可能） ヘッダ名に合致するフィ ールドを自動特定し入 力する 6
UiPath UI Agent(仮称)とは？ #UiPathFriends 自動化の操作対象およびその操作を、自然言語で記述する。 その内容をAIが解釈し、対象の特定・アクションを行う。 アクション UIエージェント アクティビティ 対象の特定方法 自然言語で記述し AIが対象を特定、アクションを行う 【注意事項】 UI Agentは現在Public Previewのステータスです。Enterpriseユーザーのみ利用可能です。 また公式ドキュメントによるとモックデータを使用したテスト環境のみでの使用を推奨とのことです。 UI Agentはコードネームであり、GA時には別の名称となります。そのため「仮称」としています。 7
UiPath UI Agent(仮称)の動作例 #UiPathFriends Googleを開いて、検索を行い結果を取得する 【プロンプト】 検索窓に「RPA」を入力し、検索窓のフォーカスを外してから、検索ボタンをクリックする。 結果の上位3件を取得する。 →次ページ動画(1分) 8
#UiPathFriends 9
UiPath UI Agent(仮称)の動作例 #UiPathFriends もう少し高度な例 － サイトの構成に依存せずに対応する xlsxファイルに記載された各サイトのURLを順次開いていき、下記プロンプトを用い、結果を xlsxファイルに格納する。 【プロンプト】 音楽ランキングのテーブルを取得し、ランキング番号が明示された上位3曲の名前を返す。 結果のフォーマットはJSONで、キー名はRanking、値はjson配列とする。例えば結果は以 下の様になります。{"Ranking" : ["1st rank music name","2nd rank music name","3rd rank music name"] } →次ページ動画(1分40秒) 10
#UiPathFriends 11
まとめ #UiPathFriends ・ 自然言語で操作を記述するだけで自動化が可能 → 自動化実現のハードルが下がる。（セレクター職人が必要なシーンの代替） → サイト構造に依存せずに自動化が可能（状況によるが未知サイトにも対応可能） → 頻繁に変化する構造に対して、ロバストな自動化が可能 （今回検証できていないが、理論的には可能） ・課題：ちょっと遅い（裏でLLM/LAM呼んでいるので今のところ仕方がない） 他のソリューションとの使い分け・すみわけ →現時点では、すべてLLM/LAMで処理するよりは、ルールベースな部分をRPAで処理して 組み合わせる方がスループットやコストパフォーマンスが有利と思う。 ・GA版にひきつづき期待 12