UiPath UI Agent(仮称)を使ってみる

>100 Views

August 07, 25

スライド概要

2025年8月5日(火) 開催
UiPath Friends 関西 ~ We build Robots! 共に創る、共に働くオートメーションの未来 ~
UiPath Community MVP テクニカルセッション

profile-image

UiPath FriendsはUiPath ユーザー有志によって運営される非営利の公式ユーザーコミュニティです。 UiPathに関する技術交流や勉強会を行い、UiPathユーザーの技術力向上に寄与していきます。 イベントの登壇資料を掲載しています。 コミュニティサイト: https://uipath-friends.doorkeeper.jp/ YouTubeチャンネル: https://www.youtube.com/@UiPathFriends

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

各ページのテキスト
1.

#UiPathFriends UiPath UI Agent(仮称)を使ってみる Yoichi Suetake 1

2.

自己紹介 名前: 末武 陽一(すえたけ よういち)(Suetake, Yoichi) #UiPathFriends X (旧Twitter) : @SuetakeYoichi LinkedIn : yoichi-suetake 所属: 株式会社オプテージ RPAソリューションチーム チームマネージャー 属性: IT屋(技術士(総合技術監理・情報工学部門)) 天文屋 気象屋(気象予報士) UiPath使用歴:約8年 (Academy Lv1修了2017/5/24) UiPath Japan MVP 2019-2023 UiPath Community MVP 2022-2025 (Global) Moderator of UiPath Community Forum 2

3.

概要 #UiPathFriends 先日Public PreviewになりましたUiPath UI Agent(仮称)を実際に使ってみたレポートです。 3

4.

UiPath UiAutomation関連の動作のおさらい #UiPathFriends 【基本的な動作】 いくつかの手段を用いて自動化の操作対象を特定し、 アクションはアクティビティの種類で決定する。 アクション 対象の特定方法 クリック アクティビティ 厳密セレクター 文字を入力 アクティビティ + あいまいセレクター テキストを取得 アクティビティ Computer Vision : 画像 4

5.

UiPath UiAutomation関連の動作のおさらい #UiPathFriends セマンティックアクティビティ 【基本的な動作】 入力情報を元に、自動化の操作対象はAIが決定する。 アクションはアクティビティの種類で決定する。 アクション 対象の特定方法 フォームデータを抽出 アクティビティ フォームを入力 アクティビティ + 入力情報を元に AIが特定 値を設定 アクティビティ 注:要AI Unit 5

6.

UiPath UiAutomation関連の動作のおさらい #UiPathFriends 【セマンティックアクティビティの例】 RPA Challengeサイトでの「フォームに入力」アクティビティ利用例 Xlsxファイルから抽出したDataTableを渡すことにより、画面上のヘッダ情報に合致するフィールドをAIが特定しそこに入力する。 (範囲読み込みや繰り返しを含む、アクティビティ6つ程度でクリア可能) ヘッダ名に合致するフィ ールドを自動特定し入 力する 6

7.

UiPath UI Agent(仮称)とは? #UiPathFriends 自動化の操作対象およびその操作を、自然言語で記述する。 その内容をAIが解釈し、対象の特定・アクションを行う。 アクション UIエージェント アクティビティ 対象の特定方法 自然言語で記述し AIが対象を特定、アクションを行う 【注意事項】 UI Agentは現在Public Previewのステータスです。Enterpriseユーザーのみ利用可能です。 また公式ドキュメントによるとモックデータを使用したテスト環境のみでの使用を推奨とのことです。 UI Agentはコードネームであり、GA時には別の名称となります。そのため「仮称」としています。 7

8.

UiPath UI Agent(仮称)の動作例 #UiPathFriends Googleを開いて、検索を行い結果を取得する 【プロンプト】 検索窓に「RPA」を入力し、検索窓のフォーカスを外してから、検索ボタンをクリックする。 結果の上位3件を取得する。 →次ページ動画(1分) 8

9.

#UiPathFriends 9

10.

UiPath UI Agent(仮称)の動作例 #UiPathFriends もう少し高度な例 - サイトの構成に依存せずに対応する xlsxファイルに記載された各サイトのURLを順次開いていき、下記プロンプトを用い、結果を xlsxファイルに格納する。 【プロンプト】 音楽ランキングのテーブルを取得し、ランキング番号が明示された上位3曲の名前を返す。 結果のフォーマットはJSONで、キー名はRanking、値はjson配列とする。例えば結果は以 下の様になります。{"Ranking" : ["1st rank music name","2nd rank music name","3rd rank music name"] } →次ページ動画(1分40秒) 10

11.

#UiPathFriends 11

12.

まとめ #UiPathFriends ・ 自然言語で操作を記述するだけで自動化が可能 → 自動化実現のハードルが下がる。(セレクター職人が必要なシーンの代替) → サイト構造に依存せずに自動化が可能(状況によるが未知サイトにも対応可能) → 頻繁に変化する構造に対して、ロバストな自動化が可能 (今回検証できていないが、理論的には可能) ・課題:ちょっと遅い(裏でLLM/LAM呼んでいるので今のところ仕方がない) 他のソリューションとの使い分け・すみわけ →現時点では、すべてLLM/LAMで処理するよりは、ルールベースな部分をRPAで処理して 組み合わせる方がスループットやコストパフォーマンスが有利と思う。 ・GA版にひきつづき期待 12