UiPath Friends向けヒーリングエージェントのご紹介

ヒーリングエージェント のご紹介 オートメーション初の自己修復機能 著： PS本部 梶田 The UiPath word mark, logos, and robots are registered trademarks owned by UiPath, Inc. and its affiliates. UiPath (R) is a registered trademark in the United States and several countries across the globe. See TMEP 906. ©2025 UiPath. All rights reserved.

目次 00 01 登壇者自己紹介 ヒーリングエージェントとは 05 ヒーリングエージェントの使いどころ （機能➀） ヒーリングエージェントの使いどころ 02 ヒーリングエージェントの動作要件 06 03 ヒーリングエージェントの利用方法 07 デモ 04 ヒーリングエージェントのログの見方 08 Q＆A （機能➁） 2

ヒーリングエージェントとは 機能概要（Google翻訳） このたび、ヒーリングエージェントのパブリックプレビューを発表できることを嬉しく思います。この機能には、UiPath Robots、Orchestrator、 Studio全体でAIを活用した一連のエクスペリエンスが含まれており、自動化のダウンタイムを削減し、効率を向上させます。これにより、 次のものが提供されます。 •UIベースの自動化のためのインテリジェントな自己修復： アプリケーションインターフェースに変更があったり、UIの干渉によって自動 化が妨げられたりするたびに、Healing Agentは問題を修復して、自動化を中断することなく続行できるようにします •実用的な推奨事項： Healing Agent（以降、HAと略す） は、アプリケーション インターフェイスをインテリジェントに分析し、トラブルシュー ティングやデバッグに費やす時間を最小限に抑えるための的を絞った提案を提供します。これにより、問題の迅速な解決が可能になり、 自動化をできるだけ早く本番環境に戻すことができます。 端的に機能を表現すると以下の様なものとなります。 1.UI変更やUI干渉（たまに出るポップアップなど）について、よしなに回避しますよ 2.回避したUI変更やUI干渉への処方箋を出しますよ 4

ヒーリングエージェントの動作要件 ヒーリングエージェント（以降、HAと略す）を利用するには次の条件を満たす必要があります。 ✓ UIAパッケージ：25.2.1 preview ✓ ST：25.0.157 ✓ RT：24.10 以上 ポイント 既存のロボットは、ST/RTをバージョン アップしただけではHAを利用できません。 UIAパッケージの更新が必要です。 5

ヒーリングエージェントの利用方法 先述のパッケージとST/RT要件を除けば、OCと接続があり、ジョブの実行時にHAおよび自己修復の有効化の チェックをONにしていれば利用できます！ ✓ HAの有効化設定はプロセスやジョブの登録画面にあります。 ✓ ジョブ実行後、HAが起動した際はジョブの詳細にHAのタブが表示されます。（右図） ■修復失敗ログ {"message":"Healing agent could not recover the activity.","level":"Information","logType":"Default","timeStamp":～ ■修復成功ログ {"message":"Healing agent successfully recovered the activity.","level":"Information","logType":"Default","timeStamp":～ 6

ヒーリングエージェントのログの見方 HAの処理が起動したか否かは UIAutomation.log を確認するのが有効です。 ✓ 処理が正常に実行された際は、次の様なリクエスト結果を確認できます。 [2025-03-17T11:30:52.694][Debug] - [Tag=HttpClientWrapper] SendAsync ::: END with status=[OK] for request uri = https://cloud.uipath.com/＊＊＊/semanticproxy_/api/operation/start ✓ 失敗した際の例 [2025-03-11T15:49:23.470][Error] - [Tag=HttpClientWrapper] SendAsync ::: END with status=[BadRequest] for request uri = https://cloud.uipath.com/＊＊＊/semanticproxy_/api/operation/start ✓ 紛らわしいですが、成功・失敗問わず出現するリクエスト結果のログが以下 [2025-03-17T11:31:54.661][Error] - [Tag=HttpClientWrapper] SendAsync ::: END with status=[NotFound] for request uri = https://cloud.uipath.com/＊＊＊/semanticproxy_/api/configuration/HealingAgentConfig 7

• https://cloud.uipath.com/

【補足】HAの詳細ログを確認するには HAの処理はログレベル：Debugで出力されるので、次の環境変数を登録し一度PCを再起動する必要がありま す。 ✓ 変数名：UIPATH_LOG_LEVEL_UIA ✓ 値：Verbose 回復分析のログの例 [2025-03-17T11:32:38.744][Debug] - [Tag=HttpClientWrapper] SendAsync ::: START request uri = https://cloud.uipath.com/＊＊＊/semanticproxy_/api/autopilot/qa-dom [2025-03-17T11:32:39.820][Debug] - [Tag=HttpClientWrapper] SendAsync ::: END with status=[OK] for request uri = https://cloud.uipath.com/＊＊＊/semanticproxy_/api/autopilot/qa-dom [2025-03-17T11:32:39.821][Error] - [Tag=SemanticService] GetMatchingLabelAsync ::: QA DOM service returned an unmapped index=-1. Candidate keys=System.Collections.Generic.Dictionary`2+KeyCollection[System.Int32,System.String] [2025-03-17T11:32:39.822][Debug] - [Tag=TextMatchingService] No match. [2025-03-17T11:32:39.822][Verbose] - [Tag=TextMatchingService] Match type: Semantic Haystack: 'OK' Needle: 'No' 8

• https://cloud.uipath.com/

ヒーリングエージェントの使いどころ（機能➀） UIベースの自動化のためのインテリジェントな自己修復 ログを確認する限り、HAの自己修復はターゲット操作におけるエラー発生がトリガーです。 ➢ エラーが発生したタイミング毎の再現確認結果を以下に纏めます。 エラーが発生したタイミング アプリ起動時 回復種別 同アプリ操作時 画面遷移時 ターゲット変更 〇 〇 〇 ポップアップ 〇 〇 × タイムアウト 〇 △ × 補足： • • 「×」は『UI要素がみつかりません』のエラーです。 「△」はローディング中でもターゲット操作ができてしまうケース ポイント 上記の結果より、HAの処理が成功するためには、成功するターゲットが エラーが発生したアプリケーション上に存在する必要があると考えます。 9

【補足】タイムアウトエラー × 同アプリ操作時（HAが起動しないパターン） ローディング処理が走り、各フィールドをマニュアル編集できない場合にも、ロボットがターゲット操作可能であ ればエラーが発生しないため回復分析もおこなわれません。 10

【補足】タイムアウトエラー × 同アプリ操作時（HAが起動するパターン） 次の操作対象の出現が遅延するパターンでは回復処理でタイムアウトが問題なく採用されます。 11

【補足】ポップアップ＆タイムアウトで回復できないパターン 前処理が想定より長くかかり、次の操作対象の出現が遅れる＆別アプリのケースでは、HA（自己修復）は発 火せずUI要素がみつかりません、のエラーとなります。 12

【補足】ポップアップエラー × アプリ起動時 or 同アプリ操作時 起動時のお知らせ・操作中の予期しないポップアップなどは問題なく回避してくれます。 13

【補足】セレクタエラー ターゲット（セレクタ）変更のケースは、id違い・name違いともに自己修復を確認できます。 nameのテキストについては意味合いを考慮して回復判断もしてくれます！ 14

ヒーリングエージェントの使いどころ（機能➀ - 使いどころ結論） UIベースの自動化のためのインテリジェントな自己修復 ロボット内で以下に挙げるものを操作するケース ✓ SaaS系のサービスサイト（CRM、経費精算とか）で定期的にお知らせ画面やアップデートのポップアップが出てくる ✓ 更新頻度が高いサイト（CMS、社内ポータルとか） ※基幹アプリなどは、滅多にバージョンアップもしませんし、軽微なものでも挙動差は拾えた方が良いため、HAは有効化せず厳密セレクタの利用を推奨します。 15

ヒーリングエージェントの使いどころ（機能➁） 実用的な推奨事項 推奨事項はOCのジョブ詳細のHAタブで確認できます。 ✓ 推奨事項（Suggestion）と修正パッチ（デバッグファイル）の取得が可能 16

【補足】推奨メッセージについて 推奨メッセージは、すべての回復種別（セレクタ変更、ポップアップ、タイムアウト）で表示されます。 17

【補足】修正パッチの適用について  修正パッチは「Apply」ボタンから適用できます。オブジェクトリポジトリ内のセレクタも更新されます。  ポップアップは推奨メッセージのみ 18

ヒーリングエージェントの使いどころ（機能➁ - 使いどころ結論） 実用的な推奨事項 ロボット内で以下に挙げるものを操作するケース ✓ 再現確認の難しいセレクタ情報の取得 （本番環境でしか再現しない、たまにしか発生しないセレクタの調査におさらば） ✓ バージョンアップ時のWF改修の効率化 （バージョンアップに伴うセレクタ変更は修正パッチをあてるだけ！） ※推奨事項はHAの有効化のみ（自己修復のチェックなし）で表示されます。 19

さいごに 最後までご清聴どうもありがとうございました！！ ヒーリングエージェントが活用できそうなシーンのイメージ沸きましたか？ ヒーリングエージェントは決してすべてのプロセスで有効化すべきものではありません。 使いどころを見極めて、再現性の乏しいセレクタの苦悶調査タイムから1人でも多くの UiPath Friends が解放されたらうれしいです！！ 本日お話した内容は左の記事からかい つまんだものです。HAへの関心が高まっ た方はQiitaで左の記事をみてポチっとし ていただけると幸いです(*´ω｀*) 20