テキスト生成AI活用術～Mayaで動くサポートエージェントを作ってみよう！～

5.2K Views

November 10, 23

#maya #ai #python #gpt4 #agent #LLM #AI #Maya #OpenAI API #Function Calling

スライド概要

2023年11月に行われたCGWORLD 2023 CREATIVE CONFERENCE の講演資料です。

日時：11月10日（金）18:30–19:30
タイトル：テキスト生成AI活用術～Mayaで動くサポートエージェントを作ってみよう！～

※※※　以下、内容に関して補足になります　※※※

・本講演は2023/11/10に放送されましたが、収録は10月末時点でのものです。11/6の OpenAI DevDayで発表された内容（gpt-4-1106-previewなど）は反映されていません。
・p12：学習能力も備わっていないとエージェントとは呼ばない考え方もあるみたいです。本セッションの例は「ツールAI」と呼んだ方が正しいかもしれません。
・p23：11/6にオープンベータを終えてv1.1.0がリリースされました。
・p87：よく考えたらファイルアップロードすれば出来ちゃいますね。さらに今は入力コンテキスト長も増えたので直に貼ることも出来そうです。
・p94：11/6にGPT-4VのAPI来ました。そもそも来ていなくてもBLIPなどを使えば視覚を与えることができたかもしれません。また、コストも下がりました。
・p95：本講演の例はユーザーの命令をトリガーに動き出すので「半自律」と呼ぶ方が相応しいかと思います。本当の意味での「自律型エージェント」はもっと先にあるなんかすごいヤツかと！

赤崎弘幸｜Hiroyuki Akasaki

@akasaki1211

スライド一覧

Jet Studio Inc.という3DCGの会社で雑用やってます。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 5.92MB)

関連スライド

Bifrost for Mayaで作るプロシージャルアニメーション

maya bifrost rigging animation procedural 3dcg

赤崎弘幸｜Hiroyuki Akasaki 7.8K

【CGWORLDゼミ】ジェットスタジオキャラメイクセミナー

3dcg character

赤崎弘幸｜Hiroyuki Akasaki 1.9K

3dsMax＋UE4 ～映像制作におけるリアルタイムエンジンの活用～

ue4 3dsmax

赤崎弘幸｜Hiroyuki Akasaki 1.2K

猫でも分かるUnreal Engineの学び方 - 超初心者向け編 - 2023 v1.0

ue4 ue5 ue-beginner

エピックゲームズジャパン 1.3M

Unreal Engine5 Lumenの仕組みと肝心なところ

ue5 ue-rendering ue-lumen

エピックゲームズジャパン 1.1M

最新の6.0で学ぶ！初めてのひとのためのSpring Security

java spring security

tada 1M

各ページのテキスト

Case.1『マニュアル渡すからよく読んで完成してるモーションだけFBX書き出ししといて。』 twitter.com/akasaki1211/status/1716746810403029290 Case.2『シーン内のモデルをカテゴリごとにgroup化しといて。変な名前あったらついでに直しといて。』 twitter.com/akasaki1211/status/1716746814265929847 Case.3『キャラの最新モデルシーンにmGearのガイド読み込んでビルドしといて。ガイドのファイルは探して。終わったらExportして。』 twitter.com/akasaki1211/status/1716746817214554429 © 2023 Jet Studio Inc.

このセッションで何が得られるか ● 最新LLM（大規模言語モデル）で何が出来るか ○ ○ 今後何がAI化されていきそうかはたしてCG屋に関係はあるのか ● 実装例 ○ ○ Maya上で動作 Powered by GPT-4 ※現時点でいきなり実用的に動かせるほどではないです。期待しすぎないでください！あくまで「LLMのポテンシャルを探る」という観点でお願いします。 © 2023 Jet Studio Inc.

自己紹介 ● ● ● ● 赤崎弘幸 (Hiroyuki Akasaki) 株式会社ジェットスタジオ (2010~現在) チーフディレクター普段の業務 ○ ○ ○ アセット (主にキャラモデル＋リグ) 系の案件ディレクション多め。 CG制作現場全体の管理。技術サポート。社内ツール開発。R&D。その他雑用。 ● X (旧Twitter) : @akasaki1211 © 2023 Jet Studio Inc.

10.

https://www.youtube.com/watch?v=6WcczfWlUOs

11.

LLM（大規模言語モデル）とは ● ● ● ● ● GPT-4 [OpenAI] LLaMA2 [Meta] PaLM2 [Google] StableLM [StabilityAI] Claude2 [Anthropic] ● ● ● ● ● HyperCLOVA [LINE] LLM-jp-13B [LLM-jp] rinna gpt-neox [rinna] OpenCALM [CyberAgent] Weblab-10B [松尾研] …他多数 © 2023 Jet Studio Inc.

12.

13.

14.

15.

16.

LLMベースのエージェント関連論文 LLM駆動のエージェントがHOT🔥 GitHub - WooooDyy/LLM-Agent-Paper-List: The paper list of the 86-page paper "The Rise and Potential of Large Language Model Based Agents: A Survey" by Zhiheng Xi et al. ● ● ● ● ReAct: Synergizing Reasoning and Acting in Language Models Generative Agents: Interactive Simulacra of Human Behavior Voyager: An Open-Ended Embodied Agent with Large Language Models etc… © 2023 Jet Studio Inc.

17.

open-interpreter GitHub - KillianLucas/open-interpreter ● なんか巷で話題🚀 ● 与えられた目的に対し、自動でプログラミングして実行してくれる。 ● 例えば『最新データをネットから引っ張ってきてグラフにプロットして』とかが全自動。 ● GPT-4にexecute関数（引数は言語とコードの2つ）を与え、Function calling で関数呼び出しが無くなるまで無限ループ。 ○ © 2023 Jet Studio Inc. ※あと、最初にRAGでシステムプロンプトに追加情報付け足してる。

18.

19.

20.

環境 ● ● ● ● ● ● Windows 10 Autodesk Maya 2024 (Python 3.10.8) Visual Studio Code openai 0.28.1 python 3.10.11 (必須ではない) git (必須ではない) python -m venv venv venv¥scripts¥activate pip install -U openai[datalib] cd C:¥Program Files¥Autodesk¥Maya2024¥bin mayapy -m pip install -U openai[datalib] -t C:¥Users¥<USERNAME>¥Documents¥maya¥2024¥scripts¥site-packages © 2023 Jet Studio Inc.

21.

https://platform.openai.com/account/api-keys

22.

23.

その前に軽くAPIの使い方 Chat Completion ● APIリファレンス : Create chat completion | API Reference - OpenAI API ● Cookbook : How to format inputs to ChatGPT models | OpenAI Cookbook ● Pythonライブラリ : The official Python library for the OpenAI API ※本スライドで扱うのはv0.28.1時点での書き方です。v1.x (現在ベータ) で仕様が変わります。詳細はこちら：v1.0.0 Beta · openai openai-python · Discussion #631 · GitHub © 2023 Jet Studio Inc.

24.

[beta]

基本形 :
● openai.ChatCompletion.create()にメッセージ配列やその他オプションを渡す
import openai
response = openai.ChatCompletion.create(

model="gpt-3.5-turbo",
messages=[
{"role": "system", "content": "語尾に「にゃ」を付けて答えてください"},
{"role": "user", "content": "Mayaとはどんなソフトですか？"}

]
)
import json
print(json.dumps(response, indent=4, ensure_ascii=False))

© 2023 Jet Studio Inc.

25.

[beta]

● 返答文とその他追加情報が返ってくる
{
"id": "chatcmpl-8DYnnkLjtwVeQpQcPP5R2QS8IxWJ4",
"object": "chat.completion",

"created": 1698242735,
"model": "gpt-3.5-turbo-0613",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "Mayaにゃんとは、3Dコンピューターグラフィックスソフトウェアにゃ！"
},
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 44,
"completion_tokens": 35,
"total_tokens": 79
}
}
© 2023 Jet Studio Inc.

26.

[beta]

● messagesに会話履歴を足していく（足すのはこっちでやる）
response = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=[
{"role": "system", "content": "語尾に「にゃ」を付けて答えてください"},
{"role": "user", "content": "Mayaとはどんなソフトですか？"},
response["choices"][0]["message"],
{"role": "user", "content": "他にはどんなソフトがある？"},

]
)

{
## (中略) ##
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "たくさんの3Dソフトがにゃ！例えば、3ds MaxにゃんやBlenderにゃん、Cinema 4Dにゃんなどがあるにゃ！"

},
"finish_reason": "stop"
}
],
## (中略) ##
}
© 2023 Jet Studio Inc.

27.

28.

29.

30.

[beta]

● openai.ChatCompletion.create()に関数情報を渡す
import openai
response = openai.ChatCompletion.create(
model="gpt-3.5-turbo-0613",
messages=[{"role": "user", "content": "今日の東京の天気は？"}],
functions=[
{
"name": "get_current_weather", # 関数名
"description": "指定した場所の現在の天気を取得する", # 説明
"parameters": { # 引数
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "場所。例：東京, 大阪, 福岡, など",
},
},
"required": ["location"],
},
}

]
)

© 2023 Jet Studio Inc.

31.

● （GPTが関数を使いたい場合は）使いたい関数名と引数が返ってくる { ## (中略) ## "choices": [ { "index": 0, "message": { "role": "assistant", "content": null, "function_call": { "name": "get_current_weather", "arguments": "{¥n ¥"location¥": ¥"東京¥"¥n}" } }, "finish_reason": "function_call" } ], ## (中略) ## } © 2023 Jet Studio Inc.

32.

[beta]

# 天気を返す関数（仮）。実際はここで外部APIなどに問い合わせする。

def get_current_weather(location):

例：

weather_info = {
"location": location,
"temperature": "24度",
"forecast": "晴れ",
}
return json.dumps(weather_info, ensure_ascii=False)

# 関数を動的に取得するための辞書
available_functions = {
"get_current_weather": get_current_weather,
}
# 関数リスト
functions = [

{
"name": "get_current_weather", # 関数名
"description": "指定した場所の現在の天気を取得する", # 関数の説明
"parameters": { # 関数の引数。JSON Schemaで記述。https://json-schema.org/understanding-json-schema/
"type": "object",
"properties": {
"location": {

"type": "string",
"description": "場所。例：東京, 大阪, 福岡, など",
},
},
"required": ["location"],
},
}
]

© 2023 Jet Studio Inc.

https://json-schema.org/understanding-json-schema/

33.

[beta]

def run(prompt:str):
# 会話履歴（messages）の準備
messages = [{"role": "user", "content": prompt}]

while True:
# APIリクエスト
response = openai.ChatCompletion.create(
model="gpt-3.5-turbo-0613",
messages=messages,
functions=functions,
function_call="auto"
)

finish_reason = response.choices[0]["finish_reason"]
response_message = response.choices[0]["message"]
# 返答をmessagesに追加
messages.append(response_message)
# 関数を使いたいかどうか確認

if finish_reason == "function_call":
# 使いたい場合、関数名と引数を取得して実行
function_name = response_message["function_call"]["name"]
function_args = json.loads(response_message["function_call"]["arguments"])
function_output = available_functions[function_name](**function_args)
# 関数の結果をmessagesに追加

messages.append({"role": "function", "name": function_name, "content": function_output})
else:
# 使いたくない場合は終了
break
return messages

© 2023 Jet Studio Inc.

34.

messages = run("今日の東京の天気は？") print(json.dumps(messages, indent=4, ensure_ascii=False)) [ { "role": "user", "content": "今日の東京の天気は？" }, { "role": "assistant", "content": null, "function_call": { "name": "get_current_weather", "arguments": "{¥n¥"location¥": ¥"東京¥"¥n}" } }, { "role": "function", "name": "get_current_weather", "content": "{¥"location¥": ¥"東京¥", ¥"temperature¥": ¥"24度¥", ¥"forecast¥": ¥"晴れ¥"}" }, { "role": "assistant", "content": "今日の東京の天気は晴れで、気温は24度です。" } ] © 2023 Jet Studio Inc.

35.

36.

天気じゃなくてコード実行関数に置き換える。関数はコード（コード内にprint書かせる）を受け取り、実行して標準出力を返す。 ### 選択したオブジェクトの位置をy方向に+5するスクリプト ### import maya.cmds as cmds selected_objects = cmds.ls(selection=True) for obj in selected_objects: current_position = cmds.getAttr(obj + ".translateY") new_position = current_position + 5 cmds.setAttr(obj + ".translateY", new_position) print(f"{obj} のY位置が {current_position} から {new_position} に変更されました。") © 2023 Jet Studio Inc.

37.

38.

39.

40.

41.

42.

43.

44.

1. 2. 3. 4. 5. 6. 7. 8. 👦: シーンにあるポリゴン板の頂点を上下にランダム移動してボコボコにしてほしい。 🤖: まず、シーン内のポリゴン板を特定し、その頂点を取得する必要があります。その後、各頂点をランダムに上下に移動します。 💻: exec_code -> result : ['pCubeShape1', 'pPlaneShape1', 'pSphereShape1'] 🤖: シーン内には 'pCubeShape1', 'pPlaneShape1', 'pSphereShape1' の3つのポリゴンオブジェクトが存在します。ポリゴン板は 'pPlaneShape1' と推測します。ポリゴンオブジェクトの頂点を取得します。 💻: exec_code -> ['pPlane1.vtx[0]', 'pPlane1.vtx[1]', 'pPlane1.vtx[2]', 'pPlane1.vtx[3]', ... 🤖: ポリゴンオブジェクトの頂点を取得しました。'pPlaneShape1' の各頂点を上下にランダムに移動します。 💻: exec_code -> Vertices have been moved randomly. 🤖: 'pPlaneShape1' の各頂点を上下にランダムに移動しました。以上でタスクを完了します。 © 2023 Jet Studio Inc.

45.

46.

47.

48.

49.

50.

51.

52.

53.

54.

55.

56.

57.

https://www.ibm.com/blogs/solutions/jp-ja/retrieval-augmented-generation-rag/

58.

59.

60.

61.

62.

基本形 : ● openai.Embedding.create()にテキストを渡す import openai text = "猫" response = openai.Embedding.create( input=[text], model="text-embedding-ada-002" ) import json print(json.dumps(response, indent=4, ensure_ascii=False)) © 2023 Jet Studio Inc.

63.

[beta]

● embedding（1536次元のベクトル）とその他追加情報が返ってくる
{
"object": "list",
"data": [

{
"object": "embedding",
"index": 0,
"embedding": [
-0.007977989502251148,
-0.009937843307852745,
-0.010597726330161095,
## (中略) ##
-0.003461088053882122,
-0.02760951966047287
]
}
],
"model": "text-embedding-ada-002-v2",
"usage": {
"prompt_tokens": 3,
"total_tokens": 3
}
}
© 2023 Jet Studio Inc.

64.

[beta]

import numpy as np
import openai
def get_embedding(text:str, engine="text-embedding-ada-002", **kwargs):
""" 与えられたテキストの埋め込みベクトルを取得する """
return openai.Embedding.create(input=[text], engine=engine, **kwargs)["data"][0]["embedding"]
def cosine_similarity(a, b):
""" 2つのベクトル間のコサイン類似度を計算する """
return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
# テキストのリスト
texts = ["動物","植物","乗り物","建物"]
# 各テキストの埋め込みベクトルを取得し、辞書のリストとして保存する
embeddings = [{"text": t, "embedding": get_embedding(t)} for t in texts]

for s in sorted_scores:
print(s)

# クエリの埋め込みベクトルを取得する
query_embedding = get_embedding("猫")

# 出力:
('動物', 0.8673454180180918)

# クエリの埋め込みベクトルと各テキストの埋め込みベクトルとのコサイン類似度を計算する

('植物', 0.8389430771237997)

scores = [(data["text"], cosine_similarity(query_embedding, data["embedding"])) for data in embeddings]

('建物', 0.8142869467061629)
('乗り物', 0.7896206872541609)

# 類似度の高い順にソートする
sorted_scores = sorted(scores, key=lambda x: x[1], reverse=True)

© 2023 Jet Studio Inc.

65.

66.

67.

主要クラス ● VectorStore ○ ○ ベクトルストア(JSON)をロードして保持検索語句を受け取ってベクトルストア内を近傍探索し結果を返す機能 ● FunctionSetWithVectorSearch ○ ○ FunctionSetを継承して検索関数の機能を追加コンストラクタでVectorStoreを受け取って保持これでエージェントは「コード実行」に加え「文書検索」の能力を得る © 2023 Jet Studio Inc.

68.

69.

[beta]

1.
2.
3.
4.

5.
6.
7.
8.

👦: 腕の伸びが1.5倍くらいでストップしちゃうんだけど、無限に伸びるようにできん？
🤖: まず、リグのコントローラー名とその機能を調べるために、リグ操作マニュアルを検索します。
💻: search_manual -> result : armUI_R0_ctlのarm_maxstretchアトリビュートで右腕の最大伸縮率を指定できます。
1.0で腕が伸びなくなります。同じくarmUI_L0_ctlのarm_maxstretchアトリビュートで…
🤖: リグ操作マニュアルから得られた情報によると、腕の伸びを制御するには`armUI_R0_ctl`の`arm_maxstretch`ア
トリビュート（右腕）と`armUI_L0_ctl`の`arm_maxstretch`アトリビュート（左腕）を使用します。これらのアトリ
ビュートを無限大に設定してみましょう。
💻: exec_code -> RuntimeError: File "<string>", line 4, in <module>: setAttr: Cannot set the attribute
'armUI_R0_ctl.arm_maxstretch' past its maximum value of 99.
🤖: エラーメッセージによると、'armUI_R0_ctl.arm_maxstretch'と'armUI_L0_ctl.arm_maxstretch'のアトリビュート
は最大値99までしか設定できないようです。これらのアトリビュートを最大値99に設定してみましょう。
💻: exec_code -> Right arm max stretch: 99.0 Left arm max stretch: 99.0
🤖: 右腕と左腕の最大伸縮率がそれぞれ99.0に設定されました。

© 2023 Jet Studio Inc.

70.

71.

本セッションの実装コード github.com/akasaki1211/maya_agent/tree/cc2023 ● ここまでの実装（+α）をGitHubに置いておきます。 ● README.mdの手順でそのまま動くと思います。 ● 講演時点で以下が追加されてます。 ○ ○ markdown形式でログ出力する機能 autoモードのオンオフ：オフにすると関数実行前に毎回確認ダイアログが出る ● 本セッションの補足資料としてcc2023ブランチはあまり変えずに止めておきます。mainブランチはいろいろ変えるかもです。 © 2023 Jet Studio Inc.

https://github.com/akasaki1211/maya_agent/tree/cc2023

72.

73.

74.

75.

76.

77.

78.

79.

80.

81.

82.

83.

84.

85.

86.

87.

88.

89.

90.

91.

92.

93.

途中で人間が助言した場合 👦: シーンにあるポリゴン板の頂点を上下にランダム移動してボコボコにしてほしい。 🤖: まず、シーン内のポリゴン板を特定し、その頂点を取得する必要があります。その後、各頂点を上下にランダムに移動します。 3. 💻: exec_code -> result : ['pCubeShape1', 'pPlaneShape1', 'pSphereShape1'] 4. 🤖: シーン内には 'pCubeShape1', 'pPlaneShape1', 'pSphereShape1' の3つのポリゴンオブジェクトが存在します。次に、これらのオブジェクトからポリゴン板を特定します。ポリゴン板は、面が1つだけのオブジェクトとして定義します。それでは、ステップ2に進みましょう。 5. 👦: いや、名前で判定すればいいと思うよ。 6. 🤖: 了解しました。シーン内のオブジェクト名を使用してポリゴン板を特定します。ポリゴン板の名前には一般的に 'plane' が含まれています。それでは、そのように特定してみましょう。 7. 💻: exec_code -> ['pPlaneShape1'] 8. 🤖: シーン内のポリゴン板 'pPlaneShape1' を特定しました。このポリゴン板の頂点を取得します。 9. 💻: exec_code -> ['pPlane1.vtx[0]', 'pPlane1.vtx[1]', 'pPlane1.vtx[2]', 'pPlane1.vtx[3]', ... 10. 🤖: 次に、これらの頂点を上下にランダムに移動します。 11. 💻: exec_code -> Vertices have been moved. 12. 🤖: ポリゴン板 'pPlaneShape1' の頂点を上下にランダムに移動しました。これでタスクは完了です。 1. 2. © 2023 Jet Studio Inc.

94.

95.

96.

97.