ローカル環境で動く音声対話が できるAI キャラクター作成 for 生成AI新年会2024

ローカル環境で動く音声対話が できるAI キャラクター作成 2024/01/30 ようさん

uni-llm-voice-chat ● ローカルで動く ● 各機能の入れ替えが可能 ● (処理をサーバーに載せれば)スマホでも動く https://github.com/ayutaz/uni-llm-voice-chat

• https://github.com/ayutaz/uni-llm-voice-chat

自己紹介 名前 : ようさん ● Unityエンジニア ○ ゲーム ○ VR/MR ● 生成AI周りを触っています ○ AIキャラクター ○ AI Bot ○ AIイベント (#え～あい部) X(Twitter) @ayousanz 5

6

7

目次 1. 作成したものの概要 2. 使用技術の概要と説明 3. まとめ 4. 今後の展望 8

概要 ● 音声入力の検知と音声の文字起こし ● LLMによる返信を作成 ● 作成した返信のボイスを作成

概要

使用技術概要

llama.cppのGPUオフロード GPU : RTX 2070 (GPU RAM 8GB) 比較(ChatGPT) ・ (Azure)gpt-3.5-turbo-1106 7.06ms/token ・(Azure)gpt-4-1106 30.23ms/token 引用 : OpenAI APIとAOAIでのChatGPTの推論速度を比較してみた

今後の展望 ● サンプルLLMのfine-tuning(LoRA)モデルの作成と公開 ● 他の音声合成ライブラリの対応 ● 3Dモデルや2Dモデルの対応

まとめ ● ローカルにすることで自分で調節ができる ● AIと音声対話ができるライブラリを作成・公開 ● ライブラリは今後もアップデート予定