【DeNA × AI Day】対話とデータで世界を融合させるアルムの取り組み

対話とデータで世界を融合させるアルム の取り組み 坂野哲平、佐々祥⼦、Sana 1 © DeNA Co., Ltd.

⾃⼰紹介 坂野哲平（Teppei Sakano) 株式会社アルム 代表取締役社⻑ 2001年早稲⽥⼤学理⼯学部卒業と同時に有限会社 スキルアップジャパンを設⽴。動画配信プラット フォーム事業を発展させ、2013年に事業売却。 2015年に株式会社アルムに商号変更して、医療ICT 事業へ本格参⼊。⽇本初の公的保険適応された医 療機器プログラム「Join」の研究開発に成功し、 32か国に展開中。 2018年から2年連続でForbes JAPAN 「⽇本の起業家BEST10」第5位を受賞。 2022年10⽉から DeNA グループに加わり 初のサラリーマンを経験中。 2 © DeNA Co., Ltd.

アルムは、DeNAの医療DX専⾨ベンチャー 3 © DeNA Co., Ltd.

遠隔医療システムを提供 4 © DeNA Co., Ltd.

技術は、⼈々の命を救う 5 © DeNA Co., Ltd.

医療を全⼈類に届ける 6 © DeNA Co., Ltd.

グローバルに展開 7 © DeNA Co., Ltd.

世界中の医療機関‧政府と協⼒ 8 © DeNA Co., Ltd.

世界中の医療機器メーカーと協業 9 © DeNA Co., Ltd.

世界中のAI企業と協業 10 © DeNA Co., Ltd.

⾃社研究開発 11 © DeNA Co., Ltd.

新たな社会‧未来へ向けて 出典：https://www8.cao.go.jp/cstp/society5_0/ 12 © DeNA Co., Ltd.

• https://www8.cao.go.jp/cstp/society5_0/

公的研究開発に参画 出典：https://www8.cao.go.jp/cstp/gaiyo/sip/230126/siyro2.pdf 13 © DeNA Co., Ltd.

安⼼‧安全に暮らせる健康社会へ 14 © DeNA Co., Ltd.

AI開発エコシステム 15 © DeNA Co., Ltd.

医療のビジネスと社会公益性の両⽴ 16 © DeNA Co., Ltd.

重要なのはパートナーシップ 17 © DeNA Co., Ltd.

⾃⼰紹介 佐々祥⼦（Shoko Sassa) 株式会社アルム メディカルDX部ライフサイエンスグループ 化粧品企業で肌の基礎研究や新事業検討を経て、 2019年DeNAライフサイエンスに⼊社。 データサイエンティストと志つつ、気づいたらビ ジネスサイドに転⾝。MYCODEのプラットフォー ムを活⽤した研究⽀援事業を担う。 現在は、アルムで内閣府からの 研究受託プロジェクトを担当。 マネジメントに取り組む。 18 © DeNA Co., Ltd.

内閣府 戦略的イノベーション創造プログラム事業 出典：https://www8.cao.go.jp/cstp/society5_0/ 19 © DeNA Co., Ltd.

• https://www8.cao.go.jp/cstp/society5_0/

⼈協調型ロボティクスの拡⼤に向けた基盤技術‧ルールの整備 出典：https://www8.cao.go.jp/cstp/gaiyo/sip/230126/siyro2.pdf 20 © DeNA Co., Ltd.

⼈協調型ロボティクスの拡⼤に向けた基盤技術‧ルールの整備 ８つのテーマが連動して社会実装を目指す アルム担当 他テーマ スマホアプリ データ連携基盤 ロボット関連技術 積極的・継続的な 利用を促進できる ユーザーインタフェース マルチモーダルな データ連携を行う 情報基盤 1. ハンド・アーム系・自立移動ロボット、人情 報取得技術 2. 生活空間で使用できるビジョン系技術 3. 人やものを安全に可搬できるモバイルベース 4. モバイルバッテリー低消費電力半導体 基盤技術 開発 対話AIアプリ 社会実装 技術開発 21 他テーマ 6. 超高齢社会における世代を超えた人々が直面する社会課題の解決 7. 住宅・ビル・ホテル等の社会実装技術開発 8. 生活空間での人協調ロボティクスの円滑な導入・活用・メンテサービス © DeNA Co., Ltd.

スマホアプリ開発とデータ基盤連携構築で⽬指す未来 「対話」から健康情報を収集 ロボティクス データベース 家族と情報共有 22 © DeNA Co., Ltd.

スマホアプリ開発とデータ基盤連携構築で⽬指す未来 センシングデバイスから ライフログ（⾎圧、睡眠など）を取得 ロボティクス データベース ユーザー本⼈‧家族と 情報共有 23 © DeNA Co., Ltd.

スマホアプリ開発とデータ基盤連携構築で⽬指す未来 「対話」で指⽰ ロボティクス データベース 24 指⽰に合わせ、 ハードデバイスが作動 © DeNA Co., Ltd.

スマホアプリ開発とデータ基盤連携構築で⽬指す未来 「対話」で伝える‧知る‧共有する ロボティクス データベース 25 © DeNA Co., Ltd.

課題間連携テーマ 26 〜⼈協調型ロボティクス×統合型ヘルスケア〜 © DeNA Co., Ltd.

統合型ヘルスケアシステムの構築 インシデント検知/予測を⾏い、看護/介護負担を軽減 インシデント検知 見守り AI群 アラート通知 リスク検知 領域 服薬管理 領域 インプット 27 © DeNA Co., Ltd.

課題間連携テーマが⽬指す未来 ⼈協調型ロボティクスの拡⼤に 向けた基盤技術‧ルールの整備 統合型ヘルスケアシステムの構築 ロボティクスデータベース Teamデータベース 客観的に捉えきれなかった容態/状態を⾒える化 28 © DeNA Co., Ltd.

課題間連携テーマが⽬指す未来① センシングデバイス 容態 モニタリング ロボティクス データベース 29 Team データベース © DeNA Co., Ltd.

課題間連携テーマが⽬指す未来① センシングデバイス 容態 モニタリング ロボティクス データベース Team データベース 被介護者 自然言語での 会話 30 © DeNA Co., Ltd.

課題間連携テーマが⽬指す未来① センシングデバイス 容態 モニタリング ロボティクス データベース Team データベース 被介護者 自然言語での 会話 在宅時の急性増悪の検出 31 ！ © DeNA Co., Ltd.

課題間連携テーマが⽬指す未来② センシングデバイス 容態 モニタリング ロボティクス データベース 32 Team データベース © DeNA Co., Ltd.

課題間連携テーマが⽬指す未来② センシングデバイス 容態 モニタリング ロボティクス データベース Team データベース 介護者 自然言語での 会話 33 © DeNA Co., Ltd.

課題間連携テーマが⽬指す未来② センシングデバイス 容態 モニタリング ロボティクス データベース Team データベース 介護者 自然言語での 会話 34 介護負担の⾒える化 ！ © DeNA Co., Ltd.

「対話」の活⽤構想 今⽇はちょっと冷えるね。 あ、さっき朝の薬飲んだわよ。 今⽇は今週⼀番の冷え込みが 予想されるみたいですよ。エアコンの 温度を上げましょうか？ エアコンの温度は今 のままでいいわ。 そうそう、その3錠を 飲んだのよ。 分かりました。 朝のお薬を飲んだのですね。 薬AAを1錠と薬BBを2錠を 飲みましたか？ 教えてくれてありがとうございま す。記録しておきますね。 35 © DeNA Co., Ltd.

「対話」の活⽤構想 データを構造化して蓄積 感情分析 2025/2/5 服薬情報 日付 時間 服薬情報 薬AA 2025/02/05 09:00 ストレス 喜び 期待 動揺 薬BB 2025/02/05 09:00 薬CC 2025/02/05 20:30 薬DD 2025/02/05 20:30 興奮 ⾃信 センシングデバイス × 対話で 客観的に捉えきれなかった容態/状態を⾒える化 36 © DeNA Co., Ltd.

プロジェクトでの具体的な取り組み 対話機能を例に、最先端のAI活⽤を紹介 37 © DeNA Co., Ltd.

⾃⼰紹介 Sana 株式会社ディー‧エヌ‧エー データ統括部AI技術開発部 AIエンジニア。 2022年にDeNAに新卒⼊社。 ⾳声の認識‧合成‧変換等を扱う⾳声グループ（現在は改組）にて ⾳声AIの事業応⽤に関する業務に従事。 現在は、ChatGPTを始めとするLLM技術と ⾳声AI技術を応⽤したプロダクト開発において、 R&D‧LLM Ops‧その他エンジニアリングを担当。 38 © DeNA Co., Ltd.

AI⾳声対話システムの開発 テキスト対話ではなく⾳声対話を採⽤ ● 介護領域などでは⾼齢者がターゲットになる カスケーディング⾳声対話モデルを採⽤ ● ⾳声認識（ASR）→⼤規模⾔語モデル（LLM）→⾳声合成（TTS） とモデルを直列に連結する⽅式 ⾳声 で応 カスケーディングにした理由は？ 答 話しかける 各モデルの選定理由は？ ASR 39 LLM TTS © DeNA Co., Ltd.

AI⾳声対話システムの開発 カスケーディングにした理由は？ Speech to Speechモデル（LMM）と⽐べて ● 局所的な技術⾰新を反映させやすい ● Chain-of-Thought*1やAI Agent Architectures*2を実装しやすい ○ ○ *1 LLMが⼈間の思考を模倣し、段階的に処理を遂⾏することで精度を向上するプロンプティング技術 *2 「思考‧認識‧⾏動」を⾏う⾔語モデルエージェントを組み合わせ、 特定の⽬標を達成するための計画と実⾏を⾏うシステム構造 各モデルの選定理由は？ ⾳声 で応 答 ● Local‧APIの使い分け ● ⽤途別のLLMの使い分け 40 話しかける ASR LLM TTS © DeNA Co., Ltd.

⾃然な対話からロボットを操作する機能の開発 ⾳声認識 データ 基盤 ⾳声 VAD ⾳声合成 過去対話 対話内容 ASR 応答Text ⾳声応 ⼒ ⾳声⼊ ⾳声認識 ⾼速LLMを⽤い 応答に要する時間 を繋ぐ役割 より⼈間味のある ⾃然な対話を⾏う 効果 41 TTS 応答⾳声 答 ⾳声合成 対話LLM群 対話内容 複数の機能を ルーティングする 役割 フレーズ分割 認識結果 対話LLM群 相槌⽣成 ルータ ：LLM 雑談 機能実⾏ 応答⽣成 応答Text 応答Text 清掃ロボ機能 応答Text 配膳ロボ機能 応答Text 受付ロボ機能 応答Text © DeNA Co., Ltd.

より⾃然な対話に向けた検討 発話に対して適切な相槌を返す機能 ● 発話内容に応じて分類(1) ○ 事実報告に対する相槌 ○ 感情表出に対する相槌 ⾼速化に向けたモデル検討 ● Local ASR→Local LLM ● LMMの部分的な利⽤ ⾳声ストリーム ⾳声認識 42 ⾼速LLM 相槌の⽣成 ⾳声合成 ⾼性能 LLM 回答の⽣成 ⾳声合成 回答⽣成に要する 時間を繋ぐ役割 (1) 井上恵利佳・原田祐介・上山あゆみ (2020) 「機能による相槌の分類」 言語処理学会 第26回年次大会発表論文集 © DeNA Co., Ltd.

様々なベンチマークによるLLMの選定 Few-shot Learning ReAct (Reasoning and Acting) LLMへの質問で問題解決は当たり前、「使う」から「使いこなす」へ。 CoT (Chain-of-Thought) RAG (Retrieval-Augmented Generation) AI時代におけるエンジニアの事業貢献 TTFT (Time To First Token) API全盛期こそローカルモデルの活⽤もフラットに検討 LMM (Large Multimodal Model) 43 AI Agent Architectures © DeNA Co., Ltd.