#ibis2017 Description: IBIS2017の企画セッションでの発表資料

>100 Views

November 10, 17

#ibis2017 #音声対話システム #AI #自然言語処理 #機械学習 #ドメイン適応

スライド概要

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 162.4K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 86.4K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 73.6K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 57.8K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 35.8K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 29.2K

各ページのテキスト

自己紹介名前鍜治伸裕博士（情報理工学）略歴 2005 東京大学情報理工学系研究科博士課程修了 2005～2015 東京大学生産技術研究所特任准教授等 2014～2015 情報通信研究機構主任研究員 2015～現在ヤフー株式会社上席研究員研究の興味音声対話処理、言語の分散表現、ソーシャルテキスト解析 2 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

音声対話型インタフェースの時代あらゆるデバイスに人工知能が搭載されるIoT時代の到来ヒトとモノが音声対話でコミュニケーションできる世界が目前に http://i.gzn.jp/img/2016/05/10/viv/s01.jpg http://images.techhive.com/images/article/2017/01/echodothome-100704745-large.3x2.jpg 3 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

https://www.amazon.co.jp/gp/product/B00OIWNED6

（音声）対話システムは半世紀以上の歴史を持つAIの古典的問題 Eliza (Weizenbaum 66) SHRDLU (Winograd 72) https://en.wikipedia.org/wiki/ELIZA http://hci.stanford.edu/winograd/shrdlu 5 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

もう研究課題は残されていない？強化学習に基づく理論的枠組みがすでに確立対話システムに関する教科書が多数出版有限状態音声対話モデル (Young et al. 2013) 対話システム(中野ら 2015) http://www.coronasha.co.jp/np/isbn/9784339027570 6 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

http://www.coronasha.co.jp/np/isbn/9784339027570

ラボ環境から実環境へ実際にサービスを運用して初めて顕在化する課題新ドメインの迅速な追加 (Kim et al. ACL17) タスクと雑談の切り分け (Akasaki and Kaji ACL17) 本物の大規模ユーザを相手にする困難さ、面白さユーザ満足度の自動化 (Jiang et al. WWW15) システムエラー自動検出 (Sano et al. SIGDIAL17) 7 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

従来の対話システムはドメインが限定的フライト情報案内 (Price 90)、バスの時刻表案内 (Raux+ 05)、観光案内 (翠+ 11)など Let’s Go (Raux+ 05) AssisTra (翠+ 11) http://www.speech.cs.cmu.edu/letsgo http://www.nict.go.jp/publication/NICT-News/1108/03.html 9 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

10.

11.

迅速な新ドメイン作成を実現するためドメイン適応の研究が行われている Feature augmentation (Daume+ 07; Kim+16)、Multi-task learning (Jaech+ 16)、Zero-shot learning (Chen+ 16) などソースドメインのデータ（大量）天気ターゲットドメインのデータ（少量）検索地図情報ニュース 11 レシピデータ不足を補う Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

12.

13.

14.

15.

16.

17.

Satoshi Akasaki and Nobuhiro Kaji. “Chat Detection in an Intelligent Assistant: Combining Taskoriented and Non-task-oriented Spoken Dialogue Systems” In Proceedings of ACL17. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

18.

従来の対話システムはタスク型と雑談型に分けて研究されてきた • タスク型：システムに情報収集タスクを代行させるこの近くにあるイタリアン料理の店調べてはい。本郷三丁目周辺のイタリアンレストランは… • 雑談型：システムとの会話そのものを楽しむ機械学習って気になるけどなんか難しそう。思いきって勉強始めてみると良いと思いますよ！ 18 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

19.

最近のサービスではタスク型と雑談型という区別が曖昧にタスク型雑談型 SHRDLU (Winograd 72) Eliza (Weizenbaum 66) ATIS (Price 90) Let’s GO (Raux+ 05) A.L.I.C.E. (Wallace 09) アシスタント型（タスクも雑談もこなす）しゃべってコンンシェル（吉村 12） Yahoo! 音声アシスト (磯+ 13) Siri (Bellegarda 14) Cortana (Sarikaya 17) 19 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

20.

21.

教師データを構築して分類器を学習 • 15160発話をクラウドソーシングを利用してラベル付与 • 各発話ごと7名の多数決（雑談/非雑談: 4833/10327） • SVM と CNN の２つの分類器を学習、比較ラベル雑談非雑談 21 発話得票数お話ししよう趣味はなんですか？ 5 7 今月は休みがありません富士山の写真みせて 5 6 近くのおいしいレストラン 9時10分に起こして 7 7 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

22.

一工夫する：ツイートとウェブ検索ログを活用 • リプライのついたツイート≒雑談発話 USER1 @xxx USER3 @xxx やっと仕事終わったよー！おはようございます〜 USER2 @xxx USER4 @xxx @USER1 お疲れ様！ @USER3 おはよ！ • ウェブ検索ログ≒タスク要求発話東京の天気君の名は。オムライスの作り方ヤフー知恵袋それぞれGRU言語モデルを学習し対数尤度を特徴量に 22 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

23.

実験結果 • ベースライン（ツイートLM、内製）の精度を大きく改善 • 言語モデル（LM）素性の有効性を確認手法ツイート LM 内製の意図判定システム SVM SVM + ツイート/クエリ LM CNN CNN + ツイート/クエリ LM 23 分類精度 72.07 適合率 54.54 再現率 74.48 F値 62.94 78.31 91.35 92.15 62.57 87.62 88.61 79.51 84.88 86.50 70.03 86.21 87.53 90.84 91.48 87.03 87.78 83.80 85.18 85.36 86.56 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

24.

25.

Jiepu Jiang, Ahmed Hassan Awadallah, Rosie jones, Umut Ozertem, Imed Zitouni, Ranjitha Gurunath Kulkarni, and Omazr Zia Khan. “Automatic Online Evaluation of Intelligent Assistants” In Proceedings of WWW15. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

26.

本物のユーザを相手にした対話処理には正解がないので客観評価が難しい多くの学術研究の進め方客観評価が容易な部分問題を切り出して議論訓練されたアノテータが適切な対話を天下り的に定義素朴な疑問部分問題が正しく解けてユーザ経験は向上するのか？天下り的に決めた正解で本当にユーザは喜ぶのか？ 26 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

27.

セッションの満足度を推定による自動評価ユーザの行動パターンから満足度を推定するモデルを学習 SAT(満足) User Cortana, call James. Cortana Sure, call James Smith mobile, is that right? User Yes Cortana Call James Smith mobile. [call the contact] DSAT(不満) User Where is the nearest pharmacy? Cortana Here are 8 pharmacies near you. [show options on the screen] User Show me the direction to block sponsee (Clark’s pharmacy) Cortana Sorry, I couldn’t find (…) Doyou you wanna search the web for it? 27 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

28.

Action系列を特徴量に利用 User Where is the nearest pharmacy? Cortana Here are 8 pharmacies near you. [show options on the screen] Option User Show me the direction to block sponsee (Clark’s pharmacy) Select Cortana Sorry, I couldn’t find (…) Do you you wanna search the web for it? User No Cortana Here are 8 pharmacies near you. [show options on the screen] 28 Command Confirm NO Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Option

29.

30.

31.

32.

Shumpei Sano, Nobuhiro Kaji, and Manabu Sassano. “Predicting Causes of Reformulation in Intelligent Assistants” In Proceedings of SIGDIAL17. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

33.

34.

35.

36.

ログから類似発話の繰り返しを抽出しエラー原因をアノテーションエラー無し（387発話）今日の天気は？今日の転勤今日の東京の天気は晴れ… 申し訳ありませんよく分かりません… じゃあ明日の天気今日の天気は？言語理解エラー（173発話） 36 音声認識エラー（317発話）言語生成エラー（51発話）アラームあなたの名前はなんていうの？ “アラーム”のウェブ検索結果は… 私の年齢は… アラームを起動あなたの名前は？ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

37.

様々な特徴量を設計発話時間間隔編集距離 ASRの確信度修正タイプ（ADD, OMIT等） … アラーム “アラームの”ウェブ検索結果はこちらです… ASR Conf.: 0.7 Domain: ウェブ検索 Intent: SEARCH(アラーム) アラームを起動して ASR Conf.: 0.9 はい。アラームを起動します。 Domain: アラーム Intent: START domain、intent（slot値など）などの一致 37 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

38.

原因判定実験の結果 • SVM を用いて10分割交差検定 • 発話の表層情報だけでなくエラー原因ごとに作りこまれた素性を使うことでF1値が向上エラー無し音声認識言語理解言語生成エラーエラーエラーベースライン 38 0.58 0.59 0.36 0.03 ＋音声認識素性 0.66†† 0.67†† 0.35 0.16 ＋言語理解素性 0.71†† 0.65 0.43 0.25† ＋言語生成素性 0.55 0.57 0.32 0.08 提案法（＋全素性） 0.75†† 0.72†† 0.49† 0.33†† Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

39.

40.

まとめおよそ半世紀の基礎研究の期間を経て、音声対話技術は、音声対話アシスタントという形で実社会に巣立ちつつある e.g., Google Home, Amazon Echo, Line Clova, Y! Voice Assist etc. しかし、ラボ環境と実環境のギャップは依然として存在しており、現在はその差を埋めている段階これからは実環境での音声対話研究が面白くなるはず！実サービスの運用から顕在化した新しい課題 (Kim et al. 2017; Akaskai and Kaji 2017) 大勢のリアルユーザの行動分析 (Jiang et al. 2015; Sano et al. 2017) 40 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

41.