あなたの知らないVRとAIチャットボットの裏側の話
165 Views
December 05, 17
スライド概要
2017.12.5に行われた Okinawa Open Days 2017 で登壇したときの資料です。VR動画やチャットボット系を自由に話させてもらいました。
関連スライド
各ページのテキスト
Okinawa Open Days 2017 あなたの知らないVRとAIチャットボットの裏側の話 アイレット株式会社
☁ アイレット株式会社 執行役員 執行役員 / エバンジェリスト 後藤 和貴 fb.com/kaz.goto @kaz_goto • cloudpackエバンジェリスト • マーケティングコミュニケーション • デザインセクション、動画サービス開発
2003年10月15日 資本金 7,000万円 代表取締役社長 齋藤 将平 従業員数 213名 拠点 東京・大阪・名古屋 設立 システム開発事業 cloudpack事業 IoT開発事業
7 年間AWSのみで運用保守 4社 7年間 840 2800 プロジェクト超 社超
日本放送協会様 第66/67回NHK紅白歌合戦
☁ 大晦日4時間半リアルタイム進 行 ☁ 同時数十万接続 ☁ 生放送中にスマホアプリにアー ティストや楽曲情報が配信され る ☁ リアルタイムにアーティスト情 報、中間投票、最終投票の様子 を集計・表示
毎日放送 MBS動画イズム444
完全サーバーレス 動画配信サービス ☁ Lambda, API Gateway, S3, Congnito, SQS ☁ kintote, SendGrid, Brightcove ☁ システム開発だけでなく、 デザイン実装まで
スクエアエニックス『King’s Knight』
キングスナイト -Wrath of the Dark Dragon- 世界120カ国で配信 スマートデバイス300機種以上 スマートデバイスの動作テストの自動化を支援
個人的 2017年流行り物
の、前に…
Day1 Keynoteのイイ感じの写真いれる
re:Inventで発表した新機能 ☁ ECS for Kubernates ☁ Amazon Transcribe ☁ AWS Fargate ☁ Amazon Translate ☁ Aurora Multi-Master ☁ Amazon Comprehend ☁ Aurora Serverless ☁ AWS IoT 1-Click ☁ DynamoDB Global Tables ☁ AWS IoT Device Management ☁ Amazon Neptune ☁ AWS IoT Device Defender ☁ S3 Select, Glacier Select ☁ AWS IoT Analytics ☁ Amazon SageMaker ☁ Amazon FreeRTOS Alexa for Business ☁ AWS DeepLens ☁ AWS Cloud9 ☁ Amazon Rekognition Video ☁ AWS Serverless Application Repository ☁ Amazon Kinesis Video Streams
個人的 2017年流行り物
個人的ハマりものオブザイヤー
VR
製品群 ☁ PSVR, Oculus, バンダイナムコ施設、セガ、そ の他
https://www.gartner.co.jp/press/html/pr20170823-01.html
360度映像ライブ配信 ☁ 360度撮影 • スティッチング、エンコード、スイッチング ☁ インジェスト • トランスコーダー（変換）へ打ち上げる ☁ トランスコード • 複数の解像度・音声の変換 • プレイヤー毎に対応するフォーマット（コンテナ）へ • 暗号化・DRM ☁ 配信 • CDN ☁ 再生・プレイヤー • スマートフォン＋簡易VRスコープ（ハコスコ、その他レンズ） • スマートフォン＋専用VRスコープ（Gear VR, HTC Vive） • PC＋専用ヘッドマウントディスプレイ（Oculus, PSVR）
動画配信のトレンド ☁ 動画データ伝送方式 • ストリーミング（専用プロトコル） HTTPダウンロード HTTPストリーミング ☁ マルチデバイス対応 • PC、スマホ、タブレット、TV、4K、5K… ☁ マルチビットレート・マルチサイズ • 回線（ADSL、光、3G、LTE…）
動画フォーマットと ストリーミング方式 ☁ フォーマット？ • H.264、WMV、AVI、RealVideo… • MP3、AAC、WMA… ☁ ストリーミング方式？ • ダウンロード、プログレッシブダウンロード • HLS、MPEG DASH、Smooth Streaming
コンテナとコーデック ☁ コンテナ＝器 • 映像データと音声データを合わせて パッケージング方式 • 複数の映像・音声が含まれることも ☁ コーデック • 映像および音声のフォーマット • 要するに圧縮方式 コンテナ: .mp4, .flv, .mov, .wmv… 映像コーデック H.264 Motion JPEG RealVideo VP8 WMV９ 音声コーデック AAC WMA MP3 ALAC
Netflix, YouTubeなど大手がすでにMPEG-DASH対応済み… http://www.slideshare.net/AmazonWebServicesJapan/awswebinaraws
コンテンツ保護 ☁ アクセス制限 • IP制限、リージョン制限 • ユーザー認証 ☁ HLS暗号化 • 映像ストリームのリッピング防止 • 復号化キー・ローテーション ☁ Digital Rights Management • ライセンス管理 • 固有のデバイスへの認証
マルチビットレート ☁ Adaptive BitRate http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/How-to-Encode-Video-for-HLS-Delivery-95251.aspx
動画広告 ☁ プリロール・ミッドロール・ ポストロール ☁ インバナー・インリード・ インフィード ☁ インタースティシャル
会場・機材など ☁ 現場チェック • 撮影場所、電源、ネットワーク、スク リーンと登壇者の位置、カメラ数、音 声入力方法… ☁ 機材準備 • ビデオカメラ、ウェブカム • PC、LiveShell • 三脚、マイク • ガムテープ
制作会社 cloudpack 視聴者 iPhone Wirecastなど 配信ソフト （オプション） ELEMENTAL （エンコード） EC2 （コンテンツ配信用 オリジンサーバー） S3（録画アーカイブ保存） Android CloudFront （コンテンツ配信） AWS Cloud PCブラウザ
4K映像によるライブストリーミング 青森ねぶた祭 花火大会 土浦全国花火競技大会＜会場＞ 青森ねぶた祭花火大会（会場） RTMP エンコーダPC フレッツ光 秋葉原UDXビジョン クラウドゲートウェイ アプリパッケージ NTT 東日本 ネットワーク MPEG-DASH フレッツ光 映像：4K 30Mbps / 音声：AAC 256kbps 視聴用PC
Enabling New Applications: Cloud VR/AR Founded in 2012: Belmore Capital + Xilinx Capital + NSF + Customers Mobile Desktop Cloud Technology: Realtime low latency video codec in hardware (RTL FPGA) World's top experts in low latency video compression (~15 people) Team has 10 years experience of low latency video codec hardware 1 granted + 8 pending patent applications + trade secrets on low latency HQ in Sunnyvale CA Live Transcoding Demo (H.264 to H.265) Smartphone Powered Performance limited Limited battery life Poor positional tracking Standalone Performance limited Limited battery life Tethered Tether System cost Un-Tethered (WiFi) Low Latency codec Error robustness System cost 4.5G / Fiber + WiFi Low latency network Local datacenter Low Latency codec Error robustness Live stream (HD H.264 5Mbps) Live stream (HD H.265 2.5Mbps) https://www.slideshare.net/AmazonWebServices/aws-reinvent-2016-deep-learning-3d-content-rendering-and-massivelyparallel-compute-intensive-workloads-in-the-cloud-cmp317
AI/チャットボット
SMART SPEAKER CHAOS MAP 2017 AI Voice Assitant Skill Tool Contact [email protected] AI Voice Assitant Device Tool Alexa Skills Kit Alexa Skill Builder Media AI Voice Assitant Skill Tool Alexa Voice Service Recruit Consulting Apple Actions on Google AI Voice Assitant Skill Tool SiriKit Head Phone / Earphones / Wearable Device Amazon Amazon Amazon Amazon Amazon Echo(1st) Echo Dot Echo Look Echo Show Echo(2nd) Echo Plus ONKYO ONKYO Amazon TOSHIBA Google Google Google Home Google Home Mini Amazon Amazon ONKYO Lenovo Echo Spot Tap VA-FW40 VC-FLX1 VC-PX30 TH-GW10 Smart Assistant Google Anker Google Home Max Zolo Mojo SONY Panasonic ONKYO JBL LF-S50G SC-GA10 VC-GX30 JBL LINK Series Apple Apple Apple HomePod Apple Watch AirPods Anker SONY Buffalo Zolo Liberty+ SBH42 BSHSBE200 Other Type Harman Kardon Allure Invoxia Invoxia Triby Triby IO Anker Sonos Clazio Eufy Genie SONOS One Mobvoi TicHome Mini Clazio Other Type AI Voice Assitant Device Tool Clova Extension Kit Clova Interface Connect LawnMowerRobot Clazio Head Phone / Earphones / Wearable Device SONY Amazon Anker Clazio AI Voice Assitant Skill Tool Amazon Dash Wand Echo Connect Amazon Echo Buttons Qihan UBTECH SBH42 Bosch Buffalo BSHSBE200 Google Google Pixel Budsz BOSE QuietComfort 35 LINE LINE LINE LINE Clova WAVE Clova CHAMP BROWN Clova CHAMP SALLY Clova FACE Sanbot Nano Lynx Bosch Mykie AI Voice Assitant Skill Tool Cortana Skills Kit Aevena Omate iRobot iRobot Anker Aire Yumi Roomba 960 Roomba 980 Lawn Mower Robot AI Voice Assitant Device Tool LG Sol-C Cortana Devices SDK Harman Kardon Samsung SK Telecom SK Telecom Alibaba Monster Products Ainemo INVOKE Bixby VEGA NUGU NUGU mini Tmall Genie MonsterTalk Headphones Little Fish Other AI Lighthouse AI, Inc. Nuance SHARP AI,TIS KT Samsung Xiaomi Feish Hayo Rokid Rokid Lighthouse Smart Speaker HOME ASSISTANT AISonar GIGA Genie Otto Mi AI Speaker DING DONG Hayo Alien Pebble Skill developer Special Thanks GO KAWADA Djingo Djingo Speaker Essential Essential Home Copyright © 2017 robot start inc. All Right Reserved. https://robotstart.info/2017/11/08/smart-speaker-map2017.html
https://www.gartner.co.jp/press/html/pr20170823-01.html
毎日放送（MBS）おしゃべり らいよんチャン
毎日放送（MBS）おしゃべり らいよんチャン SNSアプリ クラウド 自然言語解析ツール コンテンツ管理ツール
https://www.slideshare.net/seokhwankim7/natural-language-in-humanrobot-interaction
https://www.slideshare.net/seokhwankim7/natural-language-in-humanrobot-interaction
AWS (Amazon Web Services) AWS が M L提S供 e rす v iる ceM s LPサ o rー t f oビl iス o スタック 大カテゴリ Services 映像 Platform 音声 Engines 自然言語 Infrastructure Amazon 小カテゴリ Amazon Rekognition Image Polly 画像認識 Amazon 動画認識 Machine Learning サービス名 Amazon Amazon Comprehend Lex Amazon Translate Amazon Rekognition Apache Spark Amazon EMR Amazon Amazon Rekognition Video Kinesis AWS Batch Speech-to-Text Amazon Transcribe Text-to-Speech MXNet TensorFlow Amazon Torch Polly Caffe 自然言語理解 Amazon Comprehend Theano Amazon Translate チャットボット Amazon Lex © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon ECS CNTK Amazon Rekognition Video Amazon SageMaker Keras AWS Deep Learning AMI (Amazon Linux / Ubuntu / Windows) テキスト翻訳 GPU Amazon Transcribe CPU IoT Mobile
https://pt.slideshare.net/alexjs3/aws-user-group-singapore-amazon-lex-jawsdays-2017
Microsoft (Azure)
https://www.slideshare.net/satonaoki/20170805cntkhandsonmsai
その他省略
おしゃべり らいよんチャンでのポイント ☁ キャラクタ設定 • https://cloudpack.media/32392 ☁ 日々の改善 • データ更新（番組情報） • 答えられなかったキーワードリスト作り • 対策検討
まとめ
まとめ ☁ 今年出た製品・サービスが楽しめるのは、これまでの研究成果 • 映像変換技術・手法、ハードウェア〜クラウド、CPU/GPU/FPGA • 自然言語処理、データ蓄積、機械学習 ☁ それぞれの技術進化がキーとなり簡単に実装できる時代に • クラウドベンダー各社のAPIの組み合わせすぐ実装 • 簡単ってことは誰でも実装できる＝民主化された（ブラックボックス万歳！？） ☁ 日本のプレイヤーが少ないのは残念だが、これからチャンス！ • VRはもっと多くの人体験される機会やデバイスが増えてコンテンツも増大 • スマートスピーカーやチャットボットではこれまでのUI/UXでは通じない＝やるしかない