ae-12. データの合成

171 Views

January 29, 23

スライド概要

トピックス:人工知能による合成, GAN, 人工知能社会, ディープラーニング, 人工知能

ディープラーニング(スライドとプログラム例,Python を使用)(全15回)
https://www.kkaneko.jp/ai/ae/index.html

金子邦彦研究室ホームページ
https://www.kkaneko.jp/index.html

profile-image

金子邦彦(かねこくにひこ) 福山大学・工学部・教授 ホームページ: https://www.kkaneko.jp/index.html 金子邦彦 YouTube チャンネル: https://youtube.com/user/kunihikokaneko

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

12. 人工知能による合成 (ディープラーニング,Python を使用) (全15回) https://www.kkaneko.jp/cc/ae/index.html 金子邦彦 1

2.

アウトライン 番号 項目 12-1 12-2 12-3 12-4 人工知能による合成 GAN の仕組み 人工知能社会の特徴 演習 各自,資料を読み返したり,課題に取り組んだりも行う 2

3.

12-1. 人工知能による合成 3

4.

人工知能による合成の例① 翻訳を行うオンラインサービス Web ブラウザで動く DeepL の URL: https://www.deepl.com/ja/translator 4

5.

人工知能による合成の例② 実在しない人間の顔画像を生成 研究成果はオンラインで公開されている tl-GAN のページ, https://docs.google.com/presentation/d/1OpcYLBVpUF1LwwPHu_CyKjXqXD0oRwBoGP2peSCrSA/edit#slide=id.g4551faa5ed_0_208 5

6.

人工知能による合成の例③ 実在しない人間の顔画像を生成 年齢,髪量,口の開き具合,髪の波うち,眼鏡など さまざまな特徴に応じた顔を生成可能 研究成果はオンラインで公開されている tl-GAN のページ, https://docs.google.com/presentation/d/1OpcYLBVpUF1LwwPHu_CyKjXqXD0oRwBoGP2peSCrSA/edit#slide=id.g4551faa5ed_0_208 6

7.

人工知能による合成の例④ 写真の合成,イラストの合成 DALL E 研究成果,プログラムのソースコードはオンラインで公開されている https://openai.com/blog/dall-e/ 7

8.

人工知能による合成の例⑤ 暗い画像をもとに,明るい画像を合成(画質改善) 研究成果,プログラムのソースコードはオンラインで公開されている https://github.com/VITA-Group/EnlightenGAN 文献 EnlightenGAN: Deep Light Enhancement without Paired Supervision Yifan Jiang, Xinyu Gong, Ding Liu, Yu Cheng, Chen Fang, Xiaohui Shen, Jianchao Yang, Pan Zhou, Zhangyang Wang 8

9.

人工知能による合成⑥ 低解像度の画像を,高解像度の画像に変換 研究成果,プログラムのソースコードはオンラインで公開されている http://pulse.cs.duke.edu/ 文献 Menon, Sachit and Damian, Alex and Hu, McCourt and Ravi, Nikhil and Rudin, Cynthia, PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 9

10.

人工知能による合成の例⑦ 色分け図や線画をもとに,画像を合成 研究成果はオンラインで公開されている Video-to-Video Synthesis のページ https://www.youtube.com/watch?v=S1OwOd-war8 10

11.

12-2. GAN の仕組み 11

12.

ここまでのまとめ 人工知能による合成のバリエーション • 本物そっくりのフェイクを無数に生成 • 元の素材を変換,翻訳 • 人間の指示をもとに生成 12

13.

• AI は,学習により,いかに「本物そっくりのも の」を合成できる能力を獲得するか? 13

14.

Discriminator • 画像の分類 本物か? フェイクか? • ディープラーニングを使用 画像 Discriminator 本物か? フェイクか? (画像分類) 14

15.

Generator • 乱数を種として画像を生成 • ディープラーニングのオートエンコーダを使用 乱数 Generator 画像 15

16.

Generator の学習(Discriminator を使用) • 訓練データ 生成した画像,本物かフェイクかの判別結果 • 訓練により,本物画像の精製能力が向上 乱数 Generator 画像 画像 Discriminator 本物か フェイク か 本物 フェイク 16

17.

Discriminator の学習(Generator を使用) • Generator により,「フェイク」の画像を生成. Discriminator の学習に使用 Discriminator 乱数 Generator 本物か フェイク か 画像 画像 フェイク 17

18.

まとめ • Generator: 学習により,本物と見分けがつかない 画像を生成する能力を獲得 • Discriminator: 学習により,本物とフェイクの判別 の能力を獲得 乱数 Generator 画像 Discriminator 本物か フェイクか 18

19.

12-3. 人工知能社会の特徴 19

20.

① AI と人間の協働は当たり前になる 「AIを使わない」はあり得ない 翻訳を行うオンラインサービス 20

21.

② 「写真は信用できる」という常識が変容する → + 写真 ビデオ 合成されたビデオ 21

22.

③ 「人工知能だから正しい」とは言えない ・人工知能は,平気で,差別的言動,不愉快な画像 を生成する可能性がある ・人工知能の学習に使う訓練データが偏っていると, 合成されるデータも偏ってしまう 22

23.

12-4. 演習 23

24.

演習 • 顔画像で,どちらが実在で,どちらがフェイクかのクイズを行う(オンライン デモ) https://www.whichfaceisreal.com/ • アニメ風キャラクタ画像の合成(オンラインのデモ) Waifu Labs https://waifulabs.com/ • テキストからの画像生成(オンラインのデモ) DALL E https://openai.com/blog/dall-e • テキストからの画像合成(オンラインデモ)Stable Diffusion https://huggingface.co/spaces/stabilityai/stable-diffusion • テキストからの画像合成(オンラインのデモ) Craiyon (DALL E mini) https://www.craiyon.com/ • 超解像に関する Google Colaboratory のページ https://colab.research.google.com/drive/1oT69ts_qzr1xrPYguSepcl24QaQv5AYq#scr ollTo=mlVW1_628s0G 24

25.

人工知能による合成の例 実在しない人間の顔画像を生成 Web ブラウザで動く 実在 フェイク Web ブラウザで動く https://www.whichfaceisreal.com/ 25

26.

アニメ風キャラクタ画像の合成(オンラインのデ モ) Waifu Labs • オンラインのサイト https://waifulabs.com/ 「START NOW!」をクリック 選択画面 選択画面 選択画面 生成された 画像 26

27.

テキストからの画像生成(オンラインのデモ) DALL E • オンラインのデモ https://openai.com/blog/dall-e 「Edit prompt or view more images」をクリック,メ ニューで選ぶ メニュー 27

28.

テキストからの画像合成(オンラインデモ) Stable Diffusion • オンラインのデモ https://huggingface.co/spaces/stabilityai/stable-diffusion 「Enter your prompt」のところに,英語でキーワード,文章 を入れて Enter キー (あるいは Generate Image をクリッ ク),混雑しているときはしばらく待つ. 28

29.

テキストからの画像合成(オンラインのデモ) Craiyon (DALL E mini) • オンラインのデモ https://www.craiyon.com/ 「What image do you want to generate」のところに,英語でキーワード,文章を入れて Enter キー Generate Image をクリック),混雑しているときはしばらく待つ. (あるいは 29

30.

超解像に関する Google Colaboratory のページ https://colab.research.google.com/drive/1oT69ts_qzr 1xrPYguSepcl24QaQv5AYq#scrollTo=mlVW1_628s0 G 処理前 処理後 30