[DL輪読会]DDSP: Differentiable Digital Signal Processing (ICLR2020)

DEEP LEARNING JP [DL Papers] “DDSP: Differentiable Digital Signal Processing (ICLR2020)” Naoki Nonaka http://deeplearning.jp/ 2020/1/31 1

• http://deeplearning.jp/

໨࣍ • 書誌情報 • 背景 • 提案⼿法 • 実験 • まとめ 2020/1/31 2

ॻࢽ৘ใ • 会議︓ICLR 2020 • 著者︓Jesse Engel, et al. （Google Brain） • 実装︓ https://github.com/magenta/ddsp （図表は紹介する論⽂中のものを使⽤） 2020/1/31 3

• https://github.com/magenta/ddsp

എ‫ܠ‬ Ի੠߹੒ Ի੠߹੒ɿυϝΠϯ஌ࣝͱࣗಈඍ෼ʹΑΔ‫ࢉܭ‬ͷ૊Έ߹Θ͕ͤ೉͔ͬͨ͠ Þ ඍ෼Մೳͳσδλϧ৴߸ॲཧख๏ΛఏҊ Þ Ի੠߹੒ʹؔ͢Δࣄલ஌ࣝΛऔΓࠐΜͩωοτϫʔΫߏ଄Λ࡞੒Մೳʹ 2020/1/31 4

Ի੠ੜ੒ͷख๏ͱ՝୊ ‫ط‬ଘͷํ๏ ௚઀೾‫ܗ‬Λੜ੒ ໰୊఺ 2020/1/31 ੜ੒ → ‫ٯ‬ม‫׵‬ n όΠΞε͕ೖΔ n Ґ૬੔߹ੑͷ໰୊ n Ґ૬੔߹ੑͷ໰୊ n Spectral leakage ࣗ‫ݾ‬ճ‫ܕؼ‬ n ωοτϫʔΫ‫ڊ‬େ 5

%%41
DPNQPOFOUT ߏ੒ཁૉ p 0TDJMMBUPSTʢൃৼ‫ث‬ʣ
Իͷ‫ͳͱݩ‬Δ೾‫ܗ‬Λ࡞Γग़͢෦෼ p &OWFMPQFTʢ৴߸แབྷઢʣ 
༩͑ΒΕͨશͯͷ‫ۂ‬ઢʹ઀͢ΔΑ͏ͳ‫ۂ‬ઢ p 'JMUFST

‫؍‬ଌ৴߸͔Β໨తͱ͢Δ৴߸੒෼ΛऔΓग़͢‫ػ‬ೳ 実装するモデル p Spectral Modeling Synthesis (SMS) の微分可能版 p 加算型シンセサイザ（多数の正弦波を⾜し合わせる）と 減算型シンセサイザ（ホワイトノイズをフィルタリングする）を組み合わせて⾳を⽣成 p パラメトリックかつ⾳の表現⼒が⾼い 2020/1/31 6

4QFDUSBM
.PEFMMJOH
4ZOUIFTJT Ի = ௐ࿨੒෼ + ࢒༨੒෼ʢϊΠζ੒෼ʣ p ௐ೾੒෼ n ৴߸ͷप೾਺εϖΫτϥϜɾϐʔΫ Ͱࣝผ n ୹࣌ؒϑʔϦΤม‫Ͱ׵‬நग़͞ΕΔ p ࢒༨੒෼ n ৴߸͔Βௐ೾੒෼Λআ͍ͨ΋ͷ n ࣌มϑΟϧλΛ௨ͨ͠ ϗϫΠτϊΠζͰϞσϦϯά͞ΕΔ 2020/1/31 7

%%41
DPNQPOFOUT pHarmonic oscillator / Additive synthesizer ʢ࣌ؒมԽ͢ΔʣK൪໨ͷਖ਼‫ݭ‬೾ͷৼ෯ ͦͷॠؒʹ͓͚ΔҐ૬ प೾਺ => ֶशɾ‫ݻ‬ఆ͕Մೳͳॳ‫ظ‬ঢ়ଶ प೾਺ 2020/1/31 ͱৼ෯ Ͱද‫͞ݱ‬ΕΔ 8

%%41
DPNQPOFOUT pHarmonic oscillator / Additive synthesizer 2020/1/31 9

%%41
DPNQPOFOUT pFilter design: Frequency sampling method => ֤ϑϨʔϜͰͷFIRϑΟϧλͷप೾਺ྖҬ΁ͷม‫਺ؔ׵‬ΛNNͰ༧ଌ ॏෳ͠ͳ͍Α͏෼ׂͨ͠ೖྗͷԻ੠ͱ ཭ࢄϑʔϦΤม‫׵‬ l ൪໨ͷϑϨʔϜͷग़ྗ ෮‫͞ݩ‬ΕͨϑϨʔϜ͝ͱͷϑΟϧλద༻‫ޙ‬ͷԻ੠ 2020/1/31 10

%%41

"VUPFODPEFSʹΑΔ࣮‫ݧ‬ σʔληοτ p/TZOUI Ø ‫ثָݭ‬ɺۚ؅ָ‫ث‬ɺ໦؅ָ‫ث‬ɺϚϨοτ Ø σʔλ਺
 ݅ Ø Իఔϥϕϧ
ʙͷൣғ p4PMP
7JPMJO Ø ෼ؒͷιϩόΠΦϦϯԋ૗ Ø Ұ؏ͨ͠෦԰‫ڥ؀‬ʢूԻ‫ ڥ؀‬ʣ Ø σʔλ਺
 ݅ʢඵʗαϯϓϧʣ 2020/1/31 11

%%41

"VUPFODPEFSʹΑΔ࣮‫ݧ‬ pଛࣦؔ਺ pΦʔσΟΦ೾‫ܗ‬ͷ৔߹ɺੜ೾‫ܗ‬ͷϙΠϯτϫΠζଛࣦ͸ཧ૝తͰͳ͍ p஌֮తʹಉҰͷΦʔσΟΦαϯϓϧ͕ҟͳΔ೾‫ܗ‬Λ࣋ͭՄೳੑ pϙΠϯτϫΠζతʹྨࣅͨ͠೾‫͕ܗ‬ҟͳΔԻʹฉ͑͜ΔՄೳੑ pϚϧνϨκϦϡʔγϣϯɾεϖΫτϧৼ෯‫ͨࣅʹ཭ڑ‬ Multi-Scale SpectrogramଛࣦΛ༻͍Δ 2020/1/31 12

"VUPFODPEFS

%%41 2020/1/31 13

"VUPFODPEFS

%%41 2020/1/31 14

݁Ռ pߴ඼࣭ͷԻ੠ੜ੒ Original Resynthesis p-PVEOFTTͱ1JUDIΛಠཱʹૢ࡞ જࡏม਺Λ෼ղͨ͜͠ͱͰɼ֤ཁૉΛಠཱʹૢ࡞Ͱ͖Δ ಺ૠͷΈͳΒͣɼֶशதʹ‫ݟ‬ΒΕͳ͔ͬͨ֎ૠ΁ͷରԠ΋Ͱ͖Δ p࢒‫ڹ‬আ‫ͱڈ‬Ի‫ڹ‬ͷసҠ ఏҊख๏Ͱ͸ɼ࢒‫ͱڹ‬Ի‫ݯ‬Λ‫׬‬શʹ෼཭Ͱ͖Δ ੜ੒࣌ʹ࢒‫߲ڹ‬Λӌճ͢Δ͜ͱͰɼ࢒‫ڹ‬ͷআ‫͕ڈ‬Մೳ 2020/1/31 15

݁Ռ pԻ৭ͷసҠɿʢஶऀͷʣՎ੠ ˠ όΠΦϦϯʹม‫׵‬ 'ͱ-PVEOFTTΛՎ੠͔Βநग़͠ɼ 4PMP
WJPMJOͰֶश͞Εͨ%%41ΦʔτΤϯίʔμͰ࠶ੜ੒ 2020/1/31 16

·ͱΊ pσδλϧ৴߸ॲཧͷ஌‫ݟ‬ΛऔΓࠐΜͩԻ੠߹੒ͷख๏ΛఏҊ pߴ඼࣭ͷԻ੠ੜ੒͕Ͱ͖Δ͜ͱΛࣔͨ͠ pཁૉΛ෼ֶ͚ͯश͢ΔͨΊɼ֤ཁૉΛಠཱʹૢ࡞Ͱ͖Δ 2020/1/31 17