[DL輪読会]マテリアルズインフォマティクスにおける深層学習の応用

1 DEEP LEARNING JP [DL Papers] マテリアルズインフォマティクスにおける深層学習の応用 Kensuke Wakasugi, Panasonic Corporation. http://deeplearning.jp/

• http://deeplearning.jp/

発表内容 2 マテリアルズインフォマティクス（MI）について研究の中で， 1. 2. 計算科学と深層学習に関連した論文 NIPS Workshopで発表予定の論文 について論文を調査．その概要を発表します． Wakasugi, Panasonic Corp.

マテリアルズインフォマティクスとは 3 材料の研究開発に情報科学の技術を応用し，研究開発を加速 材料開発において必要となる技術 1. 材料の特性予測 - 実験前にスクリーニングすることで，実験回数を軽減 2. 所望特性の材料生成 - 特定の特性を持つ材料を教えてくれる 3. 物理現象の解析・理解 - 材料系を限定して解析．性能に寄与するパラメータを抽出 Wakasugi, Panasonic Corp.

画像認識との比較 4 入出力を定義し，画像認識と同様に機械学習/深層学習を適用 画像 画像認識 予測 猫 One-hot vector 機械学習/深層学習 組成式 MI 結晶構造 予測 電気伝導率 σ [S/m] 機械学習/深層学習 Wakasugi, Panasonic Corp.

MIで扱われるデータ 5 MIでは多様なパラメータを扱う．利用可能なDBは限定的 実験前に得られるパラメータ 数値計算特性 （低精度） 組成式 結晶構造 原子配置 数十万件 ICSD （無機結晶DB） 数値計算特性 （高精度） 数十万～数万件 MP，QM9 （計算DB） 実験後に得られるパラメータ 材料特性データ （電気・熱・力学的特性） デバイス特性 （電気伝導，熱伝導etc.） 結晶性 （XRD，SEM，TEM：1-3次元画像） 数百 レビュー論文等における 収集データ 実験前のパラメータから実験後のパラメータを予測したいが，後者のDBが不足． 現状では，少数の実験データを使うか，数値計算特性を予測する取り組みが多い Wakasugi, Panasonic Corp.

紹介論文 6 1. “Predicting the Thermodynamic Stability of Solids Combining Density Functional Theory and Machine Learning” (Journal of the American Chemical Society，Impact Factor：14.357) 2. “Predicting thermoelectric properties from crystal graphs and material descriptors - first application for functional materials” (NIPS 2018 Workshop) 3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep Convolutional Neural Networks” (Scientific Reports，Impact Factor：4.122) 4. “Powerful, transferable representations for molecules through intelligent task selection in deep multitask networks” (NIPS 2018 Workshop) 5. “Incomplete Conditional Density Estimation for Fast Materials Discovery” (NIPS 2018 Workshop) 6. “Representations in neural network based empirical potentials” (The Journal of Chemical Physics， Impact Factor：2.843) Wakasugi, Panasonic Corp.

紹介論文 7 1. “Predicting the Thermodynamic Stability of Solids Combining Density Functional Theory and Machine Learning” (Journal of the American Chemical Society，Impact Factor：14.357) 2. “Predicting thermoelectric properties from crystal graphs and material descriptors - first application for functional materials” (NIPS 2018 Workshop) 3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep Convolutional Neural Networks” (Scientific Reports，Impact Factor：4.122) 4. “Powerful, transferable representations for molecules through intelligent task selection in deep multitask networks” (NIPS 2018 Workshop) 5. “Incomplete Conditional Density Estimation for Fast Materials Discovery” (NIPS 2018 Workshop) 6. “Representations in neural network based empirical potentials” (The Journal of Chemical Physics， Impact Factor：2.843) Wakasugi, Panasonic Corp.

論文１ 8 25万個の数値計算データを用いて，ペロブスカイト系材料の熱力学的安定性を予測 タイトル： “Predicting the Thermodynamic Stability of Solids Combining Density Functional Theory and Machine Learning” 出展： Journal of the American Chemical Society，Impact Factor：14.357  A，B，Xの各配置に各元素を置いたとき の安定性を予測．  入力：Pymatgenで作成(119次元) →重要度解析し，11個を選択 3元素で合計33次元．  出力：安定性  データ：25万個の計算データ Xに各元素を置いたときの安定構造の数を色で表現 Wakasugi, Panasonic Corp.

論文１ 9 リッジ回帰，NN，Random Forest，Extremely Random Treesを比較 Wakasugi, Panasonic Corp.

紹介論文 10 1. “Predicting the Thermodynamic Stability of Solids Combining Density Functional Theory and Machine Learning” (Journal of the American Chemical Society，Impact Factor：14.357) 2. “Predicting thermoelectric properties from crystal graphs and material descriptors - first application for functional materials” (NIPS 2018 Workshop) 3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep Convolutional Neural Networks” (Scientific Reports，Impact Factor：4.122) 4. “Powerful, transferable representations for molecules through intelligent task selection in deep multitask networks” (NIPS 2018 Workshop) 5. “Incomplete Conditional Density Estimation for Fast Materials Discovery” (NIPS 2018 Workshop) 6. “Representations in neural network based empirical potentials” (The Journal of Chemical Physics， Impact Factor：2.843) Wakasugi, Panasonic Corp.

論文２ 11 Data Augmentationした約300万個の数値計算データからPower Factorを予測 タイトル： “Predicting thermoelectric properties from crystal graphs and material descriptors - first application for functional materials” 出展： 提案法(深層学習） NIPS 2018 Workshop 従来（計算科学） 入力にDFT記述子(低精度，低計算コスト)を利用 課題：計算コストが高い DFT記述子の代わりにCGCNN（結晶性を考慮したCNN）を利用 Wakasugi, Panasonic Corp.

論文２ 12 1～10層のCGCNN/FCNNで検証．FCNNが最良 Wakasugi, Panasonic Corp.

紹介論文 13 1. “Predicting the Thermodynamic Stability of Solids Combining Density Functional Theory and Machine Learning” (Journal of the American Chemical Society，Impact Factor：14.357) 2. “Predicting thermoelectric properties from crystal graphs and material descriptors - first application for functional materials” (NIPS 2018 Workshop) 3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep Convolutional Neural Networks” (Scientific Reports，Impact Factor：4.122) 4. “Powerful, transferable representations for molecules through intelligent task selection in deep multitask networks” (NIPS 2018 Workshop) 5. “Incomplete Conditional Density Estimation for Fast Materials Discovery” (NIPS 2018 Workshop) 6. “Representations in neural network based empirical potentials” (The Journal of Chemical Physics， Impact Factor：2.843) Wakasugi, Panasonic Corp.

論文３ 14 波数空間で表現した電子密度に対して3DCNNを適用し，エネルギーを予測 タイトル：“A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep Convolutional Neural Networks” 出展： Scientific Reports，Impact Factor：4.122  電気的，熱的特性に関与する電子密度を波数空間で表現  ３DCNNによって特徴抽出し，エネルギーを予測 Wakasugi, Panasonic Corp.

論文３ 15 大きく性能向上するタスクもあるが，性能が悪いものも複数 データ数および特性値に応じた性能評価 提案法は赤色 Wakasugi, Panasonic Corp.

紹介論文 16 1. “Predicting the Thermodynamic Stability of Solids Combining Density Functional Theory and Machine Learning” (Journal of the American Chemical Society，Impact Factor：14.357) 2. “Predicting thermoelectric properties from crystal graphs and material descriptors - first application for functional materials” (NIPS 2018 Workshop) 3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep Convolutional Neural Networks” (Scientific Reports，Impact Factor：4.122) 4. “Powerful, transferable representations for molecules through intelligent task selection in deep multitask networks” (NIPS 2018 Workshop) 5. “Incomplete Conditional Density Estimation for Fast Materials Discovery” (NIPS 2018 Workshop) 6. “Representations in neural network based empirical potentials” (The Journal of Chemical Physics， Impact Factor：2.843) Wakasugi, Panasonic Corp.

論文４ 17 タスク間の関連度をスコア化し，サポートタスクを自動抽出． タイトル：“Powerful, transferable representations for molecules through intelligent task selection in deep multitask networks” 出展：NIPS 2018 Workshop  有機分子の特性予測タスクにおいて，関連タスクを自動抽出  サポートタスクとして転移学習することで性能を向上 Wakasugi, Panasonic Corp.

論文４ 18 従来法（Morgan FP）に比べ，提案法(WSTS)によって性能向上  WSTS： weave/set-to-set．原子と原子間結合の特徴を織り交ぜる 構造と，LSTMを使った特徴変換（可変長→固定長）による 手法  architecture  タスク間の関連度を測るために，NNベースの手法を用いるこ とで，マルチタスク時の性能が向上 Wakasugi, Panasonic Corp.

紹介論文 19 1. “Predicting the Thermodynamic Stability of Solids Combining Density Functional Theory and Machine Learning” (Journal of the American Chemical Society，Impact Factor：14.357) 2. “Predicting thermoelectric properties from crystal graphs and material descriptors - first application for functional materials” (NIPS 2018 Workshop) 3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep Convolutional Neural Networks” (Scientific Reports，Impact Factor：4.122) 4. “Powerful, transferable representations for molecules through intelligent task selection in deep multitask networks” (NIPS 2018 Workshop) 5. “Incomplete Conditional Density Estimation for Fast Materials Discovery” (NIPS 2018 Workshop) 6. “Representations in neural network based empirical potentials” (The Journal of Chemical Physics， Impact Factor：2.843) Wakasugi, Panasonic Corp.

論文５ 20 Conditional VAE，Conditional GANにより，所望の特性を持つ材料を生成 タイトル：“Incomplete Conditional Density Estimation for Fast Materials Discovery” 出展：NIPS 2018 Workshop  特定の性質を満たす材料 をVAEで生成  GANの試したが，VAEの 方が良い．  データ：Al（アルミ）を 中心に， Cr, Cu, Mg, Ti, Zn, Zr, Mn, Si, Niを加え た材料15000個を利用 Wakasugi, Panasonic Corp.

論文５ 21 特定の相図を持つ材料の組成をGAN/VAE，RFで生成  CVAE-MDNで最良．所望の相図を持つ組成式を生成可能． Wakasugi, Panasonic Corp.

紹介論文 22 1. “Predicting the Thermodynamic Stability of Solids Combining Density Functional Theory and Machine Learning” (Journal of the American Chemical Society，Impact Factor：14.357) 2. “Predicting thermoelectric properties from crystal graphs and material descriptors - first application for functional materials” (NIPS 2018 Workshop) 3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep Convolutional Neural Networks” (Scientific Reports，Impact Factor：4.122) 4. “Powerful, transferable representations for molecules through intelligent task selection in deep multitask networks” (NIPS 2018 Workshop) 5. “Incomplete Conditional Density Estimation for Fast Materials Discovery” (NIPS 2018 Workshop) 6. “Representations in neural network based empirical potentials” (The Journal of Chemical Physics， Impact Factor：2.843) Wakasugi, Panasonic Corp.

論文６ 23 Si結晶系のエネルギー予測において，NNにおける情報処理過程を解析 タイトル：“Representations in neural network based empirical potentials” 出展：The Journal of Chemical Physics， Impact Factor：2.843  様々なSi配位に対し，対 称関数で特徴量化．  NNによってエネルギーを 予測． Wakasugi, Panasonic Corp.

論文６ 24 隠れ層の値を可視化． Physical Insightを導出  PCA（左図），t-SNE（右図）に よる可視化．  層を経る毎に，既知のクラスター が分離することに加え，サブクラ スターも形成．  相転移可能な類似構造ではあるが， エネルギー障壁の大きい構造が見 られる． Wakasugi, Panasonic Corp.

論文概要まとめ 25 1. “Predicting the Thermodynamic Stability of Solids Combining Density Functional Theory and Machine Learning” 25万個の数値計算データを用いて，ペロブスカイト系材料の熱力学的安定性を予測 2. “Predicting thermoelectric properties from crystal graphs and material descriptors - first application for functional materials” Data Augmentationした約300万個の数値計算データからPower Factorを予測 3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep Convolutional Neural Networks” 波数空間で表現した電子密度に対して3DCNNを適用し，エネルギーを予測 4. “Powerful, transferable representations for molecules through intelligent task selection in deep multitask networks” タスク間の関連度をスコア化し，サポートタスクを自動抽出． 5. “Incomplete Conditional Density Estimation for Fast Materials Discovery” Conditional VAE，Conditional GANにより，所望の特性を持つ材料を生成 6. “Representations in neural network based empirical potentials” Si結晶系のエネルギー予測において，NNにおける情報処理過程を解析 Wakasugi, Panasonic Corp.

まとめ 26 • 特性の予測，材料の生成，データの少なさへの対処，特性値に寄与する 特徴量の解析など，研究開発の様々なステップへ機械学習，深層学習の適用が進む． • しかしながら，実験データの少なさから，数値計算によるデータについての研究が中心． • 深層学習としては，分子構造，結晶構造の性質に合わせたＮＮの構造の研究が進みそう． Wakasugi, Panasonic Corp.

27 • ご清聴ありがとうございました． Wakasugi, Panasonic Corp.

紹介論文 1. 28 “Predicting the Thermodynamic Stability of Solids Combining Density Functional Theory and Machine Learning” (Journal of the American Chemical Society，Impact Factor：14.357) https://pubs.acs.org/doi/abs/10.1021/acs.chemmater.7b00156 2. “Predicting thermoelectric properties from crystal graphs and material descriptors - first application for functional materials” (NIPS 2018 Workshop) https://arxiv.org/abs/1811.06219 3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep Convolutional Neural Networks” (Scientific Reports，Impact Factor：4.122) https://www.nature.com/articles/s41598-017-17299-w 4. “Powerful, transferable representations for molecules through intelligent task selection in deep multitask networks” (NIPS 2018 Workshop) https://arxiv.org/abs/1809.06334 5. “Incomplete Conditional Density Estimation for Fast Materials Discovery” (NIPS 2018 Workshop) https://truyentran.github.io/papers/incomplete-alloy.pdf 6. “Representations in neural network based empirical potentials” (The Journal of Chemical Physics， Impact Factor：2.843) https://aip.scitation.org/doi/10.1063/1.4990503 Wakasugi, Panasonic Corp.

• https://pubs.acs.org/doi/abs/10.1021/acs.chemmater.7b00156
• https://arxiv.org/abs/1811.06219
• https://www.nature.com/articles/s41598-017-17299-w
• https://arxiv.org/abs/1809.06334
• https://truyentran.github.io/papers/incomplete-alloy.pdf
• https://aip.scitation.org/doi/10.1063/1.4990503