[DL Hacks]AllenNLPによるNLPモデルの実装と実行

AllenNLPによるNLPモデルの実装と実行 2018/11/29 @ DLHacks Takuya MATSUDATE

Outline ● ● ● ● ● ● 選んだきっかけ 背景 AllenNLP 即実行可能なタスク 実行例 所感 2

選んだきっかけ TwitterでAllenNLPが激推 しされてたけど、日本語 で紹介された記事はない 3

背景 (PyTorchで実装中に思うこと) ● TensorflowにはKerasがあるけど、PyTorchには？ ● もう少し簡単に書く方法はないのだろうか ○ 早く構築して試したい 4

AllenNLP https://allennlp.org/ - NLP特化の深層学習ライブラリ - より抽象的な記述が可能 - Allen Institute for Artificial Intelligenceが構築とメンテナンス - High Qualityなモデル実装を提供 - 企業に左右されない独立した組織 (For Long-term growthと謳っている) 5

• https://allennlp.org/

(参考)インストール $ pip install allennlp Python >= 3.6.1, Dockerイメージやソースからのインストールも可能 6

実行例1 Predictだけ トレーニング済みのAllenNLP謹製モデルであれば、即実行可能 https://allennlp.org/models 7

• https://allennlp.org/models

即実行可能なタスク いくつかのタスクについては、その紹介と使用したモデル、 学習＆検証用のデータセットが公開されている https://allennlp.org/models 8

• https://allennlp.org/models

実行例2 Jsonnetからのパラメータ指定 AllenNLPはJsonnet形式でパラメータを指定し実行可能 simple_tagger.json Jsonnetでモデルを書いたら、そのままCLIで読み込ませて実行できる $ allennlp train ./simple_tagger.json --serialization-dir ./log 9

実装例 AllenNLPをPythonライブラリとして使用してモデルを構成できる AllenNLP自体がPyTorchで構築されているため、かゆいところはPyTorchで かける https://allennlp.org/tutorials 10

• https://allennlp.org/tutorials

所感 ● いろいろ楽できそう ○ PyTorchの高レベルAPI、ただしNLP専用 ○ 「Embeddingだけ」「data_loadだけ」など、一部使うだけでも便利そう ● AI2がちゃんと(?)テスト＆メンテしているので、品質には一定の安心感がある ○ Kerasとかでもそういうのがあるのだろうか ○ 個人や研究者によるDevelopment communityがどれだけ品質担保できるのか 11

Links ● ● ● ● AllenNLPプロジェクト ○ https://allennlp.org/ モデル一覧とそれぞれのデモ ○ http://demo.allennlp.org/machine-comprehension AllenNLP Github ○ https://github.com/allenai/allennlp AllenNLP開発チームのメンバーによるコーディング思想についてのスライド ○ https://github.com/allenai/writing-code-for-nlp-researchemnlp2018/blob/master/writing_code_for_nlp_research.pdf 12

• https://allennlp.org/
• http://demo.allennlp.org/machine-comprehension
• https://github.com/allenai/allennlp
• https://github.com/allenai/writing-code-for-nlp-research-emnlp2018/blob/master/writing_code_for_nlp_research.pdf