[DL Hacks]PyTextを使ってみた話

PyTextを使ってみた話 Takuya MATSUDATE 2018 / 12 / 27 @ DLHacks 1

この記事で言いたいこと 1. facebookで使われているNLPフレームワーク “PyText” が 12月にオープンソース化 2. モデル構築からデプロイ・実使用までを意識した構成 2

Contents 1. 2. 3. 4. PyText 他のNLPフレームワークとの違い 簡単な使い方 所感 3

PyText ● facebookで使われているNLPフレ ームワーク ● PyTorchで実装 ● 2018年12月にオープンソース化 4

他のNLPフレームワークとの違い みんな気になる(GitHubのIssuesの投稿) 5

他のNLPフレームワークとの違い Contributor の回答 AllenNLP : providing reference implementations and prebuilt state-of-the-art models PyText : built with production capabilities baked in the design from day 1 6

他のNLPフレームワークとの違い facebook researchの資料 ProductionとかIndustrial Performance の文字があちこちに並ぶ 7

簡単な使い方 1. インストール Windows10ではCaffe2のエラーで起動せず macOS, Ubuntuでは大丈夫でした 8

簡単な使い方 2. 学習データの用意 PyTextのデフォルトは TSV(タブ区切り)ファイル [出力ラベル] [タグ(今回は使用しない)] [入力テキスト] の順でまとめるだけ 9

簡単な使い方 3. Configファイルの用意 用意されたTaskを指定 Json形式でモデルを記述 特にこだわらなければ 学習データのパスを指 定するだけ 10

簡単な使い方 4. Training 標準入力でconfigを渡す。良い結果 をスナップショットとして保存して くれる。 11

簡単な使い方 5. Export train実行時に、/tmp/model.ptとしてスナップショットが保存される。スナップシ ョットをCaffe2形式にエクスポートする。 PyTextはCaffe2が大好き 12

簡単な使い方 5. Export Caffe2形式にするお気持ち PyTorchの形式だと、コード変更によってデプロイ側 のモデルに影響が出てしまうから、とのこと 13

簡単な使い方 6. アプリから呼ぶ Caffe2のモデルとConfigファイルを与えるだけ。 flaskなどのサーバアプリからの呼び出しも簡単。 14

簡単な使い方 (Memo) すぐ使えるタスク https://pytext-pytext.readthedocs-hosted.com/en/latest/configs/pytext.task.tasks.html Language ModelなどもTasksに定義されているが、うまく使えなかった(ドキュメントが殆ど無い) 15

• https://pytext-pytext.readthedocs-hosted.com/en/latest/configs/pytext.task.tasks.html

簡単な使い方 (Memo) AllenNLPですぐ使えるタスク AllenNLPの方が多い？ 16

所感 ● facebookが実際に使用していることが反映している感がある ○ facebookでのユースケースに左右されるかも(とGitHubのIssueに書いてた) ■ 実際、Documentやモデルの説明はAllenNLPの方がリッチ ● PyTextとAllenNLP ○ 似ているが、開発の思想の違いも感じる ■ AllenNLP⇦AI2(非営利団体が大学と一緒に開発) ■ PyText ⇦ facebook(企業が使っているやつをオープンソース化) 17

その他 facebook に PyText Usersの公開グループ リクエストを送ると誰でもメンバーになれるらしい(なれた) 18

参考文献 GitHub / Facebook Research / PyText https://github.com/facebookresearch/pytext PyText Documentation - Tutorials含む https://pytext-pytext.readthedocs-hosted.com/en/latest/ PyText: A seamless path from NLP research to production - White Papar https://research.fb.com/publications/pytext-a-seamless-path-from-nlpresearch-to-production/ 19

• https://github.com/facebookresearch/pytext
• https://pytext-pytext.readthedocs-hosted.com/en/latest/
• https://research.fb.com/publications/pytext-a-seamless-path-from-nlp-research-to-production/