[DL輪読会]Neural Speed Reading with Structural-Jump-LSTM

NEURAL SPEED READING WITH STRUCTURAL-JUMPLSTM (ICLR 2019) Akitoshi Kimura, Taniguchi Lab, Waseda University 1

書誌情報 • 著者: – Christian Hansen, Casper Hansen, Stephen Alstrup, Jakob Grue Simonsen & Christina Lioma • Department of Computer Science, University of Copenhagen • 学会: – ICLR 2019 Conference Paper514 Area Chair1 – Accept (Poster) 2

概要 • RNN で自然言語処理を行うと、inference time が入力長に 線形に依存し、すべての入力を読み込んでしまう（文章の重 要度を無視してしまう） • 文章の一部の無視、拾い読みが “neural speed reading” とし て行われてきたが、両方行う新しいモデルを提案 • 既存手法より速く、同等の精度を実現 – 文章全体を読み込む vanilla LSTM との比較では精度も改善 3

提案モデルの外観図 4

学習 • 𝐿𝐿𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡 = 𝛼𝛼𝐿𝐿𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐 + 𝛽𝛽𝐿𝐿𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎 + 𝛾𝛾𝐿𝐿𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐 + 𝛿𝛿𝐿𝐿𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒 – 𝐿𝐿𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐 : cross entropy loss – 𝐿𝐿𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 𝑇𝑇 ∑ = 𝑡𝑡=0 log 𝑝𝑝𝑡𝑡 𝑎𝑎𝑡𝑡 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑡𝑡 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 1 + 𝑤𝑤𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 ∑𝑇𝑇𝑡𝑡=0 𝑟𝑟𝑡𝑡 𝑅𝑅 − 𝑖𝑖𝑖𝑖 𝑦𝑦𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 ≠ 𝑦𝑦𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 𝑉𝑉𝑡𝑡 • 𝑅𝑅 = � : 報酬 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 𝑇𝑇 𝑝𝑝 𝑦𝑦𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡 + 𝑤𝑤𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 ∑𝑡𝑡=0 𝑟𝑟𝑡𝑡 𝑖𝑖𝑖𝑖 𝑦𝑦𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 ≠ 𝑦𝑦𝑡𝑡𝑡𝑡𝑡𝑡𝑡𝑡 – 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 𝑟𝑟𝑡𝑡 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 • 𝑉𝑉𝑡𝑡 =� − − 1 𝑑𝑑𝑑𝑑𝑑𝑑 𝑐𝑐𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 𝑑𝑑𝑑𝑑𝑑𝑑 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 𝑖𝑖𝑖𝑖 𝑎𝑎𝑡𝑡 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 𝑖𝑖𝑖𝑖 𝑎𝑎𝑡𝑡 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 = 𝑑𝑑𝐿𝐿𝐿𝐿𝐿𝐿 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑡𝑡 𝑖𝑖𝑖𝑖 𝑎𝑎 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎 𝑖𝑖𝑖𝑖 𝑎𝑎 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎 : 状態価値関数 – 𝐿𝐿𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐 : 報酬と状態価値関数の差の二乗 – 𝐿𝐿𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒 : entropy loss 5

Jump, skip のふるまいの例 6

実験用のデータセット 7

vanilla LSTM との比較 8

各種手法との比較 9

結論 • 単語の skip, 文章の jump が可能なStructural-Jump-LSTM を提案 – https://github.com/Varyn/Neural-Speed-Reading-withStructural-Jump-LSTM • 提案手法は full read LSTM と比較して、accuracy を保ち、 ないし改善しながらも、非常に大きく浮動小数点演算の量を 減少させた 10

• https://github.com/Varyn/Neural-Speed-Reading-with-Structural-Jump-LSTM