nl-1. 形態素解析と構文解析

nl-1. 形態素解析と構文解析 （自然言語処理入門） URL: https://www.kkaneko.jp/cc/nlp/index.html 金子邦彦 1

• https://www.kkaneko.jp/cc/nlp/index.html

自然言語処理 • 自然言語処理では， コンピュータが，人間の言葉（英語や日本語）を処理する． • 人間の言葉を理解できる能力をもつアプリやサービスの制 作に役立つ （用途の例） インターネット検索，対話システム，音声合成， 翻訳，かな漢字変換での予測変換， 迷惑メールフィルタ 2

自然言語処理の技術 • 文を単語に分割（単語の切り出し） • 単語の種類（品詞）の判定 • 係り受けの関係などの分析（構文解析） • 意味解析 など 3

Windows などで，単語を切り出し，品詞を 自動判定する機能を持つ mecab コマンド 白い雲と青い空が美しい Google Colaboratory の実行画面 単語に切り分けられ，単語ごとの読み仮名， 品詞などが，得られる 4

日本国民は、正当に選挙された国会における代 表者を通じて行動し Google Colaboratory の実行画面 5

Google Colaboratory での実行手順 ① Google Colaboratory でノートブックを作成 ② 次のコードセルを実行 !apt install -y mecab ③ 次のコードセルを実行 !echo '日本国民は、正当に選挙された国会における 代表者を通じて行動し' | mecab 6

Python プログラム内で MeCab を使う 自動化のため → プログラム import sys import MeCab m = MeCab.Tagger ("-Ochasen") print(m.parse ("海は広い")) 7

構文解析 • 構文解析は，係り受けの解析を行うこと． 主語，述語，修飾語などの，単語間の関係の分析 • 構文解析 KNP のデモサイト http://lotus.kuee.kyoto-u.ac.jp/nlresource/cgi-bin/knp.cgi 8

• http://lotus.kuee.kyoto-u.ac.jp/nl-

意味解析 • 意味解析は，単語の意味の判定を行う • それぞれの言葉の意味を，コンピュータが理 解しながら，他の言葉の意味を判断するなど 駅前のコンビニは，油を売っていた あの人は，仕事中に，油を売っていた 9

まとめ • 単語 単一の意味のまとまり • 品詞 単語の種別 • 係り受け 関係 主語，述語，修飾語などの，単語間の • 形態素解析 自然言語の文から単語を切り出し， 品詞を推定すること • 構文解析 係り受けの関係などを分析すること 10