テキストをjanomeで形態素解析をする【自然言語処理の基礎】

こんにちは、@Yoshimiです。

以前、自然言語処理のライブラリでMeCabを紹介しました。そこでも簡単に触れましたが、有名なライブラリでJanomeというのもあるので紹介します。というか勉強したのでメモ書きです。

janomeとは？

JanomeはPythonの形態素解析エンジンです。形態素解析とは、文書を言語上の最小単位である形態素（名詞、形容詞、動詞など）に分割し、それぞれの品詞や変化などを割り出すことです。

形態素解析に関しての詳しい情報はwikipediaでご確認くださいね。

Mecabとの違い

形態素解析の代表ライブラリではMeCabがあり、当ブログでも簡単に触れています。MeCabの特徴は高速・判別精度の高さが挙げられます。しかし、必要な外部パッケージのインストール、ユーザー辞書の準備がそこそこ面倒というのが玉に傷です。

Janomeの内部ではMecabのipadicを使っているようなので、辞書は同じということです。

janomeを実装してみる（基本t系な使い方）

基本的な使い方は以下の通り

• TokenizerをインポートしてTokenizerオブジェクトのインスタンスを生成
• tokenize()メソッドに対象の文字列を渡す
• tokenize()メソッドはjanome.tokenizer.Tokenオブジェクトを要素とするリストを返す

至ってシンプルです。

from janome.tokenizer import Tokenizer

t = Tokenizer()
text = '吾輩は猫である。名前はまだ無い。どこで生れたかとんと見当がつかぬ。'

for token in t.tokenize(text):
    print(token)

単語ごとに分割し、品詞も出力してくれていますね。

Tokenオブジェクトは、次のインスタンス変数を持ちます。

• surface (表層形)
• part_of_speech (品詞)
• infl_type (活用型)
• infl_form (活用形)
• base_form (基本形)
• reading (読み)
• phonetic (発音)
• node_type

品詞分類を細かく見てみます。

for token in t.tokenize(text):
    print('-----------------')
    print('表層形：', token.surface) 
    print('品詞：', token.part_of_speech.split(',')[0])
    print('品詞細分類1：', token.part_of_speech.split(',')[1])
    print('品詞細分類2：', token.part_of_speech.split(',')[2])
    print('品詞細分類3：', token.part_of_speech.split(',')[3])
    print('活用型：', token.infl_type)
    print('活用形：', token.infl_form)
    print('読み：', token.base_form)
    print('読み：', token.reading)
    print('発音：', token.phonetic) 
    print('-----------------')

実際には、もっと長い抽出結果になっています。アスタリスクは該当なしということです。

格納されたデータから試しに名詞だけ抽出します。

# -*- coding:utf-8 -*-
from janome.tokenizer import Tokenizer

t = Tokenizer()

text = '吾輩は猫である。名前はまだ無い。どこで生れたかとんと見当がつかぬ。'

for token in t.tokenize(text):
    if token.part_of_speech.split(',')[0] == '名詞':
        print('名詞：', token.surface)

名詞： 吾輩
名詞： 猫
名詞： 名前
名詞： どこ
名詞： 見当

Janomeで分かち書き（単語ごとに分割）

分かち書きができれば品詞の数を取得することも可能です。ちなみに、分かち書きとは文章の単語を空白で区切ることです。
引数wakati
tokenize()メソッドの引数wakatiをTrueとするとTokenオブジェクトのリストではなく表層形の文字列strのリストを返す。

例文は今まで通り同じです。

from janome.tokenizer import Tokenizer
import collections

t = Tokenizer()

text = '吾輩は猫である。名前はまだ無い。どこで生れたかとんと見当がつかぬ。'

for token in t.tokenize(text):
    print(token)

分かち書きをします。

wakati_list = t.tokenize(text, wakati=True)
wakati_list

分かち書きができましたが、このままでは使い物になりません。
単語のリストをコンストラクタCounter()に渡すとCounterオブジェクトが得られますので、それを利用します。

c = collections.Counter(t.tokenize(text, wakati=True))
print(type(c))
print(c)

Counterオブジェクトのmost_common()メソッドは、(単語, 出現回数)のタプルが出現回数の多いほうから順に並んだリストを返す。

mc = c.most_common()
print(mc)

最後に

janomeはpipでパッケージをインストールできる点はMecabより導入敷居が低くて良いです。ただ処理速度がMecab比べ遅いので大量のデータを処理するには処理完了時間に差が出てきます。janomeが悪いというわけではないので用途により使い分けましょうということですね。

janomeには形態素解析の前処理・後処理が可能なAnalyzerフレームワークがあります。このフレームワークでは、単語の出力回数のカウントも可能になります。Analyzerフレームも勉強し次回紹介します。

---

なりたい自分になれる
スキルアップならUdemy

私も利用し、高収入エンジニアになったのよ。未経験から機械学習、データサイエンティスト、アプリ開発エンジニアを目指せるコンテンツが多数あります。優秀な講師が多数！割引を利用すれば1,200円〜から動画購入可能です。！

高収入エンジニアになる >>