便利すぎるjanomeのAnalyzerモジュール【自然言語処理の基礎】

こんにちは、@Yoshimiです。

前回、janomeの基礎部分を紹介しました。今回は、janomeの中でも非常に強力なAnalyzerモジュールの紹介です。

Analyzerモジュール

データ分析に置いて前処理・後処理は必須です。もちろん自然言語でも前処理・後処理は必須です。特に、自然言語処理の場合、名詞や助詞、未知語、そして辞書（プログラム上）にはない単語などが存在し、その組み合わせで解析を行っていく必要があります。最近では、HTMLのスクレイピングを行ってWebページを解析する、一部の文書を抽出して解析するなど用途も様々です。その難しい処理を行ってくれるのが、janomeのAnalyzerというわけです。

Analyzerの主な前処理と後処理は以下の通りです。

前処理
文章の抽出、不要な文字列の削除(HTMLタグなど)、文字種の統一(英字は全て英小文字にするなど)、スペルミス・変換ミスなどによる表記ゆらぎの補正などをします。

後処理
分かち書き後の字句(トークン)を対象としており、数字の置換(数字の名詞は全て0に置き換えるなど)、特定の品詞のみの抽出をします。

Analyzerは、以下の3つを組み合わせて使用します。

• 文字の正規化などの前処理を行うCharFilter
• 形態素解析後の後処理を行うTokenFilter
• 分かち書きされたトークン単位で処理するTokenFilter

CharFilter

TokenFilter

基本的な使い方

from janome.tokenizer import Tokenizer
from janome.analyzer import Analyzer
from janome.charfilter import *
from janome.tokenfilter import *

t = Tokenizer()

s = '<div>ABCとabcとパイソンとﾊﾟｲｿﾝと1、2、3、4と一、二、三</div>'

for token in t.tokenize(s):
    print(token)

このままだと無駄な単語があり適切なデータ分析ができません。</やdivといったHTML部分は正規表現で削除するなどの前処理を行います。全角を半角にして統一したりすると単語数をチェックしたりするのにも便利です。

主な前処理として以下の3つです。

• 全角を半角に変換
• 正規表現によりHTMLタグを消去（空文字列で置換）
• 名詞のみを抽出してアルファベットを小文字化、’surface’属性のみを抽出

char_filters = [UnicodeNormalizeCharFilter(), #Unicodeを正規化することで表記ゆれを吸収
                RegexReplaceCharFilter('<.*?>', '')] #正規表現パターンにマッチした文字列を置換

token_filters = [POSKeepFilter(['名詞']), # 取得するトークンの品詞を指定（今回は名詞）
                 LowerCaseFilter(), #英字を小文字にする
                 ExtractAttributeFilter('surface')] # トークンから抽出する属性

a = Analyzer(char_filters=char_filters, token_filters=token_filters)

for token in a.analyze(s):
    print(token)

英語のABCがabcに、ﾊﾟｲｿﾝがパイソンへと置換されました。全角、半角で固有名称に差があるという事は稀だと思うので、解析にも役立つと思います。

複合名詞

解析をしていて大切だなと思ったのは「意味の変わってしまう単語をどうするか」です。例えば、自然言語と自然では意味合いも変わってきます。しかし、形態素解析では、「自然言語」を「自然」と「言語」に分ける処理が行われます。その別れてしまう名詞を一つにするのが複合化です。

CompoundNounFilter()による複合名詞化が可能です。

s = '自然言語処理は大変です。日本語は四字熟語や話し言葉が多いからです。'
 
for token in t.tokenize(s):
    print(token)

「自然言語」「四字熟語」などが想定どおり別れていますね。これを複合名詞化したいと思います。CompoundNounFilter()を使用します。

a = Analyzer(token_filters=[CompoundNounFilter()])
 
for token in a.analyze(s):
    print(token)

単語もなんとなくきれいに意図している固有名詞になっています。

単語の出現回数のカウント

TokenCountFilter()で簡単に単語の出現回数をカウントできます。また、POSKeepFilter、POSStopFilterといった他のフィルターと組み合わせることが可能です。

s = '自然言語処理による日本国憲法の形態素解析は非常に非常に大変'

a = Analyzer(token_filters=[POSKeepFilter(['名詞']), TokenCountFilter()])

g_count = a.analyze(s)
print(type(g_count))
# <class 'generator'>

for i in g_count:
    print(i)

リスト化したい場合はlist()を使う。上述のcollections.Counterのmost_common()メソッドの返り値と同じ。

l_count = list(a.analyze(s))
print(type(l_count))
# <class 'list'>

print(l_count)

その他

そのままの形態素解析の単語数と動詞の基本形へ変形した単語数を調べてみます。

s = '走れと言われたので思いっきり走った。とても疲れた。'

a01 = Analyzer(token_filters=[TokenCountFilter()])
print(list(a01.analyze(s)))

print('=' * 10)

a02 = Analyzer(token_filters=[TokenCountFilter(att='base_form')])
print(list(a02.analyze(s)))

for i in text:
    print("======================")
    print(i)

    for token in t.tokenize(i):
        print("    " + token.surface + " | " + token.base_form)

最後に

janome.Analyzerだけでも高機能なことがわかりました。英語と比べて日本語は非常に複雑です。この面倒な前処理を簡単に実行してくれるモジュールはどんどん実戦で使っていきたいと思います。Mecabと迷うな・・・

参考：
https://www.tutorialfor.com/questions-138610.htm
https://medium.com/@mocobeta/janome-0-3-4-release-63ed21f4fda9
Janome v0.4 documentation (ja)

---

なりたい自分になれる
スキルアップならUdemy

私も利用し、高収入エンジニアになったのよ。未経験から機械学習、データサイエンティスト、アプリ開発エンジニアを目指せるコンテンツが多数あります。優秀な講師が多数！割引を利用すれば1,200円〜から動画購入可能です。！

高収入エンジニアになる >>