HTMLのスクレイピングを行ってWebページを解析する、一部の文書を抽出して解析するなど用途も様々です。その難しい処理を行ってくれるのが、janomeのAnalyzerという強力なモジュールがあります。

自然言語処理のライブラリでMeCabを紹介しました。そこでも簡単に触れましたが、有名なライブラリでJanomeというのもあるので紹介します。というか勉強したのでメモ書きです。

自然言語処理の文章が肯定的か否定的かの判定を目的とした極性判定（ネガポジ判定）をゴールとして、形態素解析や形態素解析の結果からBag of Wordsの集計やTF-IDFなどの特徴量算出を行う方法について、初歩的な解説を行っていきます。