HTMLのスクレイピングを行ってWebページを解析する、一部の文書を抽出して解析するなど用途も様々です。その難しい処理を行ってくれるのが、janomeのAnalyzerという強力なモジュールがあります。

自然言語処理のライブラリでMeCabを紹介しました。そこでも簡単に触れましたが、有名なライブラリでJanomeというのもあるので紹介します。というか勉強したのでメモ書きです。

私たち人間には「好き」「嫌い」「ポジティブ」「ネガティブ」などの感情・気持ちがあるので、それをAIで分析していようというのが感情分析・ネガポジ分析です。そのやり方を紹介します。

PythonでMeCabを利用する方法を紹介していきます。自然言語処理には欠かせないオープンソースの形態素解析エンジンです。

自然言語処理の基礎「TF-IDF」を自分なりにまとめたので紹介します。TF-IDFは、文書中に含まれる単語の重要度を評価する手法の1つです。

自然言語処理ではベクトルというキーワードを多用します。その計算・集合同士の類似度を計算する際によく利用される3つの係数「Jaccard係数」「Dice係数」「Simpson係数」をご紹介します。

自然言語処理の文章が肯定的か否定的かの判定を目的とした極性判定（ネガポジ判定）をゴールとして、形態素解析や形態素解析の結果からBag of Wordsの集計やTF-IDFなどの特徴量算出を行う方法について、初歩的な解説を行っていきます。