前回の記事の簡単なおさらい

データを覗く

JSONの取り扱い

nlp_preprocessing.py

# JSONファイルを取り扱うためにjsonモジュールをインポート。
import json

# 第一引数はファイルまでのパスにする。
# 第二引数には読み込みモードの'r'を指定。
# encodingをutf-8にしないと日本語をうまく読み込めない場合がある。
with open('./data/mornigblog.json','r',encoding='utf-8') as f:

  # ファイル記述子をloadメソッドに入れるだけの簡単なお仕事です。
  mornigblog=json.load(f)

# とりあえず中身を確認。
# これ全部表示すると恐ろしいことになる。
# なので、最後の行だけ表示する。
# 最後の行には一番古いブログ記事が格納されている。
print(mornigblog[-1])

# コマンドプロンプトまたはターミナルから実行
python nlp_preprocessing.py

google colaboratory

事始め

GPUを使えるようにする

ファイルをアップロード

from google.colab import files
uploaded = files.upload()

ファイルを確認

ls -al

pip install notebook

# インストールし終わったら、
# コマンドライン上で以下を打つだけ。
jupyter notebook

# するとブラウザが立ち上がり、
# colaboratoryと一緒の画面が出てきます。
# ただKeras等はインストールと設定が非常に面倒くさいし、
# これから使う分かち書きのライブラリ（文章を単語ごとに細かく分ける）は
# LinuxやMac等しか使えない辞書があったり、
# windowsで使えるように設定する必要があったり、
# ややこしいので、colaboratoryを使うのをお勧めします。

from IPython.display import display
display(mornig_blog[-1])

感情分析

!git clone https://github.com/sugiyamath/sentiment_ja

とりあえず使ってみる

cd sentiment_ja

!python setup.py install

# メンバーのブログ記事の最後から数えて４番目から
# 最後まで、つまり一番古い4記事を取り出します。
# それを、誰の記事なのか分かりやすくするため、
# 記事を書いた人をキー、
# 記事をバリューとして辞書のリストにする。
text_list=[{mb['author']:mb['article']} for mb in morning_blog[-4:]]

# 一応確認。
dispay(text_list)

感情分析の結果をグラフ化

# インストールしたsentimetjaからAnalyzerをインポート
from sentimentja import Analyzer

# Analyzerから感情分析するためのanalyzerオブジェクトを作成
analyzer = Analyzer()

# 4人分、4記事が入ったtext_listから
# 一つずつの記事を、一行ごとに感情分析していきます。
# グラフ化する時のタイトルに使うため、
# 二度手間ですが再び辞書型にしてキーを書いた人にする。
analyzed_dict=[{list(tl.keys())[0]:analyzer.analyze(t)} for tl in text_list for t in list(tl.values())]

# 表示してみる
display(analyzed_dict)

懸念材料

実食！

日本語に対応させる

!pip install japanize-matplotlib

食わず嫌い王

# データをいっぺんに処理するためPandasをインポート
import pandas as pd
# グラフツールのライブラリを長いので短い名前にしてインポート
import matplotlib.pyplot as plt
# 日本語を表示してくれる
import japanize_matplotlib
# 軽くグラフを表示してくれるマジックコマンド
% matplotlib inline

# 表題をメンバーの名前と日付にする。
plot_titles=[list(ad.keys())[0] for ad in analyzed_dict]

# 感情表記6種類をX軸のラベルにするための準備
columns=list(list(analyzed_dict[0].values())[0][0]['emotions'])

# 平均や比率を計算するのに、DataFrameにすると便利なので変換する
senti_dfs=[pd.DataFrame([a['emotions'] for av in list(ad.values()) for a in av],columns=columns) for ad in analyzed_dict]

# 合計値をリストにしてメンバー分格納。
emotions_sums=[[sd[s].apply(float).sum() for s in sd.columns] for sd in senti_dfs]

# 感情ごとの比率をリスト化していく。
rates=[esum/sum(esums) for esum in emotions_sums]
senti_rates=[dict(map(list,zip(senti_dfs[num].columns.tolist(),rate))) for num,rate in enumerate(rates)]

# 感情の種類と対応する比率をパーセンテージに直して表記させる。
labels=[[f'{list(sr.keys())[i]} \n {round(list(sr.values())[i]*100)}%' for i in range(len(sr.keys()))] for sr in senti_rates]

# メンバーの記事ごとにグラフに表示していく。
for num in range(len(senti_dfs)):

  # X軸に「仮」の名前をつけてグラフの骨組みを作っておくための作業。
  x=[i+1 for i in range(len(emotions_sums[num]))]

  # Y軸はそれぞれの感情の合計値。
  y=emotions_sums[num]

  # 表題は書いた人の名前と日付。
  plt.title(f'{plot_titles[num]} {morning_blog[-4:][num]["date"].split(" ")[-1]}')

  # X,Yを指定してグラフの型を作ったのち、ラベル、
  # つまり、感情の名前と比率を貼り付ける。
  plt.bar(x,y,tick_label=labels[num])

  # 一つずつグラフ表示させる
  plt.show()

判定

考察

両名の共通点

天才と狂犬

再検証の余地おおあり

おまけ