日時とツイート数のグラフをPythonで描画する方法について

Question

###前提・実現したいこと
はじめまして,Pythonを触り始めたばかりのものです。
最近TwitterAPIを使ってツイート情報の収集を覚えたのですが、
特定のワードを含むツイートの数とその時系列を2次元のグラフにする方法が知りたいです。
検索したツイートは
tweet, date
0, ツイート本文,2017/11/11 10:10:10
1, ~~~~~~~~~~~~~~~~,~~~~~~~~~~~~~
といった形式のCSVファイルで保存しています。
これを以下のサイトの「時系列ツイート数推移」のようなグラフにするにはどうしたらよいでしょうか？
サイト:リスタバのTwitterデータをpythonで大量に取得し、データ分析を試みる その２

どうかお力添えいただけると幸いです。
よろしくお願いします。

###補足情報(言語/FW/ツール等のバージョンなど)
Python3.6 Windows10

Answer 1

Tweet数の集計は、日付ごとでよろしいのでしょうか？ それとも時間毎でしょうか？

いずれにしても、pandas にて CSVファイルを読み込み、GroupBy.count() にて期間ごとのTweet数の集計して、その結果をmatplotlib にて描画するのでよいかと思います。

とりあえず、日付毎に集計して棒グラフで描くサンプルを書きましたので、参考にしてみてください。

import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.dates as mpd

# CSVファイルを読み込み
df = pd.read_csv('tweet.csv', parse_dates=['date'], index_col=0)

# 日毎のTweet数を集計
count_data = df.groupby(df['date'].dt.date)['date'].count()
print(count_data)

# グラフを描画(Bar graph)
ax = plt.subplot()
ax.bar(count_data.index, count_data)
ax.xaxis.set_major_locator(mpd.DayLocator())
ax.xaxis.set_major_formatter(mpd.DateFormatter('%d-%b'))
plt.show()

CSVデータは

,tweet,date
0,ほげー,2017/11/11 10:10:10
1,ふがー,2017/11/11 11:15:32

といった形式を想定しております

Comments

[yomogian]

回答ありがとうございます。長時間の試行錯誤が嘘のように成功しました。
pandasに触れること自体が初めてでgroupby()やcount()など存じておりませんでした。
今回いただいたサンプルコードではdt.dateで日付毎に集計していますが、
これを日時+時間でグラフにしたいと思っています。（棒グラフを11日１時、11日2時、、、というように）
少し調べてみたところ、
count_data = df.groupby([df["date'].dt.day,df["date"].dt.hour])['time'].count()
とすることで日+時間毎のツイート数をカウントすることができたのですが、これをグラフにしようとすると、"unsupported operand type(s) for -: 'tuple' and 'float'"とのエラーがでます。
またdf["date"].dt.hourにすると1日のうちどの時間帯にツイートがされているかのグラフになってしまいます。どのようにすれば正確に描写できるのでしょうか？

[magichan]

毎時での集計の方法ですが、
count_data = df.groupby([df["date'].dt.day,df["date"].dt.hour])['time'].count()
で問題ないかと思います。
ただ、この場合 結果データのIndexが "time"と"hour" のMultiIndexとなっておりますので、このままグラフに描く(matplotlibに渡す)ことはできません。
count_data = df.groupby([df['date'].dt.date,df['date'].dt.hour])['date'].count()
の後に
count_data.index = count_data.index.map(lambda d: pd.datetime.combine(d[0], datetime.time(d[1])))
などとして 'date'と'hour'から作成した datetime にてIndexを振りなおすとよいかと思います。
ここで
count_data.index.map() は各Indexに関数適用するためのAPI
pd.datetime.combine() は date型とtime型を結合してdatetime型を生成するAPI
です

[yomogian]

丁寧な回答本当にありがとうございます。
たしかにMultiIndexとなってしました。
しかし上記のコードを修正時実行したところ
「combine() argument 1 must be datetime.date, not int」
というエラーがでましたので
datetime.date(2017,11,d[0])としたところ、

「DatetimeIndex(['2017-11-03 15:00:00', '2017-11-03 16:00:00',
'2017-11-03 17:00:00', '2017-11-03 18:00:00’,
...'],
dtype='datetime64[ns]', length=xxx, freq=None)]
なり結合はできたのですが、今度はax.bar(count_data,count_data.index)にて
「TypeError: ufunc subtract cannot use operands with types dtype('<M8[ns]') and dtype('float64')」
となってしまいエラーがでてしまいました。
解決方法をご存知でしたらどうか教えていただけないでしょうか。

[magichan]

おー申し訳ない
count_data = df.groupby([df["date'].dt.day,df["date"].dt.hour])['time'].count()
で問題ないと書きましたが、
× dt.day
○ dt.date
でした。
dayは int型 dateはdate型です。（年も含ようにdateで指定することになります）
で、上のように指定するとエラーがが消えると思います。