pythonのtweepyでTwitterをスクレイピングしwordcloudで表示したい

Question

前提

サイトURL→https://python-man.club/python_get_tweet_morphological-analysis/
サイトに載っていたプログラムをそのままコピーした後
必要なものをpipでインストールしましたがエラーが多く
自分なりにプログラムを修正しても上手くいかず困っています。
python完全初心者です。よろしくお願いします。

実現したいこと

pythonのライブラリ『tweepy』を使ってTwitterをスクレイピング
した後、wordcloudを用いて使用頻度の高い単語などを表示したい。

エラーメッセージ

[('G', 2), ('123', 2), ('ゲーム', 2), ('https', 2), ('://', 2), ('t', 2), ('.', 2), ('co', 2), ('/', 2), ('年', 2), ('イメージ', 2), ('@', 1), ('ba', 1), ('0797', 1), ('naj', 1), ('残念', 1), ('はずれ', 1), ('たる', 1), ('毎日', 1), ('挑戦', 1)]

ソースコード(個人情報は文字列ffffに変更してます)

import tweepy
from datetime import datetime,timezone
import pytz
import pandas as pd
import collections
import MeCab
import datetime
import matplotlib.pyplot as plt  
from wordcloud import WordCloud
import seaborn as sns
sns.set(font='yuminl.ttf')

CONSUMER_KEY = 'ffff'
CONSUMER_SECRET = 'ffff'
ACCESS_TOKEN = 'ffff'
ACCESS_SECRET = 'ffff'

auth = tweepy.OAuthHandler(CONSUMER_KEY, CONSUMER_SECRET)
auth.set_access_token(ACCESS_TOKEN, ACCESS_SECRET)
api = tweepy.API(auth)

search_results = api.search_tweets(q="ゲーム", result_type="recent",tweet_mode='extended',count=50)

tw_data = []
for tweet in search_results:
    #tweet_dataの配列に取得したい情報を入れていく
    tw_data.append([
        tweet.id,
        tweet.full_text,
        tweet.favorite_count, 
        tweet.retweet_count, 
        tweet.user.id, 
        tweet.user.screen_name,
        tweet.user.name,
        tweet.user.description,
        tweet.user.friends_count,
        tweet.user.followers_count,
        tweet.user.following,
        tweet.user.profile_image_url,
        tweet.user.profile_background_image_url,
        tweet.user.url
                       ])

#取り出したデータをpandasのDataFrameに変換
#CSVファイルに出力するときの列の名前を定義
labels=[
    'ツイートID',
    'ツイート本文',
    'いいね数',
    'リツイート数',
    'ID',
    'ユーザー名',
    'アカウント名',
    '自己紹介文',
    'フォロー数',
    'フォロワー数',
    '自分のフォロー状況',
    'アイコン画像URL',
    'ヘッダー画像URL',
    'WEBサイト'
    ]

#tw_dataのリストをpandasのDataFrameに変換
df = pd.DataFrame(tw_data,columns=labels)

df1=df.iat[2,1]
df2=df.iat[3,1]
tw_text=df1 + df2
f=open('text.txt','w',encoding='UTF-8')
f.write(str(tw_text))
f.close

#f= open("text.txt", 'r', encoding='UTF-8') 
#text=f.read()
#f.close()
text=tw_text
tagger =MeCab.Tagger()
tagger.parse('')
node = tagger.parseToNode(text)

word_list=[]
while node:
    word_type = node.feature.split(',')[0]
    if word_type in ["名詞",'代名詞']:
        word_list.append(node.surface)
    node=node.next
word_chain=' '.join(word_list)

c=collections.Counter(word_list)
font_path='C:/Windows/Fonts/yuminl.ttf'
words = ['https','t','co','自民','し','w','そう', 'ない', 'いる', 'する', 'まま', 'よう', 'てる', 'なる', 'こと', 'もう', 'いい', 'ある', 'ゆく', 'れる', 'ん', 'の']
result = WordCloud(width=800, height=600, background_color='white', 
                   font_path=font_path,regexp=r"[\w']+", 
                   stopwords=words).generate(word_chain)
result.to_file("./wordcloud_sample1.png")
print(c.most_common(20))
fig = plt.subplots(figsize=(8, 10))

sns.set(font="Hiragino Maru Gothic Pro",context="talk",style="white")
sns.countplot(y=word_list,order=[i[0] for i in c.most_common(20)],palette="Blues_r")

試したこと

エラーが表示されるたびにエラー行部分を修正したり削除したりしていましたが最終的に行き詰まってしまいました。

Comments

[melian]

「ツイート時刻」と「アカウント作成日時」が足りないです。

[sshagj705]

エラーが出るたびに削除していたのでめちゃくちゃになってました。ありがとうございます。
プログラムとエラー文を最新の物に変更しました。すみません

[melian]

文字列に変換すればよいのではないでしょうか。(変数名が適切ではない様に思えます)

f.write(str(tw_text))

[sshagj705]

都度修正していただきありがとうございます。
更新した後↑のようなエラー文に変化しました。ファイルが見つからないということは事前に作成しておくべきファイルなのでしょうか？

[melian]

参考にしているプログラムコードをみると、

f= open("text.txt", 'r', encoding='UTF-8')

なのだと思います。ただ、直前で保存したファイルを何故に再度読み込んでいるのかは不明ですが。。。(変数 tw_text を使うとよいかと)

[melian]

それから、先程気がついたのですが、

df1=df.iat[2,2]
df2=df.iat[3,2]

は、

df1=df.iat[2,1]
df2=df.iat[3,1]

に変更する必要があります。理由は「ツイート時刻」を削ったから、です。

[sshagj705]

df1,2の修正の件、了解しました。修正後もエラー文には変化ありませんでした。
73行目の
f= open("/text.txt", 'r', encoding='UTF-8')は
どのように変更すべきでしょうか？

[sshagj705]

『/』を削除するだけで大丈夫でしょうか

[melian]

はい、/ を削除してみて下さい。

f= open("text.txt", 'r', encoding='UTF-8')

[sshagj705]

『/』削除してみたところ↑のようなエラーに変化しましたm(__)m

[melian]

一旦、以下の行をコメントアウトして、

f= open("text.txt", 'r', encoding='UTF-8')
text=f.read()
f.close()

直後に以下を追加して試してみて下さい。

text = tw_text

[sshagj705]

変更しました。長いエラー文に変化しましたm(__)m

[melian]

以下のエラーメッセージが表示されています。/System/Library/Fonts/ヒラギノ明朝 ProN.ttc ファイルが存在しないのでしょう。

No such file or directory: '/System/Library/Fonts/ヒラギノ明朝 ProN.ttc'

[sshagj705]

Cドライブのwindowsフォルダ内のfontsフォルダ内にあったArialで指定して実行しました。よくわからない文字が出力されました。そのため22行目の　api.search_tweets(q="かきくけこ"　の”"内の部分を変化させたら実行結果が変化しました。ちなみに””内を”あいうえお”としたときは　[('あい', 1)]　と表示されました。
なぜこんな文字が出力されるのか全然わかんないです...

[sshagj705]

ちなみに11行目のsns.set(font='Hiragino Sans')の部分もsns.set(font='Arial')に変更すべきでしょうか？

[melian]

"あいうえお" や "かきくけこ" という様な、ツイート本文に含まれる可能性の低い語句ではなく、意味のありそうな語句を指定してみてはどうでしょうか。

[sshagj705]

"ゲーム"に指定したところエラー文が変化しました。

[sshagj705]

すみません。70行目のエラー解説お願いします……(T_T)

[melian]

おそらく、encoding を指定する必要があります。

f=open('text.txt','w',encoding='utf-8')
f.write(str(tw_text))

[sshagj705]

ありがとうございます！それらしい結果に変化したのですが、ここからwordcloudに表示するためにはどのようにすればよいでしょうか？

[sshagj705]

プログラム実行後、フォルダにtext.txtというファイルが生成されていました。そのテキストにはエラー文の@ba0797naj 残念ながらはずれです…！
当たるまで毎日挑戦できます！と書かれていました。

[sshagj705]

度々すみません。↑２つのコメントは無視で大丈夫です。すみません。wordcloud_sample1.pngというファイルが生成されていました。これが完成形だと思います。ただ出現頻度の高い言葉が２，３個表示されているのですが、いろんな大きさの四角形がたくさんあってワードが全然表示されてないんですが何が原因でしょうか

[sshagj705]

日本語が表示されず、英単語しか表示されないです...。それと実行結果を見る限り複数のツイートから分析するのではなく最新の１ツイートだけ分析してるみたいです。

[sshagj705]

すみません！上のコメント全部無視で大丈夫です。日本語が表示されない問題はフォントをarial.ttfからyuminl.ttfに変更したところ解決しました。たくさんツイートを取得してその中から出現頻度の高い単語を表示したいのですが、今の実行結果を見る限りツイートを１件だけ取得してその中の単語を表示してるだけのプログラムになってしまっています。ちなみに22行目のツイート取得のプログラム内のcount=の部分を50にしましたが結果が変わりませんでした。お願いします。m(__)m

[sshagj705]

素人の意見ですが、22行目で複数のツイートを取得しても66行目から68行目の、取得したツイートをtext.textに書き込むプログラムが1回しか行われていないのが原因だと思うのですが、22行目で読みんだツイート分text.textに書き込むにはどのようなプログラムに編集すべきでしょうか？