Pythonで正規表現を使ったらエラーが発生したので、解決策をご教授願いたいです。

Question

Pythonで正規表現を使って、余計な文字列を削除しようと思ったらこのようなエラーが発生しました。
よろしければ回答お願いします。

TypeError                                 Traceback (most recent call last)
<ipython-input-2-14afef8210b9> in <module>()
     86       print(f.read())
     87 
---> 88 getMtTweet()

2 frames
/usr/lib/python3.7/re.py in sub(pattern, repl, string, count, flags)
    192     a callable, it's passed the Match object and must return
    193     a replacement string to be used."""
--> 194     return _compile(pattern, flags).sub(repl, string, count)
    195 
    196 def subn(pattern, repl, string, count=0, flags=0):

TypeError: expected string or bytes-like object

エラーが出たのはここの部分です。

def format_text(tweet_data):

    tweet_data=re.sub(r'https?://[\w/:%#$&?()~.=+\-…]+', "", tweet_data)
    tweet_data=re.sub('RT', "", tweet_data)
    tweet_data=re.sub('お気に入り', "", tweet_data)
    tweet_data=re.sub('まとめ', "", tweet_data)
    tweet_data=re.sub(r'[!-~]', "", tweet_data)#半角記号,数字,英字
    tweet_data=re.sub(r'[︰-＠]', "", tweet_data)#全角記号
    tweet_data=re.sub('\n', " ", tweet_data)#改行文字

    return tweet_data
tweet_data=format_text

全体的には、このようなコードです。

import tweepy
import csv
import pprint
import pandas as pd
import os
import time
import datetime
import re

#ここはお決まりです。
consumer_key = ''
consumer_secret = ''
access_token = ''
access_token_secret = ''
auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth)

#ツイートを保存するGoogle Driveのディレクトリです。事前に作っておきましょう。
drive_path = '/content/drive/MyDrive/tweet'
#学習用のデータセットで必要なツイート数を指定しています。
max_tweets = 10000

def getMtTweet():
  #取得したツイートを格納するための配列
  tweets = []
  num = 0
  i = 1
  print('page ' + str(i))
  #自分のタイムラインを取得するためuser_timelineを使用します。1リクエストで取得できるツイートの上限数は100です。
  tweet_data = api.home_timeline(include_rts=False,exclude_replies=True,count=100)
  format_text(tweet_data)
  if(len(tweet_data) > 0):
    for tweet in tweet_data:
      #データセット用に各ツイートの最後に<|endoftext|>をつけて整形します。
      tweets.append([tweet.text+"<|endoftext|>"])
      num += 1
    i += 1
    next_max_id = tweet_data[-1].id
    while True:
      print('page ' + str(i))
      tweet_data = api.home_timeline(include_rts=False,exclude_replies=True,count=100, max_id=next_max_id-1)
      format_text(tweet_data)
      if(len(tweet_data) > 0):
        next_max_id = tweet_data[-1].id
        for tweet in tweet_data:
          tweets.append([tweet.text+"<|endoftext|>"])
          num += 1
        if(num >= max_tweets):
          break
        i += 1
        #Twitter API制限の上限でエラーにならないようにディレイをかけています。
        time.sleep((15*60)/180)
      else:
        break
      saveTweets(tweets)
  else:
    print('zero tweet')

def format_text(tweet_data):

    tweet_data=re.sub(r'https?://[\w/:%#$&?()~.=+\-…]+', "", tweet_data)
    tweet_data=re.sub('RT', "", tweet_data)
    tweet_data=re.sub('お気に入り', "", tweet_data)
    tweet_data=re.sub('まとめ', "", tweet_data)
    tweet_data=re.sub(r'[!-~]', "", tweet_data)#半角記号,数字,英字
    tweet_data=re.sub(r'[︰-＠]', "", tweet_data)#全角記号
    tweet_data=re.sub('\n', " ", tweet_data)#改行文字

    return tweet_data
tweet_data=format_text

def saveTweets(tweets):
  ut = time.time()
  #csv使ってますがデータセット用にテキストファイルで保存します。
  file_path = drive_path+'myTweets_' + str(ut) + '.txt'
  file = open(file_path, 'w')
  w = csv.writer(file)
  w.writerows(tweets)
  file.close()

  with open(file_path) as f:
      print(f.read())

getMtTweet()

Answer 1

TypeErrorなので、おそらく関数の引数の型が文字列になっていないことで発生しているエラーだと思います。
そして引数で使っている値を見るとapi.home_timeline(include_rts=False,exclude_replies=True,count=100)で処理内容からタイムラインを複数取っているのでlist型になっているのではないでしょうか？
type(tweet_data)で変数の型を確認するといいと思います

Comments

[robotKR]

ありがとうございます!!
明日、試してみようと思います!