Pythonでeval()関数を使うと、invalid character in identifierというエラーが発生する。

Question

発生している問題・エラーメッセージ

Pythonでeval()関数を使うと、次のようなエラーが発生します。

  File "<string>", line 1
    
                                                                                                                  ^
SyntaxError: invalid character in identifier

該当のソースコード

import tweepy
import csv
import pprint
import pandas as pd
import os
import time
import datetime
import re

#ここはお決まりです。
consumer_key = ''
consumer_secret = ''
access_token = ''
access_token_secret = ''
auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth)

#ツイートを保存するGoogle Driveのディレクトリです。事前に作っておきましょう。
drive_path = '/content/drive/MyDrive/tweet'
#学習用のデータセットで必要なツイート数を指定しています。
max_tweets = 10000

def getMtTweet():
  #取得したツイートを格納するための配列
  tweets = []
  num = 0
  i = 1
  print('page ' + str(i))
  #自分のタイムラインを取得するためuser_timelineを使用します。1リクエストで取得できるツイートの上限数は100です。
  tweet_data = api.home_timeline(count=100)
  if(len(tweet_data) > 0):
    for tweet in tweet_data:
      #データセット用に各ツイートの最後に<|endoftext|>をつけて整形します。
      
      tweets.append([tweet.text+"<|endoftext|>"])
      num += 1
    i += 1
    next_max_id = tweet_data[-1].id
  while True:
      print('page ' + str(i))
      tweet_data = api.user_timeline(count=100, max_id=next_max_id-1)
      if(len(tweet_data) > 0):
        next_max_id = tweet_data[-1].id
        for tweet in tweet_data:
          tweets.append([tweet.text+"<|endoftext|>"])
          num += 1
        if(num >= max_tweets):
          break
        i += 1
        #Twitter API制限の上限でエラーにならないようにディレイをかけています。
        time.sleep((15*60)/180)
      else:
        break
      saveTweets(tweets)
  else:
    print('zero tweet')

def saveTweets(tweets):
  ut = time.time()
  tweets=', '.join(map(str, tweets))#list型をstr型に変換
  tweets=re.sub(r'https?://[\w/:%#$&?()~.=+\-…]+', "", tweets)
  tweets=re.sub('RT', "", tweets)
  tweets=re.sub('お気に入り', "", tweets)
  tweets=re.sub('まとめ', "", tweets)
  tweets=re.sub(r'[!-~]', "", tweets)#半角記号,数字,英字
  tweets=re.sub(r'[︰-＠]', "", tweets)#全角記号
  tweets=re.sub('\n', " ", tweets)#改行文字
  tweets=eval(tweets)#str型からlist型に変換

  #テキストファイルで保存
  file_path = drive_path+'myTweets_' + str(ut) + '.txt'
  file = open(file_path, 'w')
  w = csv.writer(file)
  w.writerows(tweets)
  file.close()

  with open(file_path) as f:
      print(f.read())

getMtTweet()

試したこと

ここのeval()関数をコメントアウトしたりしてみました。
eval関数をコメントアウトしたらエラーが消えたのでここのeval関数が原因なのではないかと思っています。
また、astメゾットを使ってみても同様のエラーが発生しました。

  tweets=', '.join(map(str, tweets))#list型をstr型に変換
  tweets=re.sub(r'https?://[\w/:%#$&?()~.=+\-…]+', "", tweets)
  tweets=re.sub('RT', "", tweets)
  tweets=re.sub('お気に入り', "", tweets)
  tweets=re.sub('まとめ', "", tweets)
  tweets=re.sub(r'[!-~]', "", tweets)#半角記号,数字,英字
  tweets=re.sub(r'[︰-＠]', "", tweets)#全角記号
  tweets=re.sub('\n', " ", tweets)#改行文字
  tweets=eval(tweets)#str型からlist型へ変換。

どなたか解決策がわかる方は回答お願いします。

Comments

[can110]

eval(tweets)する直前のtweetsをprintした結果を提示ください。
長すぎる場合はエラーが再現する最小限の文字列tweetsを提示ください。

[robotKR]

File "<string>", line 1
銀座和光時計台???? 奈良から富士山が見えるって知ってた おはようございます✌️✌️日曜日 言葉が出ない……。 俺もロボットの声作ってみようかな。みさいるさんの動画みて興味湧いてきた。 コロナはやはりシンだった いやナギ節は終わらないで 街行く人のほぼ全員がマスクつけてる。そしてウレタンは以前より減って不織布が増えた。世界トップレベルのワクチン接種率伸び率と、多分世界一のマスク着用遵守率が今のナギ節をもたらしてるんやろなって。 ナギ節やめろ かわいいソーラー充電 秋月電子でお買い物 と、同じプロセサで動作する 、 の方は付属品もてんこ盛りで円とか値段がバグってるｗ 機器がビシバシ繋げられてアナログモーターコントロール… 電動台車型のメリットは様々な市販車椅子に対応できる汎用性。なので、友人同士でシェアリングしたり、荷物搬送にも活用できる車椅子に乗らない友達とも一緒に遊べる様に、「電車で」操縦コンで運転する電車アトラクションにもできるワクワ… すごパッと見砂浜が波打ってる おはようございます☺️ ジブリのワンシーンのように。 ひらがなカタカナ半角カナ濁音半濁音扱うコード書いて日本語とかいう言語クッソだるいなとなった そんなもんロビー活動するなよ。そして厚労省は相変わらず人の居るところで噴霧非推奨。活動実らず。 裏から見れる滝、岩井滝。 素敵´ω｀???? ここ最近、ちょっとしたケチが積もり積もって人々の生活が貧しくなっていく感がすごい ブレ゙ーン゙ズダイ゙ル゙に゙ぎょゔぜい゙だぐお゙ん゙ぎの゙ゔづげだ アボカドは絶滅するはずだった南北両大陸でマンモスや巨大なバクやナマケモノのような大型哺乳類が絶滅した時に種子散布者がいなくなった。人間が食用栽培を始めるまでに絶滅の道を辿っていた可能性あるという話 にゃんこ大戦争 も゙に゙ 【 】高音質無料ダウンロード動画の等に是非ご利用ください。 トラック提供 ☟のご利用について… ただし、公式版 ｽﾀｯｸﾁｬﾝ のファームは使えないので、制御ソフトは自分で作る必要があります???? ワクチン打った方の腕ホント痛い。これ明日学校行けるかな。。。 オールしたから今から仕事やけど眠すぎる…歩きながら寝れる ありがとうございます???? 最初人にピント合わせてたんですけどつまらない感じだったので、信号機に合わせて撮ってみました????気づいていただけて嬉しいです、ありがとうございます????✨ おはようございます☀️ありがとうございます???? あれー でをビルドしようとすると フォントの の生成中に応答が無くなってしまう… ミク 新宿の裏路地がたまらなく好き まだピンクの ｽﾀｯｸﾁｬﾝ はいなかったはず???? 買った 天地創造。 家事だけで半日終わった????母の有難みがよく分かる…もっと親孝行しよう…撮影で毎週夜中から県外に行かないことが一番の親孝行な気はする← お願い????「選挙カー廃止のお願い」乳児期、やっとの思いで寝かしつけたのに、スピーカーからの爆音にマイナスからのスタート。現在、聴覚過敏のある人・双子自閉症の我が子。近づくスピーカー音におびえ、イヤーマフをつけ、毛布をかぶっ… 朝から超望遠で散歩 おはようございます◞౪◟熱下がった…かな写真 カメラ 写真好きな人と繋がりたい 情景 カメラ好きな人と繋がりたい ふむふむ 寝るのも忘れて進撃見てたけど、細谷さんいるの嬉しくて発狂やしジャ...
^
SyntaxError: invalid character in identifier

これでよろしいでしょうか？

[robotKR]

音
半
濁
音
扱
う
コ
ー
ド
書
い
て
日
本
語
と
か
い
う
言
語
ク
ッ
ソ
だ
る
い
な
と
な
っ
た

そ
ん
な
も
ん
ロ
ビ
ー
活
動
す
る
な
よ
。
そ
し
て
厚
労
省
は
相
変
わ
ら
ず
人
の
居
る
と
こ
ろ
で
噴
霧
非
推
奨
。
活
動
実
ら
ず
。
eval(tweets)をする直前のtweetsはこのような感じです。
長すぎるので最初の方だけです。

[can110]

ふつうの文字列ですね。これだとevalやastではエラーになります。
この文字列をどのようなルールでリストにしたいのでしょうか？
（空白文字「 」区切毎に別文字列のリストにしたい、など）

[robotKR]

なるほど。そうなんですね!!
空白文字で区切りたいです。

Answer 1

文字列を区切りたい場合は単純に.split(区切り文字)を使えばよいです。

tweets = "銀座和光時計台???? 奈良から富士山が見えるって知ってた おはようございます✌️✌️日曜日 言葉が出ない……。"
print(tweets)
tweets = tweets.split(' ')
print(tweets)

Comments

[robotKR]

ありがとうございました!!