Twitterで取得したデータが文字化けするのでどうにかしたい。

Question

前提

version python3.7

twitter.Apiでtwitterデータを取得し、csvに出力しているのですが、文字化けが発生します。

下記は例です。

しかしながら、printでの出力はtextが日本語で出力されます．

例）

print (tweet_list)
↓
出力結果
　　　id　　　　　　　　　　　　　　　　　　　　　　　　　　 text
0  1200303994465181696  ...  公共交通機関使わないので \n\n#Peing #質問箱 https://t.co/elbd...
0  1200303980468817922  ...  3人連れて車でイオン行くのより2歳児1人連れて公共交通機関で街中行くほうが何万倍もしんどくて...
0  1200303845982662656  ...  公共交通機関で害児してる野郎を盗撮して家族に晒してやる\nおい音楽イヤホンもしないで流すんじ...

↓画像

エンコードがおかしいと思い、ソースコードの一番下の

tweet_list.to_csv("結果.csv",index =false)

↓このように書き換えると

tweet_list.to_csv("結果.csv",index =false,encoding ='shift_jis')

エラーメッセージ全文

runfile('C:/Users/名前/Desktop/python/Twitter/twitter取得.py', wdir='C:/Users/名前/Desktop/python/Twitter')
                    id  ...                                               text
0  1200305731137785857  ...  ジャンクション辺りがやや...
0  1200305427264622592  ...  公共交通に市場原理を持ち込んだ戦犯だ……
0  1200304401627275265  ...  公共交通機関で携帯マナーに...
0  1200304368542605312  ...  地元を悪く言うわけじゃないけど、公共交通機関...
0  1200304348892286976  ...  駐車場には限りがあるので、出来るだけ公共交通機関を利用してください。...
0  1200303994465181696  ...  公共交通機関使わないので...

[10 rows x 4 columns]
Traceback (most recent call last):

  File "<ipython-input-11-9c4a10f3f938>", line 1, in <module>
    runfile('C:/Users/名前/Desktop/python/Twitter/twitter取得.py', wdir='C:/Users/~~~/Twitter')

  File "C:\Users\名前\Anaconda3\lib\site-packages\spyder_kernels\customize\spydercustomize.py", line 827, in runfile
    execfile(filename, namespace)

  File "C:\Users\名前\Anaconda3\lib\site-packages\spyder_kernels\customize\spydercustomize.py", line 110, in execfile
    exec(compile(f.read(), filename, 'exec'), namespace)

  File "C:/Users/名前/Desktop/python/Twitter/twitter取得.py", line 271, in <module>
    tweet_list.to_csv("結果.csv",index=False,encoding='shift_jis')

  File "C:\Users\名前\Anaconda3\lib\site-packages\pandas\core\generic.py", line 3228, in to_csv
    formatter.save()

  File "C:\Users\名前\Anaconda3\lib\site-packages\pandas\io\formats\csvs.py", line 202, in save
    self._save()

  File "C:\Users\名前\Anaconda3\lib\site-packages\pandas\io\formats\csvs.py", line 324, in _save
    self._save_chunk(start_i, end_i)

  File "C:\Users\名前\Anaconda3\lib\site-packages\pandas\io\formats\csvs.py", line 356, in _save_chunk
    libwriters.write_csv_rows(self.data, ix, self.nlevels, self.cols, self.writer)

  File "pandas\_libs\writers.pyx", line 72, in pandas._libs.writers.write_csv_rows

UnicodeEncodeError: 'shift_jis' codec can't encode character '\u2757' in position 123: illegal multibyte sequence

このようなエラーメッセージが出てきました。
そのため、絵文字等が文字化けの原因になっているのではないかと考えられるのですが、

###実現したいこと➡日本語でcsv内で表示できるようにしたい
下のソースコードのどの部分に絵文字などの文字化けする原因を削除する旨を記載すればよいのかわかりません。
どこの部分にエンコードをshift_jisにして絵文字などの文字化けする原因を削除する旨を記載すればよいでしょうか？

お手数ですが、ご教授いただければ幸いです。

該当のソースコード

if __name__ == '__main__':
    text=pd.DataFrame([[0,0,0,0]],columns=["id","created_at","@","text"])
    list_=[]
    # キーワードで取得
    getter = TweetsGetter.bySearch(u'公共交通')

for tweet in getter.collect(total =x #欲しい数)
text["id"] = tweet["id"]
text["created_at"] = tweet["created_at"]
text["@"] ="@"+tweet["user"]["screen_name"]
text["text"] = tweet["text"]
list_.append(text)
text=pd.DataFrame([[0,0,0,0]],columns="id","created_at","@","text"])
cnt += 1

tweet_list =pd.concat(list_)

tweet_list.to_csv("結果.csv",index =false)

補足情報（FW/ツールのバージョンなど）

長くなり、質問したい部分がわかりにくくなるので、twitterから取得するためのソースコードは省略してあります。

Comments

[y_waiwai]

で、しつもんはなんでしょうか

[Guroguro]

申し訳ありません！！
Twitterのtext内の絵文字を削除するにはどこに絵文字を削除する旨を記載したら良いでしょうか？
というのが質問です。

[y_waiwai]

絵文字とは具体的にどういうデータになってるんでしょうか。
そこらへんも含めて質問を編集して追記してください

[Guroguro]

承知致しました。編集してみます！ありがとうございます。

[hayataka2049]

「下記は例です。」の内容をどうやって確認したのかも追記してください。
また、エラーは一行だけではなく全体を提示してください（Tracebackの先頭から）。

[dameo]

エラーメッセージにある\U0001f60aは、SMILING FACE WITH SMILING EYESというemojiの1つです。
emoji自体は正しいUnicode文字で、UTF-8でちゃんとエンコーディングできます。
シフトJISでは当然存在しない文字なので、変換できません。
ちゃんとフォントのレンダリングが出来る環境で、emojiに対応している端末を使用していれば、コンソールで表示もできるし、エディタで対応していれば扱える文字です。
ただし、Windowsの標準コンソールなどの端末では表示できません(私の記憶では)。
「文字化け」と言っている現象が、何をどうしたときにどうなったからそう言っていて、それをどうしたいのでしょう？

[dameo]

なお、Windowsのコンソールにまつわる諸々の問題に対応すべく「Windows Terminal」というMS謹製ソフトが2019/11/28現在プレビュー版として出てきており、ここではemojiなどの対応も入っているようです。

[Guroguro]

@hayataka2019様
ありがとうございます。
「下記は例です。」の内容の確認は.csvファイルで確認致しました。
エラーメッセージに全文を表示させて頂きました。

@dameo様
エンコーディングに関する情報ありがとうございます。
「emoji自体は正しいUnicode文字で、UTF-8でちゃんとエンコーディングできます。シフトJISでは当然存在しない文字なので、変換できません。」
そのため、エンコードがUTF-8ではエラーメッセージがでてこなかったのですね。
修正致しました冒頭の画像のようにtwitterのtextを.csvデータに出力した際に、（表現が適切か自身はありませんが）「文字化け」と現状呼ばせて頂いている現象が発生しております。

後、Windows10です。。。surface pro4を使用してます。それが原因なのでしょうか…情報ありがとうございます。
標準コンソールについて勉強させて頂きます。

[dameo]

文字化けが起きているのはExcelだったんですね。
データフレームをCSVに吐き出す際のエンコーディング指定をutf_8_sigにしてみたらどうでしょう？
BOMが付くので、(Excelのバージョンにも依るかもですが)正しくUTF-8と判定してくれるかもしれません。

[Guroguro]

@dameo様
いけました。
Excelで文字化けせずに表示されました。
ありがとうございます。

Answer 1

'''
if name == 'main':
text=pd.DataFrame([[0,0,0,0]],columns=["id","created_at","@","text"])
list_=[]
getter = TweetsGetter.bySearch(u'公共交通')

for tweet in getter.collect(total =x )
text["id"] = tweet["id"]
text["created_at"] = tweet["created_at"]
text["@"] ="@"+tweet["user"]["screen_name"]
text["text"] = tweet["text"]
list_.append(text)
text=pd.DataFrame([[0,0,0,0]],columns="id","created_at","@","text"])
cnt += 1

tweet_list =pd.concat(list_)

tweet_list.to_csv("結果.csv",index =false,encoding='UTF_8_sig')
'''

dameo様のアドバイスによりエンコードをUTF_8_sigにしたら解決しました。
ありがとうございました。

その他にもアドバイス頂いた皆様ありがとうございました。