teratail
回答率
85.36%
teratail header banner
teratail header banner
質問するログイン新規登録
トップに関する質問Twitterで取得したデータが文字化けするのでどうにかしたい。

編集履歴

質問編集履歴

8

下記の例を画像に変更。エラーコード全文表示しました。

2019/11/29 07:02

投稿

Guroguro
Guroguro

スコア8

test CHANGED
File without changes
test CHANGED
@@ -10,15 +10,7 @@
10
10
 
11
11
  下記は例です。
12
12
 
13
- ```
14
-
15
- text
16
-
17
- 螳ｿ豕頑命險ｭ縺ｪ縺ｩ縺ｯ繧ｳ繝ｳ繧ｹ繧ｿ繝ｳ繝医↓遞ｼ蜒阪〒縲∵ｺ€蜩｡縺ｪ繧画妙繧九％縺ｨ縺後〒縺阪ｋ縺代←縲∝・蜈ｱ莠､騾壽ｩ滄未縺ｯ譁ｭ繧翫↓縺上＞縺励€∝ｸよｰ代°繧峨・縲梧ｷｷ繧薙〒繧具ｼ√€阪€碁≦繧後ｋ・√€阪ｄ縺励€∵か縺ｾ縺励＞"
13
+ ![イメージ説明](501de8b60734674879804959f5f8c96d.jpeg)
18
-
19
-
20
-
21
- ```
22
14
 
23
15
  しかしながら、printでの出力はtextが日本語で出力されます．
24
16
 
@@ -34,19 +26,25 @@
34
26
 
35
27
  出力結果
36
28
 
29
+ 　　　id　　　　　　　　　　　　　　　　　　　　　　　　　　 text
30
+
37
- id ... text
31
+ 0 1200303994465181696 ... 公共交通機関使わないので \n\n#Peing #質問箱 https://t.co/elbd...
38
-
32
+
39
- 0 1199254093757157377 ... 似たようなテーマなら情報交換で論理に幅が出せるし論理の補強材料が見つかるかもしれんからまだわ...
33
+ 0 1200303980468817922 ... 3人連れて車でイオン行くのより2歳児1人連れて公共交通機関で街中行くほうが何万倍もしんどくて...
40
-
41
- 0 1199254076711567360 ... 公共交通機関、もしくは自転車による移動を推奨する。
34
+
42
-
43
- 0 1199253881995194368 ... なんでこんな沖縄で慌ててるかというと、予定お願いしてた人が飛行機乗り慣れてなくて分単位の旅程...
35
+ 0 1200303845982662656 ... 公共交通機関で害児してる野郎を盗撮して家族に晒してやる\nおい音楽イヤホンもしないで流すんじ...
44
-
36
+
45
- ```
37
+ ```
38
+
46
-
39
+ ↓画像
40
+
47
-
41
+ ![イメージ説明](741a3efaa41f935253f8d0e17b6ade2f.jpeg)
48
-
42
+
43
+
44
+
45
+
46
+
49
- エンコードがおかしいと気付き、ソースコードの一番下の
47
+ エンコードがおかしいと思い、ソースコードの一番下の
50
48
 
51
49
  ```
52
50
 
@@ -64,11 +62,89 @@
64
62
 
65
63
 
66
64
 
67
- ### エラーメッセージ
65
+ ### エラーメッセージ全文
68
-
66
+
69
- ```
67
+ ```
68
+
69
+
70
+
70
-
71
+ runfile('C:/Users/名前/Desktop/python/Twitter/twitter取得.py', wdir='C:/Users/名前/Desktop/python/Twitter')
72
+
73
+ id ... text
74
+
75
+ 0 1200305731137785857 ... ジャンクション辺りがやや...
76
+
77
+ 0 1200305427264622592 ... 公共交通に市場原理を持ち込んだ戦犯だ……
78
+
79
+ 0 1200304401627275265 ... 公共交通機関で携帯マナーに...
80
+
81
+ 0 1200304368542605312 ... 地元を悪く言うわけじゃないけど、公共交通機関...
82
+
83
+ 0 1200304348892286976 ... 駐車場には限りがあるので、出来るだけ公共交通機関を利用してください。...
84
+
85
+ 0 1200303994465181696 ... 公共交通機関使わないので...
86
+
87
+
88
+
89
+ [10 rows x 4 columns]
90
+
91
+ Traceback (most recent call last):
92
+
93
+
94
+
95
+ File "<ipython-input-11-9c4a10f3f938>", line 1, in <module>
96
+
97
+ runfile('C:/Users/名前/Desktop/python/Twitter/twitter取得.py', wdir='C:/Users/~~~/Twitter')
98
+
99
+
100
+
101
+ File "C:\Users\名前\Anaconda3\lib\site-packages\spyder_kernels\customize\spydercustomize.py", line 827, in runfile
102
+
103
+ execfile(filename, namespace)
104
+
105
+
106
+
107
+ File "C:\Users\名前\Anaconda3\lib\site-packages\spyder_kernels\customize\spydercustomize.py", line 110, in execfile
108
+
109
+ exec(compile(f.read(), filename, 'exec'), namespace)
110
+
111
+
112
+
113
+ File "C:/Users/名前/Desktop/python/Twitter/twitter取得.py", line 271, in <module>
114
+
115
+ tweet_list.to_csv("結果.csv",index=False,encoding='shift_jis')
116
+
117
+
118
+
119
+ File "C:\Users\名前\Anaconda3\lib\site-packages\pandas\core\generic.py", line 3228, in to_csv
120
+
121
+ formatter.save()
122
+
123
+
124
+
125
+ File "C:\Users\名前\Anaconda3\lib\site-packages\pandas\io\formats\csvs.py", line 202, in save
126
+
127
+ self._save()
128
+
129
+
130
+
131
+ File "C:\Users\名前\Anaconda3\lib\site-packages\pandas\io\formats\csvs.py", line 324, in _save
132
+
133
+ self._save_chunk(start_i, end_i)
134
+
135
+
136
+
137
+ File "C:\Users\名前\Anaconda3\lib\site-packages\pandas\io\formats\csvs.py", line 356, in _save_chunk
138
+
139
+ libwriters.write_csv_rows(self.data, ix, self.nlevels, self.cols, self.writer)
140
+
141
+
142
+
143
+ File "pandas\_libs\writers.pyx", line 72, in pandas._libs.writers.write_csv_rows
144
+
145
+
146
+
71
- UnicodeEncodeError: 'shift_jis' codec can't encode character '\U0001f60a' in position 119: illegal multibyte sequence
147
+ UnicodeEncodeError: 'shift_jis' codec can't encode character '\u2757' in position 123: illegal multibyte sequence
72
148
 
73
149
  ```
74
150
 
@@ -78,7 +154,7 @@
78
154
 
79
155
 
80
156
 
81
- ###実現したいこと
157
+ ###実現したいこと➡日本語でcsv内で表示できるようにしたい
82
158
 
83
159
  下のソースコードのどの部分に絵文字などの文字化けする原因を削除する旨を記載すればよいのかわかりません。
84
160
 

7

追記

2019/11/29 07:02

投稿

Guroguro
Guroguro

スコア8

test CHANGED
File without changes
test CHANGED
@@ -1,4 +1,6 @@
1
1
  ### 前提
2
+
3
+ version python3.7
2
4
 
3
5
 
4
6
 

6

追記

2019/11/27 04:01

投稿

Guroguro
Guroguro

スコア8

test CHANGED
File without changes
test CHANGED
@@ -1,4 +1,4 @@
1
- ### 前提・実現したいこと
1
+ ### 前提
2
2
 
3
3
 
4
4
 
@@ -74,7 +74,13 @@
74
74
 
75
75
  そのため、絵文字等が文字化けの原因になっているのではないかと考えられるのですが、
76
76
 
77
+
78
+
79
+ ###実現したいこと
80
+
77
81
  下のソースコードのどの部分に絵文字などの文字化けする原因を削除する旨を記載すればよいのかわかりません。
82
+
83
+ どこの部分にエンコードをshift_jisにして絵文字などの文字化けする原因を削除する旨を記載すればよいでしょうか？
78
84
 
79
85
 
80
86
 

5

質問したいこと、エラーメッセージ、コード等を追加しました。

2019/11/27 04:00

投稿

Guroguro
Guroguro

スコア8

test CHANGED
File without changes
test CHANGED
@@ -25,6 +25,12 @@
25
25
  例）
26
26
 
27
27
  ```
28
+
29
+ print (tweet_list)
30
+
31
+ ↓
32
+
33
+ 出力結果
28
34
 
29
35
  id ... text
30
36
 

4

質問したいこと、エラーメッセージ、コード等を追加しました。

2019/11/26 10:02

投稿

Guroguro
Guroguro

スコア8

test CHANGED
File without changes
test CHANGED
@@ -134,4 +134,4 @@
134
134
 
135
135
 
136
136
 
137
- 長くなり、質問したい部分がわかりにくくなるので、twitterの取得のソースコードは省略してあります。
137
+ 長くなり、質問したい部分がわかりにくくなるので、twitterから取得するためのソースコードは省略してあります。

3

質問したいこと、エラーメッセージ、コード等を追加しました。

2019/11/26 10:00

投稿

Guroguro
Guroguro

スコア8

test CHANGED
File without changes
test CHANGED
@@ -130,10 +130,8 @@
130
130
 
131
131
 
132
132
 
133
-
134
-
135
133
  ### 補足情報（FW/ツールのバージョンなど）
136
134
 
137
135
 
138
136
 
139
- ここにより詳細な情報を記載してください。
137
+ 長くなり、質問したい部分がわかりにくくなるので、twitterの取得のソースコードは省略してあります。

2

質問したいこと、エラーメッセージ、コード等を追加しました。

2019/11/26 10:00

投稿

Guroguro
Guroguro

スコア8

test CHANGED
File without changes
test CHANGED
@@ -28,11 +28,9 @@
28
28
 
29
29
  id ... text
30
30
 
31
- 0 1199254356064759808 ... 高校生カップルが公共交通機関で激しめにいちゃついてる。「やぁん」じゃないんだよ、ボノボか君らは。
32
-
33
31
  0 1199254093757157377 ... 似たようなテーマなら情報交換で論理に幅が出せるし論理の補強材料が見つかるかもしれんからまだわ...
34
32
 
35
- 0 1199254076711567360 ... @T_IPPONGP 公共交通機関、もしくは自転車による移動を推奨する。
33
+ 0 1199254076711567360 ... 公共交通機関、もしくは自転車による移動を推奨する。
36
34
 
37
35
  0 1199253881995194368 ... なんでこんな沖縄で慌ててるかというと、予定お願いしてた人が飛行機乗り慣れてなくて分単位の旅程...
38
36
 

1

質問したいこと、エラーメッセージ、コード等を追加しました。

2019/11/26 09:57

投稿

Guroguro
Guroguro

スコア8

test CHANGED
@@ -1 +1 @@
1
- Twitterのtext内の絵文字を削除したい．
1
+ Twitterで取得したデータが文字化けするのでどうにかしたい。
test CHANGED
@@ -2,15 +2,83 @@
2
2
 
3
3
 
4
4
 
5
- twitter.Apiでtwitterデータを取得しています．
5
+ twitter.Apiでtwitterデータを取得し、csvに出力しているのですが、文字化けが発生します。
6
6
 
7
- printの出力ではtextが日本語で出力されます．
8
7
 
9
- その際にtwitterのIDやテキストを分けて格納し，csvで出力しているのですが，
10
8
 
11
- textの絵文字が邪魔でshift_jisのエンコードに書き換えできません．
9
+ 下記は例です。
12
10
 
11
+ ```
12
+
13
+ text
14
+
15
+ 螳ｿ豕頑命險ｭ縺ｪ縺ｩ縺ｯ繧ｳ繝ｳ繧ｹ繧ｿ繝ｳ繝医↓遞ｼ蜒阪〒縲∵ｺ€蜩｡縺ｪ繧画妙繧九％縺ｨ縺後〒縺阪ｋ縺代←縲∝・蜈ｱ莠､騾壽ｩ滄未縺ｯ譁ｭ繧翫↓縺上＞縺励€∝ｸよｰ代°繧峨・縲梧ｷｷ繧薙〒繧具ｼ√€阪€碁≦繧後ｋ・√€阪ｄ縺励€∵か縺ｾ縺励＞"
16
+
17
+
18
+
19
+ ```
20
+
21
+ しかしながら、printでの出力はtextが日本語で出力されます．
22
+
23
+
24
+
25
+ 例）
26
+
27
+ ```
28
+
29
+ id ... text
30
+
31
+ 0 1199254356064759808 ... 高校生カップルが公共交通機関で激しめにいちゃついてる。「やぁん」じゃないんだよ、ボノボか君らは。
32
+
33
+ 0 1199254093757157377 ... 似たようなテーマなら情報交換で論理に幅が出せるし論理の補強材料が見つかるかもしれんからまだわ...
34
+
35
+ 0 1199254076711567360 ... @T_IPPONGP 公共交通機関、もしくは自転車による移動を推奨する。
36
+
37
+ 0 1199253881995194368 ... なんでこんな沖縄で慌ててるかというと、予定お願いしてた人が飛行機乗り慣れてなくて分単位の旅程...
38
+
39
+ ```
40
+
41
+
42
+
43
+ エンコードがおかしいと気付き、ソースコードの一番下の
44
+
45
+ ```
46
+
47
+ tweet_list.to_csv("結果.csv",index =false)
48
+
49
+ ```
50
+
13
- pandasを使っています．
51
+ ↓このように書き換えると
52
+
53
+ ```
54
+
55
+ tweet_list.to_csv("結果.csv",index =false,encoding ='shift_jis')
56
+
57
+ ```
58
+
59
+
60
+
61
+ ### エラーメッセージ
62
+
63
+ ```
64
+
65
+ UnicodeEncodeError: 'shift_jis' codec can't encode character '\U0001f60a' in position 119: illegal multibyte sequence
66
+
67
+ ```
68
+
69
+ このようなエラーメッセージが出てきました。
70
+
71
+ そのため、絵文字等が文字化けの原因になっているのではないかと考えられるのですが、
72
+
73
+ 下のソースコードのどの部分に絵文字などの文字化けする原因を削除する旨を記載すればよいのかわかりません。
74
+
75
+
76
+
77
+
78
+
79
+ お手数ですが、ご教授いただければ幸いです。
80
+
81
+
14
82
 
15
83
 
16
84
 
@@ -19,6 +87,18 @@
19
87
 
20
88
 
21
89
  ```ここに言語名を入力
90
+
91
+ if __name__ == '__main__':
92
+
93
+ text=pd.DataFrame([[0,0,0,0]],columns=["id","created_at","@","text"])
94
+
95
+ list_=[]
96
+
97
+ # キーワードで取得
98
+
99
+ getter = TweetsGetter.bySearch(u'公共交通')
100
+
101
+
22
102
 
23
103
  for tweet in getter.collect(total =x #欲しい数)
24
104