編集履歴

質問編集履歴

修正

2020/07/27 10:52

投稿

jelyco3

スコア0

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,6 +1,4 @@
-### twitterにてある人物の発言に対してのAPIを利用してリプライを抽出し、
-結果をMySQLに格納したいと思っています。
+###、MySQLに格納したいと思っています。
@@ -52,117 +50,15 @@
     ATS = '*****************************************'
-    # ユーザー・ツイートID
-    user_id = '@@*********'
+    #接続
-    screen_name = '*********'
-        # 検索時のパラメーター
-       count = 100 # 一回あたりの検索数(最大100/デフォルトは15)
-    range = 100 # 検索回数の上限値(最大180/15分でリセット)
-        # ツイート検索・リプライの抽出
-    tweets = search_tweets(CK, CKS, AT, ATS, user_id, screen_name, count, range)
-url = "https://api.twitter.com/1.1/search/tweets.json"
-def search_tweets(CK, CKS, AT, ATS, user_id, screen_name, count, range):
-    # 文字列設定
-    user_id += ' exclude:retweets' # RTは除く
-    user_id = urllib.parse.quote_plus(user_id)
-    # リクエスト
-    url = "https://api.twitter.com/1.1/search/tweets.json?lang=ja&q="+user_id+"&count="+str(count)
-    auth = OAuth1(CK, CKS, AT, ATS)
-    response = requests.get(url, auth=auth)
-    data = response.json()
-    if not 'statuses' in data:
-        print(data)# {'errors': [{'message': 'Rate limit exceeded', 'code': 88}]}
-        sys.exit() #
-    data = data['statuses']
-    #print(response)
-    # ２回目以降のリクエスト
-    cnt = 0
-    reply_cnt = 0
-    tweets = []
-    while True:
-        if len(data) == 0:
-            break
-        cnt += 1
-        if cnt > range:
-            break
-        for tweet in data:
-            if tweet['in_reply_to_screen_name'] == screen_name: # スクリーンネームに一致するものを抽出
-                tweets.append(tweet['text'])  # ツイート内容
-                reply_cnt += 1
-            maxid = int(tweet["id"]) - 1
-        url = "https://api.twitter.com/1.1/search/tweets.json?lang=ja&q="+user_id+"&count="+str(count)+"&max_id="+str(maxid)
-        response = requests.get(url, auth=auth)
-        try:
-            data = response.json()['statuses']
-        except KeyError: # リクエスト回数が上限に達した場合のデータのエラー処理
-            print('上限まで検索しました')
-            break
-    print('検索回数 :', cnt)
-    print('リプライ数 :', reply_cnt)
-#    print(tweets)
-    #MYSQLに接続
-    conn = MySQLdb.connect(host='localhost',user='root',passwd='abcdefg',db='tweetdata', charset='utf8mb4')
+    conn = MySQLdb.connect(host='localhost',user='root',passwd='abcdefg',db='aaa',')
     c = conn.cursor()
-                #ユーザ名,ツイートの内容をMysqlに入れていく
     c.execute("INSERT INTO tweet(user_id,content) VALUES(%s,%s)")
@@ -170,21 +66,13 @@
     conn.commit()
-    conn.close()
-    return tweets
-if __name__ == '__main__':
     main()
 ```

コードの修正

2020/07/27 10:52

投稿

jelyco3

スコア0

test CHANGED Viewed

	@@ -1 +1 @@
1	- Py~~thon~~に~~てツイッ~~タ~~ーのリプライ取得~~が出来ない~~件について~~
1	+ MySQLにデータが格納できない

test CHANGED Viewed

@@ -1,4 +1,6 @@
-### twitterにてある人物の発言に対してのAPIを利用してリプライを抽出したい
+### twitterにてある人物の発言に対してのAPIを利用してリプライを抽出し、
+結果をMySQLに格納したいと思っています。
@@ -6,29 +8,23 @@
-Pythonでコードを書いています。
+### 発生している問題・エラーメッセージ
-ある人物のツイートに対しての返信をAPIを利用して抽出を実装中ですが抽出できない状況です
+    raise ProgrammingError(str(m))
+MySQLdb._exceptions.ProgrammingError: not all arguments converted during bytes formatting
+上記のように表示され、抽出結果をMySQLに格納できません。
-### 発生している問題・エラーメッセージ
+データをMySQLに格納するためにはどうすればよろしでしょうか
-<Response [200]>
-上限まで検索しました
-検索回数 : 78
-リプライ数 : 0
@@ -40,15 +36,7 @@
-import urllib
-from requests_oauthlib import OAuth1Session, OAuth1
-import requests
-import sys
-import MySQLdb
@@ -68,37 +56,17 @@
     user_id = '@@*********'
-    #tweet_id = 'コメントアウトしました' # str型で指定
+    screen_name = '*********'
         # 検索時のパラメーター
-    count = 100 # 一回あたりの検索数(最大100/デフォルトは15)
+       count = 100 # 一回あたりの検索数(最大100/デフォルトは15)
     range = 100 # 検索回数の上限値(最大180/15分でリセット)
         # ツイート検索・リプライの抽出
-    tweets = search_tweets(CK, CKS, AT, ATS, user_id, count, range)
+    tweets = search_tweets(CK, CKS, AT, ATS, user_id, screen_name, count, range)
-    #MYSQLに接続
-    conn = MySQLdb.connect(host='localhost',user='root',passwd='＊＊＊＊＊＊＊',db='＊＊＊＊＊', charset='utf8mb4')
-    c = conn.cursor()
-#テーブルの作成(２回目以降の実行では不要)すでに作成しているのでコメントアウト
-#    c.execute('''
-#     CREATE TABLE tweet(
-#       user_id bigint,
-#       content text
-#     )
- #''')
@@ -108,15 +76,7 @@
-        # 抽出結果を表示
-#    print(tweets)
-def search_tweets(CK, CKS, AT, ATS, user_id, count, range):
+def search_tweets(CK, CKS, AT, ATS, user_id, screen_name, count, range):
     # 文字列設定
@@ -138,7 +98,7 @@
         print(data)# {'errors': [{'message': 'Rate limit exceeded', 'code': 88}]}
-        sys.exit() # あるいはちゃんとSleepする
+        sys.exit() #
     data = data['statuses']
@@ -166,7 +126,7 @@
         for tweet in data:
-            if tweet['in_reply_to_screen_name'] == user_id: # ユーザーIDに一致するものを抽出
+            if tweet['in_reply_to_screen_name'] == screen_name: # スクリーンネームに一致するものを抽出
                 tweets.append(tweet['text'])  # ツイート内容
@@ -192,21 +152,27 @@
     print('リプライ数 :', reply_cnt)
+#    print(tweets)
     #MYSQLに接続
-    conn = MySQLdb.connect(host='localhost',user='root',passwd='＊＊＊＊＊＊＊',db='tweetdata', charset='utf8mb4')
+    conn = MySQLdb.connect(host='localhost',user='root',passwd='abcdefg',db='tweetdata', charset='utf8mb4')
     c = conn.cursor()
+                #ユーザ名,ツイートの内容をMysqlに入れていく
-    c.execute('INSERT INTO tweet(user_id,content) VALUES(%s,%s)',(tweet['user_id'],content['content']))
+    c.execute("INSERT INTO tweet(user_id,content) VALUES(%s,%s)")
+    cursor.close()
     conn.commit()
+    conn.close()
     return tweets
-            #ユーザ名,ツイートの内容をMysqlに入れていく

2020/07/27 08:37

投稿

jelyco3

スコア0

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -194,7 +194,7 @@
     #MYSQLに接続
-    conn = MySQLdb.connect(host='localhost',user='root',passwd='kanamar89',db='tweetdata', charset='utf8mb4')
+    conn = MySQLdb.connect(host='localhost',user='root',passwd='＊＊＊＊＊＊＊',db='tweetdata', charset='utf8mb4')
     c = conn.cursor()

rerurn tweet の位置を修正

2020/07/27 06:54

投稿

jelyco3

スコア0

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -132,9 +132,17 @@
     response = requests.get(url, auth=auth)
+    data = response.json()
+    if not 'statuses' in data:
+        print(data)# {'errors': [{'message': 'Rate limit exceeded', 'code': 88}]}
+        sys.exit() # あるいはちゃんとSleepする
-    data = response.json()['statuses']
+    data = data['statuses']
-    print(response)
+    #print(response)
     # ２回目以降のリクエスト
@@ -158,7 +166,7 @@
         for tweet in data:
-            if tweet['in_reply_to_status_id_str'] == user_id: # ユーザーIDに一致するものを抽出
+            if tweet['in_reply_to_screen_name'] == user_id: # ユーザーIDに一致するものを抽出
                 tweets.append(tweet['text'])  # ツイート内容
@@ -184,13 +192,21 @@
     print('リプライ数 :', reply_cnt)
+    #MYSQLに接続
+    conn = MySQLdb.connect(host='localhost',user='root',passwd='kanamar89',db='tweetdata', charset='utf8mb4')
+    c = conn.cursor()
+    c.execute('INSERT INTO tweet(user_id,content) VALUES(%s,%s)',(tweet['user_id'],content['content']))
+    conn.commit()
     return tweets
             #ユーザ名,ツイートの内容をMysqlに入れていく
-    c.execute('INSERT INTO tweet(user_id,content) VALUES(%s,%s)',(tweet['user_id'],content['content']))
-    conn.commit()
@@ -202,6 +218,8 @@
 ```

コードの修正

2020/07/27 05:16

投稿

jelyco3

スコア0

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -8,226 +8,198 @@
 Pythonでコードを書いています。
-ある人物のツイートに対しての返信をAPIを利用して抽出を実装中に以下のエラーメッセージが発生しました。
+ある人物のツイートに対しての返信をAPIを利用して抽出を実装中ですが抽出できない状況です
-ちなみに抽出結果はMYSQLに格納したいと考えております。
 ### 発生している問題・エラーメッセージ
-リプライが抽出できず、下記のエラーが表示されております。
-SQLの文法エラーと見受けられるのですが、どこの部分を訂正すればいいかわからない状況です。
-恐れ入りますがご教授お願いできますでしょうか
-エラーメッセージ
-`検索回数 : 79
-リプライ数 : 84
-Traceback (most recent call last):
-  File "twiiter.py", line 81, in <module>
+<Response [200]>
+上限まで検索しました
+検索回数 : 78
+リプライ数 : 0
+### 該当のソースコード
+```Python
+import urllib
+from requests_oauthlib import OAuth1Session, OAuth1
+import requests
+import sys
+import MySQLdb
+def main():
+    CK  = '*****************************************'
+    CKS = '*****************************************'
+    AT  = '*****************************************'
+    ATS = '*****************************************'
+    # ユーザー・ツイートID
+    user_id = '@@*********'
+    #tweet_id = 'コメントアウトしました' # str型で指定
+        # 検索時のパラメーター
+    count = 100 # 一回あたりの検索数(最大100/デフォルトは15)
+    range = 100 # 検索回数の上限値(最大180/15分でリセット)
+        # ツイート検索・リプライの抽出
+    tweets = search_tweets(CK, CKS, AT, ATS, user_id, count, range)
+    #MYSQLに接続
+    conn = MySQLdb.connect(host='localhost',user='root',passwd='＊＊＊＊＊＊＊',db='＊＊＊＊＊', charset='utf8mb4')
+    c = conn.cursor()
+#テーブルの作成(２回目以降の実行では不要)すでに作成しているのでコメントアウト
+#    c.execute('''
+#     CREATE TABLE tweet(
+#       user_id bigint,
+#       content text
+#     )
+ #''')
+url = "https://api.twitter.com/1.1/search/tweets.json"
+        # 抽出結果を表示
+#    print(tweets)
+def search_tweets(CK, CKS, AT, ATS, user_id, count, range):
+    # 文字列設定
+    user_id += ' exclude:retweets' # RTは除く
+    user_id = urllib.parse.quote_plus(user_id)
+    # リクエスト
+    url = "https://api.twitter.com/1.1/search/tweets.json?lang=ja&q="+user_id+"&count="+str(count)
+    auth = OAuth1(CK, CKS, AT, ATS)
+    response = requests.get(url, auth=auth)
+    data = response.json()['statuses']
+    print(response)
+    # ２回目以降のリクエスト
+    cnt = 0
+    reply_cnt = 0
+    tweets = []
+    while True:
+        if len(data) == 0:
+            break
+        cnt += 1
+        if cnt > range:
+            break
+        for tweet in data:
+            if tweet['in_reply_to_status_id_str'] == user_id: # ユーザーIDに一致するものを抽出
+                tweets.append(tweet['text'])  # ツイート内容
+                reply_cnt += 1
+            maxid = int(tweet["id"]) - 1
+        url = "https://api.twitter.com/1.1/search/tweets.json?lang=ja&q="+user_id+"&count="+str(count)+"&max_id="+str(maxid)
+        response = requests.get(url, auth=auth)
+        try:
+            data = response.json()['statuses']
+        except KeyError: # リクエスト回数が上限に達した場合のデータのエラー処理
+            print('上限まで検索しました')
+            break
+    print('検索回数 :', cnt)
+    print('リプライ数 :', reply_cnt)
+    return tweets
+            #ユーザ名,ツイートの内容をMysqlに入れていく
+    c.execute('INSERT INTO tweet(user_id,content) VALUES(%s,%s)',(tweet['user_id'],content['content']))
+    conn.commit()
+if __name__ == '__main__':
     main()
-  File "twiiter.py", line 26, in main
-    c.execute('''
-  File "/Users/.pyenv/versions/3.8.3/lib/python3.8/site-packages/MySQLdb/cursors.py", line 206, in execute
-    res = self._query(query)
-  File "/Users/.pyenv/versions/3.8.3/lib/python3.8/site-packages/MySQLdb/cursors.py", line 319, in _query
-    db.query(q)
-  File "/Users/.pyenv/versions/3.8.3/lib/python3.8/site-packages/MySQLdb/connections.py", line 259, in query
-    _mysql.connection.query(self, query)
-MySQLdb._exceptions.ProgrammingError: (1064, "You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ',\n       content text\n     )' at line 2")
-### 該当のソースコード
-```Python
-import urllib
-from requests_oauthlib import OAuth1Session, OAuth1
-import requests
-import sys
-import MySQLdb
-def main():
-    CK  = '*****************************************'
-    CKS = '*****************************************'
-    AT  = '*****************************************'
-    ATS = '*****************************************'
-    # ユーザー・ツイートID
-    user_id = '@@********'
-    tweet_id = '1234456789012' # str型で指定
-        # 検索時のパラメーター
-    count = 100 # 一回あたりの検索数(最大100/デフォルトは15)
-    range = 100 # 検索回数の上限値(最大180/15分でリセット)
-        # ツイート検索・リプライの抽出
-    tweets = search_tweets(CK, CKS, AT, ATS, user_id, tweet_id, count, range)
-    #MYSQLに接続
-    conn = MySQLdb.connect(host='localhost',user='root',passwd='*****',db='tweetdata', charset='utf8mb4')
-    c = conn.cursor()
-#テーブルの作成(２回目以降の実行では不要)
-    c.execute('''
-     CREATE TABLE tweet(
-       user_id,
-       content text
-     )
- ''')
-url = "https://api.twitter.com/1.1/search/tweets.json"
-        # 抽出結果を表示
-#    print(tweets)
-def search_tweets(CK, CKS, AT, ATS, user_id, tweet_id, count, range):
-    # 文字列設定
-    user_id += ' exclude:retweets' # RTは除く
-    user_id = urllib.parse.quote_plus(user_id)
-    # リクエスト
-    url = "https://api.twitter.com/1.1/search/tweets.json?lang=ja&q="+user_id+"&count="+str(count)
-    auth = OAuth1(CK, CKS, AT, ATS)
-    response = requests.get(url, auth=auth)
-    data = response.json()['statuses']
-    print(response)
-    # ２回目以降のリクエスト
-    cnt = 0
-    reply_cnt = 0
-    tweets = []
-    while True:
-        if len(data) == 0:
-            break
-        cnt += 1
-        if cnt > range:
-            break
-        for tweet in data:
-            if tweet['in_reply_to_status_id_str'] == tweet_id: # ツイートIDに一致するものを抽出
-                tweets.append(tweet['text'])  # ツイート内容
-                reply_cnt += 1
-            maxid = int(tweet["id"]) - 1
-        url = "https://api.twitter.com/1.1/search/tweets.json?lang=ja&q="+user_id+"&count="+str(count)+"&max_id="+str(maxid)
-        response = requests.get(url, auth=auth)
-        try:
-            data = response.json()['statuses']
-        except KeyError: # リクエスト回数が上限に達した場合のデータのエラー処理
-            print('上限まで検索しました')
-            break
-    print('検索回数 :', cnt)
-    print('リプライ数 :', reply_cnt)
-    return tweets
-            #ユーザ名,ツイートの内容をMysqlに入れていく
-    c.execute('INSERT INTO tweet(user_id,content) VALUES(%s,%s)',(tweet['user_id'],content['content']))
-    conn.commit()
-if __name__ == '__main__':
-    main()
 ```

main関数の前半部の更新

2020/07/27 02:23

投稿

jelyco3

スコア0

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -68,6 +68,52 @@
 ```Python
+import urllib
+from requests_oauthlib import OAuth1Session, OAuth1
+import requests
+import sys
+import MySQLdb
+def main():
+    CK  = '*****************************************'
+    CKS = '*****************************************'
+    AT  = '*****************************************'
+    ATS = '*****************************************'
+    # ユーザー・ツイートID
+    user_id = '@@********'
+    tweet_id = '1234456789012' # str型で指定
+        # 検索時のパラメーター
+    count = 100 # 一回あたりの検索数(最大100/デフォルトは15)
+    range = 100 # 検索回数の上限値(最大180/15分でリセット)
+        # ツイート検索・リプライの抽出
+    tweets = search_tweets(CK, CKS, AT, ATS, user_id, tweet_id, count, range)
+    #MYSQLに接続
+    conn = MySQLdb.connect(host='localhost',user='root',passwd='*****',db='tweetdata', charset='utf8mb4')
+    c = conn.cursor()
 #テーブルの作成(２回目以降の実行では不要)
     c.execute('''