MySQLにデータが格納できない

Question

###、MySQLに格納したいと思っています。

発生している問題・エラーメッセージ

raise ProgrammingError(str(m))

MySQLdb._exceptions.ProgrammingError: not all arguments converted during bytes formatting

上記のように表示され、抽出結果をMySQLに格納できません。
データをMySQLに格納するためにはどうすればよろしでしょうか

該当のソースコード

def main():
    CK  = '*****************************************'
    CKS = '*****************************************'
    AT  = '*****************************************'
    ATS = '*****************************************'
  
    #接続
    conn = MySQLdb.connect(host='localhost',user='root',passwd='abcdefg',db='aaa',')
    c = conn.cursor()
              
    c.execute("INSERT INTO tweet(user_id,content) VALUES(%s,%s)")
    cursor.close()
    conn.commit()



    main()

Comments

[quickquip]

main関数の前半が欠けていませんか?

[jelyco3]

申し訳ございません。
前半部分の欠けていた箇所につきまして追記致しました。

Answer 1

⑴は解消されましたが、⑵についてご教授頂けますでしょうか。

テーブルはコード上のみで作成していますが、別では作成してないです。

スマホからなので、とりあえず気になった点を列挙しますので、このあたりを確認してみてください。

1.質問のソースコード

def search_tweets(CK, CKS, AT, ATS, user_id, tweet_id, count, range):
(略)
return tweets
#ユーザ名,ツイートの内容をMysqlに入れていく
c.execute('INSERT INTO tweet(user_id,content) VALUES(%s,%s)',(tweet['user_id'],content['content']))
(略)

では、MySQL にインサートする前に return しているようにみえるのですが... ( この位置では、c.execute が実行されていないのでは？ )

2.search_tweets の c.execute ですが、 c が定義されていないので、 'c' is not defined あたりのエラーが出るのではないでしょうか？

3.MySQLdb.connect の箇所もおかしい気がします。

Comments

[jelyco3]

1につきまして、順番を入れ替え修正しました。
修正後のコードを記載いたします。

2,3につきましておっしゃる通り'c' is not definedとなりました。
ですので、MySQLdb.connectの位置につきましても修正しましたところ、下記のエラーとなりました。
キーエラーは何処が不備がありますでしょうか。

検索回数 : 101
リプライ数 : 0
Traceback (most recent call last):
File "script.py", line 87, in <module>
main()
File "script.py", line 21, in main
tweets = search_tweets(CK, CKS, AT, ATS, user_id, count, range)
File "script.py", line 79, in search_tweets
c.execute('INSERT INTO tweet(user_id,content) VALUES(%s,%s)',(tweet['user_id'],content['content']))
KeyError: 'user_id'

[CHERRY]

とりあえず、エラー部分だけコメント

> KeyError: 'user_id'

のエラーメッセージは、メッセージの通りでキーがないからですね。

お使いの Twitter API は、[Standard search API]( https://developer.twitter.com/en/docs/tweets/search/api-reference/get-search-tweets ) と思いますが、上記ドキュメントからレスポンス部分を引用すると　投稿者周りは、

> (前半略)
> "user": {
> "id": 2244994945,
> "id_str": "2244994945",
> "name": "Twitter Dev",
> "screen_name": "TwitterDev",
> "location": "Internet",
> "description": "Your official source for Twitter Platform news, updates & events. Need technical help? Visit https://t.co/mGHnxZU8c1 ⌨️ #TapIntoTwitter",
> (以下略)

となっており、API のレスポンスに 'user_id' という項目は存在しません。そのためキーが無い状態で、エラーになります。

上記のレスポンスが入っている変数 tweet の投稿者を参照するということであれば、tweet["user"]["id"] や tweet["user"]["screen_name"] になると思います。(複数あるのであれば、ループ内で処理しなくては駄目では？)

また、2回めの `requests.get(〜)` で、取得したレスポンスを使っていないようですがこれはまだ制作途中ということでしょうか？

[jelyco3]

ありがとうございます！
１につきまして
screen_nameとしましたら抽出することができました。

２つめのrequests.get(〜)につきまして、正直必要性もわかっていないためもしかしたら必要ないかもしれないです。。。。。

ただ４０００件ほどリプライを抽出することができました。
あとはMySQLに格納したいのですが、下記についてどこを修正すればよろしいでしょうか

c.execute('INSERT INTO tweet(screen_name,content) VALUES(%s,%s)',(tweet['screen_name'],content['content']))
conn.commit()
return tweets

Answer 2

user_idの後ろにデータ型が必要じゃないですか?
BIGINT型ですかね。

     CREATE TABLE tweet(
       user_id bigint,
       content text
     )

Comments

[jelyco3]

ありがとうございます。
MySQLにはDBとテーブルが作成されましたが中身を見てみると空でした。
特定の人物のツイートに対しての返信を抽出するロジックが不備がありますでしょうか？

[quickquip]

不備は確かにありますが、質問は「下記のエラーが表示されております。SQLの文法エラーと見受けられるのですが、どこの部分を訂正すればいいかわからない状況です。」だったのでその点について回答しました。

データが保存されないことはコードから想像が付きますが、そこは質問されていませんから「わざと保存しないようにした」コードを貼り付けていると判断していました。

[quickquip]

テーブルは別のなにかで作成済みなのでしょうか?
そして本当の質問は「エラーメッセージがわからない」ではなくて「データが保存されていないのはなぜか?」なのでしょうか?
だとしたら質問を修正してほしいです。

[jelyco3]

申し訳ございません。
質問は２点ございました。
⑴エラーメッセージの解消について
⑵DBにデータが格納されない件について

⑴は解消されましたが、⑵についてご教授頂けますでしょうか。
テーブルはコード上のみで作成していますが、別では作成してないです。

[jelyco3]

コードを修正しました。
user_idに一致するリプライを抽出、またdb、テーブルは作成済なのでコメントアウトしております

[quickquip]

結局、user_id は何型なんですか? (=何を格納するつもりなんですか?)

screen_nameを格納するつもりだったなら文字列だと仮定して、単純に

c.execute('INSERT INTO tweet(user_id,content) VALUES(%s,%s)',('A', 'B'))

などは成功するのでしょうか?

[quickquip]

c.execute("INSERT INTO tweet(user_id,content) VALUES(%s,%s)")
はargsが指定されていないので必ず失敗しますね。