【python】チャットワークから[info]で囲まれたメッセージを取得したい

Question

前提・実現したいこと

チャットワークにて[info][/info]で囲まれたメッセージを
データとして収集したいのですが、
下記ERRORがでてしまいます。

発生している問題・エラーメッセージ

expected str, bytes or os.PathLike object, not list

上記ERRORメッセージがでてしまいます。
どのように対処すればよろしいでしょうか。

該当のソースコード

import requests
import json
import re

headers = {
'X-ChatWorkToken': 'xxxxxxxxxxxxxxxxxx',
}

response = requests.get('https://api.chatwork.com/v2/rooms/xxxxxxx/messages?force=1', headers=headers)
print(response.status_code)

if response.status_code==200:
messages = response.json()
with open('chat.log','a') as f:
for message in messages:
body = message['body']
for info in re.findall(r"info[/info]", body):
f.write(info.key + '\n')
message.encode('cp932')
message.encode('cp932', "ignore")

Comments

[退会済みユーザー]

openはファイルを開くための関数で、書き込みではありません。findallはwithの次の行に書きましょう。

[hoshiko]

ありがとうございます‼ERRORは表出されなくなりました。
こちら、条件分岐として[info][/info]で囲まれたテキストのみを収集したいのですが
現状別のデータも収集してしまっている状況です。
どのように修正すればよろしいでしょうか。

[hoshiko]

ありがとうございます‼スクレイピングで来ておりました！！
「あいうえお」のような短文では[info][/info]内が取り込めていたのですが、
長文の場合取り込みが出来なかったのですが、むずかしいのでしょうか？
もし長文でも取り込み可能な方法があったら、ご教授いただけますと幸いです。

[退会済みユーザー]

長くても取り込めるはずですね。正規表現に当てはまらないようなパターンになっていませんか？

[hoshiko]

ご連絡ありがとうございます。
おっしゃる通り、正規表現を修正したところ、
エンコードERRORがでてしまい、エンコードERRORの修正を追記したところ
今度は辞書型のため、エンコードできない…とのERRORが出ているのですが、
こちらはどのように修正したらよいかお分かりになりますでしょうか。

for info in re.findall(r"\[info\]([\S\s]+)\[/info\]", body):
f.write(info + '\n')
message.encode('cp932')
message.encode('cp932', "ignore")

[退会済みユーザー]

エンコードの問題では無いですね。ところで、開発サーバのチャットに明らかに本稼働のデータらしきものが入っていますが、すぐに消さないと問題になりますよ。

[hoshiko]

ご教授いただいたコードを走らせたところ、下記のようなERRORがでてしまうのですが
こちらはエンコードERRORではなさそうでしょうか。質問ばかりで申し訳ありません。。。

'cp932' codec can't encode character '\u25b6' in position 40: illegal multibyte sequence

データ記載についてご指摘いただきありがとうございました。迅速に修正いたしました。
（今回は開発用アカウントだったので、重大な問題にはなりませんでしたが、
今後あってはならないので、徹底いたします。ありがとうございます）

[退会済みユーザー]

長文が取り込めない...はエンコードの問題ではないのですが、ファイルの書き出し部分が問題なので回答を修正しました。こちらでテストしていませんが動くはず。

[hoshiko]

ご回答いただきありがとうございます。

f.write(info.encode('cp932') + '\n')
今度は上記の部分に
can't concat str to bytes
というERRORが出ているようなのですが、
どのように修正すればよいかお分かりになりますでしょうか。
何度も申し訳ありません。。

[hoshiko]

修正いただきありがとうございます。
f.write((info + '\n').encode('cp932'))
こちらが今度は下記のように返ってきました。

write() argument must be str, not bytes

他に手立てがないか考えているのですが、思いつかず、
もし改修可能そうでしたらご教授いただけますと幸いです。
よろしくお願いいたします。

Answer 1

こんな感じでいかがでしょうか。[info]から[/info]の間に改行が入っている場合でも動きます。

import requests
import json
import re

headers = {
    'X-ChatWorkToken': '*********'
}

info_pattern = re.compile(r'[info](.*?)[/info]', flags=re.DOTALL)

response = requests.get('https://api.chatwork.com/v2/rooms/213313301/messages?force=1', headers=headers)

if response.status_code==200:
    messages = response.json()
    with open('chat.log','ab') as f:
	for message in messages:
            body = message['body']
            for info in info_pattern.findall(body):
                f.write((info + '\n').encode('cp932'))

Comments

[hoshiko]

ありがとうございます‼スクレイピングで来ておりました！！
「あいうえお」のような短文では[info][/info]内が取り込めていたのですが、
長文の場合取り込みが出来なかったのですが、むずかしいのでしょうか？
もし長文でも取り込み可能な方法があったら、ご教授いただけますと幸いです。

[退会済みユーザー]

長文と言うよりは改行が入っているのが理由です。正規表現で改行を扱う方法はいくつかあるのですが、フラグで対応してみました。