Python の TypeError を解消したい

Question

前提

Twitter の Progress Bar 2023 (@ProgressBar202_) のツイートを解析しようとしています。以下の形式でツイートの情報を取得しました。

tweets = [
    "Progress Bar 2023\n@ProgressBar202_\n·\n2023年1月1日\n2023 is 1% complete.\n1,865\n7.7万\n61.3万",
    "Progress Bar 2023\n@ProgressBar202_\n·\n2023年1月1日\n2022 is 100% complete.\n902\n5.9万\n50.5万",
    "Progress Bar 2023\n@ProgressBar202_\n·\n2022年12月28日\n2022 is 99% complete.\n1,083\n4.8万\n28.2万",
    "Progress Bar 2023\n@ProgressBar202_\n·\n2022年12月25日\n2022 is 98% complete.\n577\n2.1万\n19.9万",
...
]

↑のデータのフル版はこちらに貼っておきます。

実現したいこと

先ほど取得した情報を regex で整形し、pandas で表にしようと試みました。以下のコードの通りです。

import re
import pandas as pd

table = {"year": [], "percent": [], "reply": [], "RT": [], "fab": []}
def parse(x):
    if x[-1] == "万":
        return int(float(x[:-1]) * 10000)
    elif "," in x:
        return int(x.replace(",",""))
    else:
        return int(x)

for tw in tweets:
    m = re.search(r"(\d+).* is (\d+)%.*\n(.*)\n(.*)\n(.*)", tw)
    table["year"].append(int(m[1]))
    table["percent"].append(int(m[2]))
    table["reply"].append(parse(m[3]))
    table["RT"].append(parse(m[4]))
    table["fab"].append(parse(m[5]))

df = pd.DataFrame(table)

それを以下のコードで可視化したいと思っています。

plt.figure(figsize=(15, 10))
plt.subplot(2,1,1)
for year in [2016, 2017, 2018, 2019, 2020, 2021, 2022, 2023]:
    data = df[df.year == year].sort_values("percent")
    plt.plot(data.percent, data.RT, ".-", label="%d"%year)
plt.legend()
plt.xlabel("%")
plt.xticks(range(0, 101, 10))
plt.title("# of RTs")
plt.subplot(2,1,2)
for year in [2016, 2017, 2018, 2019, 2020, 2021, 2022, 2023]:
    data = df[df.year == year].sort_values("percent")
    plt.plot(data.percent, data.fab, ".-", label="%d"%year)
plt.legend()
plt.xlabel("%")
plt.xticks(range(0, 101, 10))
plt.title("# of fabs")
plt.show()

発生している問題・エラーメッセージ

先ほどのコードを実行すると、

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-3-840e886fa9d8> in <module>
     13 for tw in tweets:
     14     m = re.search(r'(\d+).* is (\d+)%.*\n(.*)\n(.*)\n(.*)', tw)
---> 15     table["year"].append(int(m[1]))
     16     table["percent"].append(int(m[2]))
     17     table["reply"].append(parse(m[3]))

TypeError: 'NoneType' object is not subscriptable

とエラーメッセージが出ます。

試したこと

m の型を確認したところ、NoneType であることはわかっています。 Stack Overflow 等確認してみましたが解決策等見つけることはできませんでした。皆さんのお力添えをよろしくお願いします。

Comments

[poto568]

tweetsの4行目の577の前にnが抜けてませんか

[observer_meow]

ご指摘ありがとうございます。改善いたしました。
ですが、同じエラーメッセージが表示されます。

[yuma.inaura]

質問にあるデータだとエラーが発生しないですよね
問題が再現できる情報を載せてみませんか

[observer_meow]

コメントありがとうございます
`"Progress Bar 2023\n@ProgressBar202_\n·\n2020年1月1日\n2019 is 100% complete! Thank you for following. Have a nice 2020!\n1,034\n5万\n18.6万"`
など、少し違ったツイートもあるので一旦統一してみます。

[observer_meow]

情報を追加いたしました。

[1T2R3M4]

https://ja.stackoverflow.com/questions/93169
以下ご対応ください。
https://teratail.com/help#posted-otherservice

[observer_meow]

ありがとうございます！

Answer 1

質問中では省略されていますがtweetsの中に正規表現にマッチしないデータがあるのでは？

Comments

[observer_meow]

その可能性が高そうです。その箇所を探してみます。

[observer_meow]

リプライが0のものは\n0と表示されずに、それそのものが存在しないとしてカウントされていました。
ありがとうございました。